Anche i Quality Rater sbagliano  

E’ ormai risaputo che Google utilizza dei collaboratori esterni, i cosiddetti Quality Rater, per la valutazione dei risultati di ricerca. Avendo svolto per circa un anno questa attività, posso testimoniare che in alcuni casi non è così semplice stabilire quando un tipo di risultato è prioritario rispetto ad un altro. Oltre a valutare il tipo di sito bisogna anche riuscire ad interpretare quello che l’utente che ha formulato la richiesta stava effettivamente cercando.

Spesso gli algoritmi di Google ed i Quality Rater si trovano in disaccordo ed in alcuni casi può capitare che siano questi ultimi ad avere torto. Recentemente si è parlato di alcuni tipi di query come Glacier Bay e flicker.

Nel primo caso, ad esempio, tutti i Quality Rater di Google hanno indicato il sito del Glacier Bay National Park come il miglior risultato possibile. Da un’ulteriore analisi si è però scoperto che la maggior parte degli utenti cercava la Glacier Bay Faucet Company, non il parco nazionale. Purtroppo i Quality Rater, ignorando l’esistenza della compagnia, non ne hanno tenuto conto nelle procedure di valutazione.

Google ha risolto il problema, dividendo in due blocchi il risultato della ricerca, mostrando così le due possibili interpretazioni. Nell’immagine sottostante si può vedere un esempio simile relativo alla query flicker.

[via O'Reilly Radar]