A quanto pare i chatbot basati sull’intelligenza artificiale (AI) non riescono a riassumere accuratamente le notizie. Niente, non ce la fanno proprio. A rivelarlo è una recente indagine della BBC che ha evidenziato come quattro tra i principali strumenti di AI generativa producano sintesi distorte e imprecise delle notizie che gli si da loro in pasto.
L’analisi della BBC svela gravi errori nei riassunti delle notizie generati dall’AI
Per condurre lo studio BBC ha testato ChatGPT di OpenAI, Copilot di Microsoft, Gemini di Google e Perplexity AI, chiedendo loro di riassumere 100 articoli pubblicati sul proprio sito. I risultati hanno rivelato problemi significativi: oltre la metà delle risposte conteneva inesattezze. In alcuni casi, i chatbot hanno alterato dati fondamentali, fornendo informazioni sbagliate su nomi, numeri e date.
In particolare, il 19% delle risposte che citavano direttamente contenuti della BBC conteneva errori di fatto. Alcuni esempi includono:
- Gemini ha affermato erroneamente che il servizio sanitario britannico (NHS) non consiglia le sigarette elettroniche per smettere di fumare.
- ChatGPT e Copilot hanno indicato Rishi Sunak e Nicola Sturgeon come ancora in carica, nonostante avessero già lasciato il loro ruolo come membri del Parlamento britannico.
- Perplexity ha modificato il senso di una notizia sulla crisi in Medio Oriente, attribuendo dichiarazioni errate a Iran e Israele.
Secondo la BBC, tra i chatbot testati, Copilot e Gemini hanno mostrato i problemi più gravi, mentre ChatGPT e Perplexity, pur con errori, sono risultati leggermente più affidabili.
È un problema di fonti o di elaborazione? Chiediamolo all’AI
Siamo ancora nel far west dell’AI, quindi le risposte in merito sono decisamente evasive. Per provare a fare chiarezza, però, abbiamo chiesto direttamente all’AI quale potrebbe essere la ragione dietro tanta confusione. In particolare abbiamo posto a ChatGPT la seguente domanda: “Secondo te perchè i chatbot AI come te sbagliano nel riassumere le notizie? È un problema di fonti o di elaborazione dei contenuti?”
Trovate di seguito la risposta del chatbot:
Gli errori nei riassunti delle notizie da parte dei chatbot AI derivano sia da problemi di fonti che di elaborazione dei contenuti.
- Qualità e accesso alle fonti: I chatbot non accedono direttamente alle fonti primarie (come siti di notizie protetti da paywall) e spesso si affidano a dati parziali o a informazioni raccolte da modelli di linguaggio pre-addestrati. Se un’AI non ha accesso al testo integrale di un articolo, può ricostruire un riassunto basandosi su informazioni incomplete o datate.
- Interpretazione e contestualizzazione: Gli algoritmi di intelligenza artificiale generativa possono avere difficoltà a distinguere tra opinione e fatto, a identificare il contesto corretto e a riassumere in modo neutrale. Se il modello non riconosce sfumature linguistiche o ironia, il riassunto può risultare distorto.
- Propagazione degli errori: Se un chatbot si basa su dati già imprecisi o riassunti da altre AI, l’errore si amplifica. Inoltre, il modello può “colmare le lacune” inventando dettagli plausibili ma inesatti, un fenomeno noto come allucinazione dell’AI.
- Limiti nella gestione di aggiornamenti: Le notizie cambiano rapidamente e un chatbot potrebbe basarsi su informazioni obsolete, specialmente se i suoi dati non vengono aggiornati in tempo reale.
Per migliorare l’affidabilità, le aziende dovrebbero garantire un accesso migliore alle fonti verificate, rendere più trasparente il processo di elaborazione e implementare sistemi di controllo umano per correggere le imprecisioni.
Nel frattempo Pete Archer, responsabile del programma AI generativa della BBC, ha sottolineato la necessità per gli editori di mantenere il controllo sull’uso dei propri contenuti. Ha inoltre invitato le aziende di AI a mostrare in modo trasparente come i loro sistemi elaborano le notizie e a rendere pubblici i dati sugli errori che generano.
Un portavoce di OpenAI ha dichiarato che l’azienda sta collaborando con i partner per migliorare la precisione delle citazioni e rispettare le preferenze dei publisher. Tuttavia, resta aperta la questione di quanto i chatbot possano garantire sintesi affidabili e contestualizzate.
Voi, nel frattempo, fidatevi di noi: questo articolo lo abbiamo redatto con le nostre manine.
- ALEXA PUÒ MOSTRARTI MOLTE COSE: Echo Show 5 è dotato di uno schermo da 5,5", per controllare a colpo d’occhio il...
- PICCOLE DIMENSIONI, MIGLIORI PRESTAZIONI AUDIO: ascolta la tua musica o i tuoi podcast preferiti, guarda le serie TV che...
- LA TUA CASA GESTITA IN TUTTA COMODITÀ: controlla i dispositivi per Casa Intelligente, come lampadine e termostati,...
Ultimo aggiornamento 2024-10-06 / Link di affiliazione / Immagini da Amazon Product Advertising API
