L‘intelligenza artificiale generativa, nonostante l’hype crescente, continua a mostrare seri limiti, soprattutto nel riassumere documenti complessi.
Un recente test, commissionato dalla Australian Securities and Investment Commission (ASIC), e condotto da Amazon Web Services, ha infatti rivelato che i riassunti di documenti generati dall’Intelligenza Artificiale risultano inferiori a quelli prodotti da esseri umani. Una scoperta che mette in discussione l’effettiva efficacia dell’IA in contesti aziendali.
L’Intelligenza Artificiale per riassumere documenti? Strumento poco affidabile
Il test condotto per ASIC ha dimostrato che l’intelligenza artificiale generativa non è ancora in grado di sostituire gli esseri umani in compiti complessi come il riassumere documenti. Utilizzando il modello Llama2-70B di Meta, uno degli algoritmi open source più avanzati con 70 miliardi di parametri, il test ha cercato di verificare se l’IA potesse essere utile nella redazione di riassunti di documenti governativi.
I risultati sono stati tutt’altro che promettenti. Il modello di AI ha ottenuto un punteggio aggregato del 47%, ben al di sotto dell’81% ottenuto dai riassunti scritti dai dipendenti umani dell’ASIC. Questo punteggio riflette la difficoltà dell’AI nel comprendere e sintetizzare correttamente le informazioni, specie in file ricchi di sfumature e dettagli complessi.
Uno dei principali problemi riscontrati è stato l’incapacità dell’Intelligenza Artificiale di fornire riferimenti precisi (come ad esempio i numeri di pagina, necessari per contestualizzare le informazioni). Sebbene questo difetto possa teoricamente essere risolto con miglioramenti tecnici, il test ha rivelato un problema più profondo: l’AI fatica a cogliere il contesto e le sfumature presenti nei documenti.
Come emerge dal report (che potete scaricare a questo link, ma vi sconsigliamo di farvelo riassumere dall’AI) riassunti prodotti dall’Intelligenza Artificiale tendevano a essere vaghi, prolissi e a includere informazioni irrilevanti. Difetti che non solo ne compromettono l’utilità, ma richiederebbero ulteriori verifiche e correzioni da parte degli esseri umani, annullando quindi i presunti vantaggi in termini di risparmio di tempo e costi.
Eseguiti anche dei blind test: 3 su 5 riconoscono i testi generati dall’AI
Il report evidenzia anche i risultati di un blind test: cinque valutatori indipendenti sono stati chiamati a giudicare due diversi riassunti (senza sapere se questi fossero stati generati a mano o dall’AI). Tre su cinque hanno sospettato che alcuni riassunti fossero stati generati da un’AI, palesando un’evidente differenza qualitativa tra i due testi.
L’esperimento, quindi, conferma che, nonostante i progressi tecnologici, l’intelligenza artificiale generativa non è ancora pronta a sostituire l’uomo in compiti che richiedono comprensione, analisi e sintesi approfondite. I risultati sollevano anche significativi dubbi sull’uso dell’IA in ambito aziendale e governativo, dove la precisione e l’affidabilità sono ancora (per fortuna) requisiti fondamentali.
- SUONO RICCO E AVVOLGENTE: goditi un’esperienza audio migliorata con voci più nitide e bassi più profondi per...
- MUSICA E PODCAST: ascolta musica, audiolibri e podcast da Amazon Music, Audible, Apple Music, Spotify e molto altro,...
- FELICE DI AIUTARTI: chiedi ad Alexa le previsioni del tempo, di impostare dei timer, di rispondere alle tue domande o...
Ultimo aggiornamento 2024-09-06 / Link di affiliazione / Immagini da Amazon Product Advertising API