Un recente studio ha dimostrato che un modello di generazione di immagini AI come Stable Diffusion può ricostruire immagini altamente accurate dall’attività cerebrale di una persona. Il tutto senza la necessità di addestrare o mettere a punto l’intelligenza artificiale. Un link diretto fra il cervello umano e la creazione artistica, attraverso l’intelligenza artificiale.
Dall’attività cerebrale alle immagini, usando l’AI di Stable Diffusion
I ricercatori dell’Università di Osaka hanno creato una rappresentazione latente dei dati dell’immagine dai segnali fMRI. Un’immagine dei dati relativi all’immagini. Che hanno poi elaborato aggiungendo del rumore attraverso il processo di diffusione.
Successivamente, hanno decodificato le rappresentazioni del testo dai segnali fMRI nella corteccia visiva superiore e le hanno utilizzate come input per produrre un’immagine finale. Questo studio è stato il primo a fornire un’interpretazione quantitativa del modello di diffusione da una prospettiva biologica. In pratica, ha rivelato la correlazione tra stimoli e livelli di rumore nel cervello e l’impegno di diverse reti neurali per la riduzione del rumore e la ricostruzione delle immagini ad alta risoluzione.
I dati raccolti dall’esperimento, secondo gli scienziati, forniscono un modello del funzionamento del nostro cervello quando crea immagini. “Questi risultati suggeriscono che, all’inizio del processo di diffusione inversa, le informazioni sull’immagine sono compresse all’interno dello strato del collo di bottiglia. Man mano che il denoising progredisce, emerge una dissociazione funzionale tra gli strati U-Net all’interno della corteccia visiva: cioè, il primo strato tende a rappresentare dettagli su scala fine nelle prime aree visive, mentre lo strato del collo di bottiglia corrisponde a informazioni di ordine superiore in aree semantiche più ventrali“.
Questo studio non è il primo a cercare correlazioni fra le onde cerebrali e le immagini. Nel 2014 a Shangai l’artista Jody Xiong collegò dei palloncini ripieni di vernice alle macchine ECG di alcuni pazienti con disabilità. Riuscendo a farli dipingere utilizzando il cervello.
Ma questo studio sfrutta Stable Diffusion per permettere di creare immagini usando solamente il cervello. Un risultato che potrebbe avere impatti importanti per tantissime persone nel mondo. Anche se prima servirà che altre università replichino l’esperimento con successo.
