Un’immagine prende vita, una descrizione diventa una scena, lo stile di un’immagine guida un intero video. Il nuovo Google Lumiere, almeno nei test rilasciati dalla stessa società di Cupertino, dimostra ancora una volta che l’AI sa stupirci. Il nuovo strumento, lanciato in collaborazione con il Weizmann Institute of Science e l’Università di Tel Aviv, permette la creazione di video utilizzando foto e istruzioni testuali. Ma anche di modificare e applicare stili diversi a video esistenti.
Google Lumiere, l’AI crea video realistici da immagini e prompt di testo
Il progetto, di cui potete vedere alcuni esempi nel video, si chiama Lumiere per omaggiare i fratelli Lumière, pionieri francesi del cinema, inventori della macchina da presa e del proiettore cinematografico. E Google si aspetta che il suo nuovo strumento sarà altrettanto rivoluzionario.
A differenza di programmi come Stable Diffusion, che spesso mostrano imperfezioni nella coerenza delle animazioni, Lumiere IA ha introdotto un’architettura denominata “Space-Time U-Net”. Questa rete spazio-temporale permette di generare l’intero video in un unico passaggio, evitando la creazione di sequenze intermedie che potrebbero causare incoerenze nei video.
L’architettura Space-Time U-Net analizza diversi movimenti proposti, scegliendo il più plausibile per garantire un video coerente e fluido. In questo modo, potete inserire la foto di un oggetto, come un peluche, e chiedere al programma di farlo camminare da un punto A a un punto B. Il risultato è una sequenza spazio-temporale in cui ogni attività è strettamente correlata alle altre. Questo rende i video più fluidi.
Scorpi la super offerta NordVPN – 63% di sconto
Un database enorme, e tante funzionalità
Lumiere AI ha un database da 30 milioni di video insieme alle relative didascalie di testo. Questo approccio all’apprendimento automatico ha permesso al modello di acquisire una vasta comprensione del contesto visivo e delle connessioni tra azioni e descrizioni testuali. In questo modo, può generare video partendo da un testo, oppure da una fotografia. Ma può anche capire lo stile di un’immagine (per esempio, un effetto “neon” oppure “impressionistico”) e applicarlo a un video, sia generato che modificato.
Attualmente, Lumiere non è disponibile come software aperto al pubblico, ma rappresenta un progetto sperimentale di ricerca. Quindi non possiamo utilizzarlo per creare video — e questo significa che non si può utilizzare nemmeno per creare video deep fake.
Con ogni probabilità, prima di rilasciarlo Google non solo perfezionerà il software, ma lavorerà con le università anche per evitare eventuali abusi. O almeno, è quello che ci aspettiamo: tutti dovremmo aver capito che con l’AI generativa non si scherza. Anche quando, come vediamo nel video di Google, crea video di orsi ballerini.
- Google Tensor G3 è il chip di Pixel più potente di sempre. Rende Pixel 8 veloce ed efficiente. Inoltre, l'IA di Google...
- Il display ad alta risoluzione da 6,2 pollici permette di vedere colori nitidi e vivaci, nonché dettagli minuziosi. Ha...
- La batteria adattiva di Pixel può durare oltre 24 ore. Se attivi il risparmio energetico estremo, può durare fino a 72...