Pubblicato il 29/03/23 - aggiornato il  | Nessun commento :

Creare con la AI un video di un avatar parlante in sincrono con l'audio

Come creare un trailer per il Canale Youtube con un avatar parlante creato con la AI di Midjourney e ChatGPT e salvato con Shotcut e DaVinci Resolve

Alcuni degli ultimi post che ho pubblicato sono stati propedeutici a questo articolo in cui illustrerò come creare un video con un avatar virtuale che riproduce un audio di sintesi vocale da testo e che muove volto e labbra in modo sincrono con l'audio riprodotto. In realtà tutti gli strumenti necessari per questa realizzazione li ho già mostrati.

In questo articolo riprenderò questi tutorial in modo sintetico linkando le risorse complete. In estrema sintesi si crea una immagine con un opportuno prompt su Midjourney quindi se ne elimina lo sfondo un servizio della Adobe.

Lo sfondo trasparente si sostituisce con uno verde per poter salvare la foto in JPG. L'immagine poi si carica su un tool per poterle far muover le labbra contestualmente al testo aggiuntovi e riprodotto con la sintesi vocale.

Con un ulteriore passaggio si elimina lo watermark aggiunto dal tool, si aggiunge al video uno sfondo verde per tutta l'area dello schermo con Shotcut quindi si elimina lo sfondo con il Green Screen di DaVinci Resolve.

Infine si pubblica il video, per esempio su Youtube, condividendolo o usandolo come trailer di un canale. Ho pubblicato sul mio Canale Youtube un tutorial in cui illustro in dettaglio tutte queste operazioni.



Si apre Midjourney e, dopo aver digitato /imagine in una stanza Newbies, si inserisce un prompt come questo:

Full body portrait af a brunette woman with blonde streaks and blue eyes wearing a dark red business suit, semi-realistic, confident, shallow depth of field --ar 2:3

Si va poi su Invio e si attende l'elaborazione della richiesta. La stringa --ar 2:3 serve per una foto con rapporto 2:3 tra larghezza e altezza. Si sceglie la foto migliore tra le quattro proposte e si procede alle Variazioni.

1) GENERARE IMMAGINE CON MIDJOURNEY

Dopo la nuova elaborazione da parte del motore di Midjourney, si sceglie l'immagine che si preferisce e si va su Upscale per raddoppiarne le dimensioni. Ci si clicca poi sopra, si va su Apri nel browser e si scarica.

foto avatar creata con midjourney

L'immagine in genere viene scaricata in PNG ma mi è capitato anche di scaricarla in WebP. In questo secondo caso si converte in JPG utilizzando GIMP. Si apre poi il sito Pexels e si cerca una immagine da usare come sfondo dell'avatar. È un sito che offre immagini gratuite e senza copyright. Si digita una parola chiave per poi fare una ricerca e scaricare la foto. Si va sul pulsante in alto a destra Download Gratuito per poi scegliere la risoluzione.

L'immagine così scaricata da Pexels deve essere adattata al nostro progetto. Poniamo che si voglia creare un video in HD da 1920x1080 pixel con un rapporto di 16:9 tra larghezza e altezza. Si apre con Gimp la foto di Pexels.

2) RITAGLIARE IMMAGINI CON GIMP

Si clicca sullo strumento Selezione Rettangolare, si va su Opzioni Strumento, si mette la spunta a Fisso e si digita 16:9 nel campo del Rapporto Dimensioni. Si disegna il rettangolo sulla foto quindi si va su Immagine.

Nel menù verticale si clicca su Ritaglia alla Selezione per fare in modo che la foto abbia il giusto aspect ratio.

ritagliare immagine con gimp

Si salva poi la foto ritagliata andando su File -> Esporta come, si sceglie nome e cartella e si va su Esporta.

3) GENERARE TESTO DELL'AVATAR CON CHATGPT

Si apre poi la Intelligenza Artificiale di ChatGPT,  si immette una domanda nella chat e si attende la risposta.

testo generato da chatgpt

Si seleziona, si copia e si incolla in un file del Blocco Note il testo generato da ChatGPT. Considerando che la sintesi vocale pronuncerà con le regole italiane tutto il testo, è meglio sostituire eventuali parole in altre lingue.

Si apre quindi il servizio gratuito Adobe Express e si va su Funzionalità -> Rimozione dello sfondo.

4) RIMUOVERE E SOSTITUIRE LO SFONDO CON IL VERDE

Si clicca sul pulsante Carica la tua foto quindi la si trascina nell'area apposita. L'algoritmo  rimuoverà in automatico tutto lo sfondo della foto scaricata da Midjourney. Si va poi su Personalizzazione.

Si attiva il cursore del Colore posto in basso, si sceglie un colore verde e si trascinano i bordi della foto per farli coincidere con quelli del progetto. Si clicca poi sul cursore Aggiungi allo Sfondo per uniformare il suo colore.

colore di sfondo verde per avatar

Per fare in modo che il Green Screen funzioni al meglio è opportuno che la foto creata con Midjourney non abbia dei colori sul verde. Se ce li avesse, dovremmo scegliere un altro colore di sfondo. Infine si clicca su Scarica in alto a destra. Si mette la spunta a JPG e si va sul pulsante Inizia il Download per scaricare l'avatar con sfondo verde.

5) ANIMARE AVATAR CON IL TESTO

Si apre il tool online denominato D-ID a cui occorre accedere creando un account gratuito. Si va su Create Video.

Si clicca poi su +ADD e si seleziona la foto dell'avatar con lo sfondo verde scaricato da Adobe Express.

aggiungere avatar e testo per animare labbra

A destra della pagina si sceglie la scheda Type Your Script e vi si incolla il testo copiato da ChatGPT.

Più in basso si seleziona la lingua italiana e si sceglie una delle voci disponibili. Ce ne sono 8 femminili e 6 maschili. In alcuni casi si può scegliere per una riproduzione in stile chat o in stile cheerful (allegro).

Si clicca sul pulsante dell'altoparlante per ascoltare l'audio. Eventualmente si modifica qualche parola se la pronuncia non fosse perfetta. Si va quindi in alto a destra su Generate Video per aprire un popup.

generare video con audio del testo

Potremo visualizzare la lunghezza del video e il numero di crediti che consumeremo. La dotazione di crediti per un utente con un piano gratuito è di venti. Si va su Generate e si attende la fine della codifica del filmato.

Questo verrà aggiunto alla Video Library e potrà essere riprodotto e quindi scaricato in MP4.

scaricare video in mp4 con sintesi vocale

Il video verrà nominato di default New Creative Video ma potremo cambiarne il nome cliccando sulla icona della matita. Il filmato avrà anche un watermark di testo D-ID in basso a sinistra che potremo togliere con Shotcut.

Si apre Shotcut, gratuito e multipiattaforma, si va su Elenco Riproduzione e vi si trascina il video di D-ID.

6) PROGETTO VIDEO CON SHOTCUT

Si clicca poi nel menù su Settings -> Modalità Video e si sceglie la risoluzione desiderata (p.e. HD 1080p 30fps). Si trascina il video nella Timeline. Presumibilmente si visualizzeranno delle barre nere laterali.

progetto video su shotcut

Si clicca quindi sul menù della Timeline e si va su Traccia Operazioni -> Aggiungi Traccia Video.

Verrà creata una traccia sopra a quella preesistente in cui trascinare il video. Si va quindi sotto il menù su Apri Altro -> Colore. Si clicca ancora su Colore per aprire un popup in cui andare su Preleva un colore dallo schermo.

prelevare colore dallo schermo

Il mouse assumerà la forma di una crocetta su cui cliccare nello sfondo del video con l'avatar. Si va quindi su OK e ancora su OK nella finestra precedente. Verrà quindi creato un elemento dello stesso colore. Si va su Elenco Riproduzione e si clicca sul pulsante del Più, posto in basso, per aggiungere l'elemento a Elenco Riproduzione.

Sempre con il drag&drop del mouse, si trascina l'elemento colore nella traccia in basso e se ne pareggia la durata con quella del video con l'avatar. Adesso tutto lo schermo sarà dello stesso colore verde. Il prossimo passaggio ci servirà per eliminare il watermark. Si seleziona la clip in alto, quella dell'avatar con l'aggiunta della sintesi vocale.

Si va su Filtri, si clicca sul Più e si scelgono i filtri Video. Tra questi si clicca su Rimozione Macchie.

filtro rimozione macchie

Visualizzeremo un piccolo rettangolo in alto a sinistra dello schermo di anteprima. Tale rettangolo si ridimensiona e si posiziona sopra al watermark che verrà nascosto. Si salva il video andando su Esporta -> Predefinito.

Si va quindi su Esporta File, si sceglie la cartella di output, si dà un nome al video e si clicca su Salva.

7) ELIMINARE IL GREEN SCREEN CON DAVINCI RESOLVE

Si attende la fine della esportazione del video da Shotcut quindi si apre DaVinci Resolve nella sua versione gratuita. Si va su New Project, si dà un nome al progetto quindi si clicca su Create per aprirne l'interfaccia.

Si sceglie la terza scheda, la Edit Page, e si trascina nella Media Pool il video esportato da Shotcut e l'immagine scaricata da Pexels e ritagliata con Gimp. Si trascina il video nella traccia in alto e la foto in quella in basso.

applicare 3D Keyer

Si illumina poi il pulsante Effects, si va su Toolbox -> Open FX e si scorre in basso fino a trovare 3D Keyer che si trascina sulla traccia del video. Si pareggia la durata della traccia della foto con quella del video.

Si va in basso a sinistra del player di anteprima e si sceglie nel menù Open FX Overlay. Si clicca poi su Inspector.

eliminare lo sfondo verde

Si va su Effects, si seleziona il primo Contagocce e si disegna sullo schermo a partire dalla zona in cui si trovava il watermark fino a terminare oltre la linea che divide lo sfondo originale da quello aggiunto con Shotcut.

Si lascia il cursore e come per magia lo sfondo verde scomparirà e si vedrà la foto della traccia sottostante.

esportazione del video con davinci resolve

Per salvare il video risultante si va nella Deliver Page, si digita il nome del video in File Name, si clicca su Browse in Location per scegliere la cartella di output, si seleziona il formato MP4 quindi si va su Add To Render Queue. Sulla destra, nell'area dei Jobs, si clicca su Render All per esportare il video della Timeline.

8) MOSTRARE IL VIDEO DELL'AVATAR COME TRAILER SU YOUTUBE

Un video come quello realizzato può essere usato come Trailer per un Canale su Youtube. Si accede quindi si va su Youtube Studio, si sceglie la scheda Contenuti e, in alto a destra, si va su Crea -> Carica Video.

Si seleziona il video esportato da DaVinci Resolve e lo si pubblica mantenendolo con la opzione Non in Elenco.

video trailer in youtube

Sempre su Youtube Studio si va sulla scheda Personalizzazione -> Layout. Possiamo quindi aggiungere o cambiare i video che abbiamo scelto di mostrare nel nostro Canale, rispettivamente agli utenti non iscritti e agli utenti iscritti. Si seleziona poi il video pubblicato come Non in Elenco per poi andare su Pubblica in alto a destra.



Nessun commento :

Posta un commento

Non inserire link cliccabili altrimenti il commento verrà eliminato. Metti la spunta a Inviami notifiche per essere avvertito via email di nuovi commenti.
Info sulla Privacy