Il team di MyShell presenta OpenVoice.

L’intelligenza artificiale per la clonazione vocale.

Una nuova intelligenza artificiale open-source chiamata OpenVoice offre la clonazione vocale con una velocità e precisione senza precedenti.

Sviluppato da ricercatori del MIT, dell’Università di Tsinghua e della startup canadese MyShell, OpenVoice utilizza solo pochi secondi di audio per clonare una voce e consente un controllo dettagliato su tono, emozione, accento, ritmo e altro ancora.

MyShell ha presentato OpenVoice in un post questa settimana, collegando a un articolo di ricerca pre-recensito che spiega la tecnologia, oltre a siti dimostrativi su MyShell e HuggingFace, dove gli utenti possono provarlo.

I modelli duali di intelligenza artificiale consentono la clonazione istantanea della voce OpenVoice è composto da due modelli di intelligenza artificiale che lavorano insieme per la conversione da testo a voce e la clonazione del tono della voce.

Il primo modello gestisce lo stile del linguaggio, gli accenti, l’emozione e altri modelli di linguaggio. È stato addestrato su 30.000 campioni audio con emozioni variabili da parlanti inglesi, cinesi e giapponesi. Il secondo modello, denominato “tone converter” (convertitore di tono), ha imparato da oltre 300.000 campioni che includono 20.000 voci.

Combinando il modello di linguaggio universale con un campione vocale fornito dall’utente, OpenVoice può clonare voci con molto pochi dati. Ciò consente di generare discorsi clonati significativamente più velocemente rispetto a alternative come Voicebox di Meta.

Startup californiana OpenVoice proviene dalla startup con sede in California chiamata MyShell, fondata nel 2023. Con oltre 5,6 milioni di dollari in finanziamenti iniziali e oltre 400.000 utenti già registrati, MyShell si presenta come una piattaforma decentralizzata per la creazione e la scoperta di app di intelligenza artificiale.

Oltre a essere un pioniere nella clonazione istantanea della voce, MyShell offre personalità originali per chatbot basati su testo, generatori di meme, giochi di ruolo basati su testo creati dagli utenti e altro ancora. Alcuni contenuti sono accessibili tramite una quota di abbonamento. La società addebita anche ai creatori di bot per promuovere i loro bot sulla sua piattaforma.

Con la condivisione in open source delle sue capacità di clonazione vocale attraverso HuggingFace e monetizzando il suo ecosistema più ampio di app, MyShell ha l’opportunità di aumentare gli utenti in entrambe le aree, promuovendo nel contempo un modello aperto di sviluppo dell’intelligenza artificiale.