Selain perubahan wajah yang dalam, simulasi sulih suara, dan perangkat lunak AI yang juga dapat mencocokkan bentuk bibir, telah muncul

Sumber asli: GenAI New World

Sumber gambar: Dihasilkan oleh Unbounded AI

Menurut laporan media luar negeri, minggu lalu perangkat lunak terjemahan yang disebut LipDub** secara resmi dirilis, sebuah program AI yang memungkinkan pembuat video berkomunikasi dalam berbagai bahasa dalam hitungan menit.

LipDub sedang dikembangkan oleh startup Captions, yang didirikan pada tahun 2021 oleh Gaurav Misra dan Dwight Churchill. Captions telah menerima dukungan investasi dari Sequoia Capital, Anderson Horowitz, pendiri Instagram Kevin Systrom dan Mike Krieger, dan Julie Zhuo, mantan wakil presiden desain produk Facebook.

Pendiri Gaurav Misra berasal dari New Delhi, India, dan merupakan kepala teknik desain Snap. Menurut Misra, ia dibesarkan dalam berbagai bahasa yang berbeda, termasuk Hindi, Inggris, Punjabi dan Urdu. Gaurav Misra juga menghabiskan bertahun-tahun belajar bahasa Prancis, yang membantunya membangun jaringan profesional di Eropa, Afrika, dan Timur Tengah.

Misra percaya bahwa terjemahan bertenaga AI dan teknologi pencocokan bibir dapat membantu orang terhubung dan memahami orang lain dengan lebih mudah.

Keterangan: Pelokalan Terjemahan Video Mudah dengan AI

Teks dikenal karena menghasilkan teks yang dihasilkan AI, koreksi suara, dan teknik yang mengoreksi posisi bola mata pembuat video dalam pascaproduksi. Misra dan Churchill, yang sebelumnya bekerja sebagai pengembang produk di Goldman Sachs, sudah lama ingin menambahkan pencocokan bibir ke terjemahan voice over, tetapi tidak berharap itu terjadi begitu cepat. "Kami awalnya berpikir akan memakan waktu 10 tahun untuk teknologi untuk mengambil 10 tahun untuk sampai ke sana, tetapi sekarang teknologi bergerak sangat cepat sehingga hal-hal baru keluar hampir setiap bulan atau bahkan setiap minggu," kata Misra. "

LipDub memasuki pasar terjemahan AI yang menjanjikan. Pesaingnya termasuk kloning suara, aplikasi terjemahan HeyGen dan Verbalate, serta alat-alat baru dari perusahaan seperti Spotify dan studio efek visual Monsters, Aliens, Robots, Zombies. **

Di mana di masa lalu, banyak bisnis perlu menyewa beberapa presenter video untuk mengekspresikan cerita yang sama dalam bahasa yang berbeda, tetapi sekarang mereka dapat melakukan hal yang sama dengan AI generatif. Aplikasi ini memungkinkan pengguna untuk mengunggah video dan kemudian mengubahnya menjadi bahasa Turki, Prancis, Arab, atau Italia yang fasih dalam hitungan menit.

Rijul Gupta, pendiri DeepMedia, mengatakan: "Kami pada dasarnya telah menerapkan teknologi baru ini dengan sempurna, siapa pun dapat mengkloning suara siapa pun dan membuatnya berbicara dalam bahasa yang berbeda dengan referensi audio 5 detik. "

Di situs-situs seperti X dan Reddit, video yang dijuluki dari beberapa orang terkenal telah muncul ribuan kali. Spotify bergabung dengan kereta musik bulan lalu ketika mereka mengumumkan bahwa mereka akan menawarkan podcast terjemahan AI yang dapat dikonversi ke dalam bahasa yang berbeda sambil mempertahankan timbre dan intonasi asli mereka. **

Saat ini, aktor Dax Shepard dan Kristen Bell, peneliti MIT Lex Fridman dan Steven Bartlett semuanya memiliki podcast berbahasa Spanyol, dan terjemahan bahasa Prancis dan Jerman akan segera tersedia. Alat Spotify baru memanfaatkan teknologi penghasil suara OpenAI yang baru dirilis untuk memberikan pengalaman mendengarkan yang lebih realistis.

**Awal tahun lalu, tim di Misra dan Captions mulai bereksperimen dengan pencocokan bibir dan bekerja dengan mitra untuk menguji cara kerjanya di aplikasi Captions. **

Misra mengakui bahwa teknologi pencocokan bibir berkembang lebih cepat dari yang dia harapkan. "Sepertinya wajar untuk pindah ke tahap berikutnya, membuat video yang tidak terasa seperti akting suara atau penyesuaian buatan." Teknologi baru membuat video terlihat sangat alami dan mudah dimengerti. "Dari awal tes, kemungkinan baru disajikan kepada mereka. Misra berkata: "Seperti teknologi yang pernah kita lihat sebelumnya di Star Trek, ini sci-fi! "

Captions menerima $ 25 juta dalam pendanaan Seri B dari Kleiner Perkins pada bulan Juni. Captions sekarang memiliki 100.000 pengguna aktif harian, dan Misra yakin perusahaan akan memiliki lebih banyak pengguna aktif setelah peluncuran LipDub.

**Saat ini tersedia dalam 28 bahasa, termasuk Korea, Spanyol, Ceko, Tamil, dan Ukraina, LipDub menggunakan mode zero-shot untuk menghasilkan video yang mulus tanpa melihat subjek dalam model pembuatan video Captions. **

Algoritma pembelajaran mesin internal LipDubs dilatih untuk mengenali gerakan bibir speaker, dan perusahaan juga menggunakan model GPT-4 OpenAI untuk menerjemahkan video ke dalam berbagai bahasa dan dialek di aplikasi. Teknologi voice over AI ini sudah digunakan di aplikasi Captions dan dirilis pada bulan Maret tahun ini, menarik pengguna dari seluruh dunia.

"Orang-orang yang tidak dapat menjangkau audiens tertentu sekarang dapat melakukannya," kata Misra. Teknologi ini adalah contoh sempurna dari masa depan utopis, jadi saya sangat bersemangat tentang hal itu. "

Menurut Misra, kemungkinan teknologi baru tidak terbatas. "Saya pikir streaming langsung adalah contoh yang sangat andal." "Baik itu permainan langsung di Twitch atau presentasi yang tidak diketahui, jenis konten ini dapat dengan mudah dilokalkan melalui AI," kata Misra. "

HeyGen: Ingin membuat distribusi video dalam berbagai bahasa semudah mengetik**

Selain Teks, ada banyak perusahaan dengan jenis terjemahan AI yang sama, seperti HeyGen**. HeyGen adalah perusahaan AI dengan jutaan pengguna dan merupakan salah satu pemain terbesar di bidang AI lip-matching dan terjemahan konten video pendek. Setelah perusahaan meluncurkan fitur terjemahan videonya pada 7 September, dengan cepat menjadi populer di X. Sejak itu, puluhan video fotorealistik telah menjadi viral, dengan pengguna berbagi klip Elon Musk, Messi dan Mark Zuckerberg berbicara dalam berbagai bahasa asing. **

Mark Burginger, kepala perusahaan mainan Qubits, pernah memasang perusahaan STEM-sentrisnya di sebuah acara yang disebut "Shark Tank." Karena penasaran, ia mencoba fitur terjemahan AI HeyGen pada 13 September. Dia memposting video di X tentang dirinya berbicara dalam bahasa Spanyol, meskipun dia tidak mengerti bahasa Spanyol.

"Dapatkah Anda bayangkan sebuah perusahaan mainan kecil yang menghasilkan kurang dari satu juta dolar setahun dapat menggunakan alat-alat yang cukup murah ini?" Burginger mengatakan dia adalah seorang seniman dan penemu yang berbasis di Hendersonville, North Carolina, dan Burginger berkata, "yang membantu menyamakan kedudukan dengan perusahaan besar." "

Tujuan HeyGen adalah untuk "menghilangkan hambatan bahasa," kata Joshua Xu, salah satu pendiri dan CEO perusahaan, "di mana kami membayangkan masa depan di mana memproduksi konten video dan menyebarkan informasi dalam berbagai bahasa semudah mengetik."

Dalam video yang dihasilkan AI yang diposting di X, Xu menambahkan bahwa platform pendidikan seperti Coursera, Khan Academy, dan MasterClass dapat memperluas jangkauan mereka dengan menjadi "multibahasa." HeyGen saat ini mendukung 10 bahasa input dan 8 bahasa output** termasuk Inggris, Spanyol, Cina, Italia, Hindi, dan Jepang. **

HeyGen CEO Joshua Xu

Sebelum mendirikan HeyGen, sebelumnya dikenal sebagai Movio, Wayne Liang, XU dari Snap dan mantan insinyur ByteDance, mendirikan Surreal pada tahun 2020.

Pada saat itu, Surreal menawarkan produk "deepfake" yang realistis, "deepfake" adalah teknologi sintesis video yang dapat membuat video komposit dengan realitas palsu. Teknologi ini menarik bagi perusahaan e-commerce yang ingin mengiklankan produk mereka dengan cara yang lebih efisien. Surreal mendapatkan $ 1 juta dalam putaran malaikat empat bulan setelah meluncurkan operasi di Shenzhen, Cina. **Sampai hari ini, Surreal masih aktif di China, memposting lowongan pekerjaan dan magang di situs web ketenagakerjaan dan universitas China, tetapi platform HeyGen Surreal beroperasi terutama di Los Angeles, tempat XU dan Liang bekerja.

Movio adalah platform video AI berdasarkan mesin Surreal yang diluncurkan pada Juli 2022. Menurut perusahaan, produknya menghasilkan pendapatan $1 juta hanya dalam 7 bulan, setelah itu XU dan Liang mengganti nama Movio menjadi HeyGen,** dan sejak 2020, HeyGen dan Surreal telah mengumpulkan setidaknya $9 juta dalam pendanaan dari Sequoia Capital, IDG Capital, ZhenFund, dan cabang modal ventura Baidu, Baidu Ventures. **

**Verbalate terinspirasi oleh podcast **

Selain LipDub dan HeyGen, ada juga platform yang juga terlibat dalam ruang ini, dan Verbalate juga dapat menjuluki video pengguna ke dalam bahasa target secara bersamaan. Perbedaannya adalah Verbalate dapat menyuarakan video hingga 30 menit.

Menurut pendiri platform, Grant Davies, Verbalate lahir murni karena bosan selama pandemi. Suatu hari di tahun 2022, Davies mendengar wawancara podcast dengan Joe Rogan dan MrBeast saat berkendara. Pada saat itu, YouTuber menyebutkan bahwa salurannya menggunakan aktor suara untuk menjuluki video ke dalam bahasa Spanyol, Rusia, Hindi, Portugis, dan bahasa lainnya, karena kurang dari 10% populasi dunia berbicara bahasa Inggris. Davies sedang mengerjakan teknologi AI pada saat itu, dan mereka tidak berpikir tim mereka akan mampu melakukannya.

Davies menggunakan jaringan pemasarannya untuk memperkenalkan dan menjual layanan Verbalate kepada klien korporat yang ingin berkomunikasi dengan karyawan luar negeri. Menurut Dom Procter, pendiri OutSourced Staff, sebuah perusahaan outsourcing Sydney, "Bagi saya sebagai sales dan marketer, itu membuat hidup saya lebih mudah. "

Setelah menggunakan video Verbalate untuk mengirim pesan ke karyawan jarak jauh di Asia atau Eropa Timur, Dom Procter mencatat, "Membuat konten dalam bahasa asli mereka adalah pengubah permainan." Paket berlangganan paling dasar Verbalate adalah $ 9 per bulan dan memungkinkan pengguna membuat video berdurasi 10 menit dengan biaya tambahan $ 1 per menit. Paket Pembuat Konten bulanan HeyGen adalah $ 29 per bulan dan dapat menghasilkan beberapa video masing-masing 5 menit. **

Platform lain melihat pasar yang lebih besar dan waktu pemutaran video yang lebih lama. MARZ yang berbasis di Toronto terutama menarik perusahaan produksi film dan televisi yang tertarik pada akting suara fotorealistik melalui platform AI LipDub (bukan LipDub Captions).

LipDub AI** saat ini memproses klip video satu menit yang berisi beberapa pengambilan gambar dengan waktu tayang kurang dari 20 menit. Sementara perusahaan saat ini menggunakan klip pelatihan untuk membuat sulih suara ini, ia berharap dapat mempercepat pemrosesan dalam tahun ini dengan membuang klip pelatihan dan hanya mengandalkan klip audio dan mentah. Tidak seperti platform sulih suara lainnya, LipDub AI tidak menggunakan model bahasa besar, melainkan menggunakan model generatif sendiri, yang dilatih berdasarkan perekaman suara.

Tim Reyes, direktur pemasaran di MARZ, percaya teknologi sinkronisasi bibir akan membantu produser memperluas dampak film atau acara TV tanpa membahayakan keamanan kerja aktor. Reyes berpendapat: "LipDub AI sebenarnya membuka sejumlah besar peluang untuk pasar baru, tidak seperti beberapa teknologi AI lainnya yang mengganggu alur kerja saat ini di industri film. "

Selain membuka pasar baru, pencipta aplikasi ini memiliki cita-cita yang lebih tinggi. Davies berharap bahwa program terjemahan seperti Verbalate akan memecah bias implisit tentang bahasa mereka sendiri dan bahkan menumbuhkan pola pikir yang lebih global. Davies mengatakan bahwa dalam sebuah video yang dibagikan timnya di X, orang-orang dari berbagai daerah dapat terlihat mengekspresikan pendapat mereka dalam berbagai bahasa, yang membantunya berpikir tentang bagaimana orang dapat berkomunikasi lintas batas. Davies berpikir itu memiliki potensi untuk membuat orang sedikit lebih manusiawi, karena orang-orang dari budaya yang berbeda dapat lebih memahami satu sama lain. " **

Davies mengatakan bahwa bahkan pesan politik, dengan kata-kata Anda sendiri, dapat membuat perbedaan, dan jika kita dapat saling mendengarkan, adalah mungkin untuk membantu umat manusia.