Subtitle dan Terjemahan Real-Time Mungkin Menjadi Masa Depan Obrolan Video

Navi adalah aplikasi yang menambahkan subtitle langsung dan subtitle instan ke panggilan FaceTime.

Aplikasi ini menggunakan SharePlay dan pengenalan suara bawaan untuk menambahkan subtitle dan subtitle dalam 20 bahasa ke panggilan FaceTime. Ini adalah penggunaan SharePlay yang luar biasa, yang sebagian besar dari kita anggap sebagai cara menarik untuk menonton film secara bersamaan dengan orang-orang di tempat lain. Anda mungkin belum perlu memisahkan kompiler Anda, tetapi aplikasi yang bekerja dengan baik bisa sangat berguna.

“Saya tidak mendapatkan audio dari panggilan FaceTime, tetapi saya menggunakan SharePlay untuk membagikannya di antara peserta panggilan,” tulis pengembang Navi Jordi Bruin di Twitter.

SharePlay

SharePlay adalah fitur baru di iOS 15 dan macOS 12.1 yang memungkinkan Anda berbagi dan menyinkronkan berbagai hal dalam panggilan FaceTime. Dengan menggunakan contoh menonton film di atas, setiap peserta dapat menjeda atau memutar film, misalnya, saat mereka semua sedang mengobrol di panggilan FaceTime. Video FaceTime tetap terbuka di panel gambar-dalam-gambar mengambang kecil, dan setiap peserta meluncurkan aplikasi secara lokal di perangkat mereka. Trik untuk SharePlay adalah menyinkronkan semua yang terjadi di aplikasi lokal ini, jadi semua orang berbagi pengalaman, baik itu film, latihan kebugaran, atau spreadsheet.

Navi menggunakan teknologi yang sama, hanya aplikasi selama panggilan bukan film – ini adalah mesin terjemahan waktu nyata. Untuk menggunakannya, Anda dapat meluncurkan aplikasi saat dalam panggilan FaceTime dan klik tombol Nyalakan Subtitle. Kemudian, peserta lain juga dapat mengikuti acara tersebut dan melihat terjemahan langsung dari pembicara saat ini. Jika seseorang berbicara secara sepihak, gelembung bicaranya akan semakin besar dan berlangsung sedikit lebih lama.

Bagi orang tuli, ini bisa berarti perbedaan antara menghubungi orang atau tidak. Dan bagi siapa saja, itu berarti Anda dapat melakukan percakapan yang bermakna antara orang-orang yang tidak memiliki bahasa yang sama.

Text Universal

Internet dibangun di atas teks, dan itu hal yang keren. Ini kecil dan mudah dibuat, dibaca, dan diterjemahkan. Hal ini juga mudah untuk berubah menjadi pidato majemuk. Hasilnya adalah siapa pun dari mana saja dapat berpartisipasi dalam percakapan apa pun. Bahasa bukanlah cacat, juga bukan tuli atau kebutaan apa pun – selama Anda menggunakan perangkat dengan aksesibilitas yang baik untuk tunanetra atau tuna rungu.

Tetapi memproses kata yang diucapkan jauh lebih sulit. Dikte ucapan-ke-teks sangat mengesankan, tetapi baru belakangan ini pengenalan ucapan umum menjadi cukup baik untuk penggunaan umum – aplikasi Terjemahan Apple adalah contoh yang baik. Diperkenalkan di iOS 15, ini menyediakan subtitle audio waktu nyata. Jika kami masih pergi berlibur di luar ruangan, itu akan sempurna.

Sekarang kami semakin sering menggunakan video untuk bekerja dan tetap berhubungan dengan teman dan keluarga. Tidak peduli bagaimana kita bekerja di masa depan, penghalang panggilan FaceTime telah benar-benar rusak. Ini sekarang menjadi alat yang populer, tetapi tidak memiliki banyak keserbagunaan alat komunikasi tertulis.

Sesuatu seperti Navi, yang menawarkan subtitle dan subtitle secara real time, mungkin penting. Aksesibilitas adalah salah satu aspeknya, tetapi kemampuan untuk berbicara dengan orang-orang yang bahasa nya tidak Anda kuasai membuka Anda untuk bisnis internasional hingga tingkat yang luar biasa.

navigasi

In Action

Saya telah menguji Navi dengan pengembang aplikasi, penulis, dan pengguna stetoskop Graham Bower. Ini sangat bagus tetapi belum siap untuk misi kritis. Beberapa salinannya sangat buruk dan sangat vulgar. Saat percakapan kami berlanjut, saya menjadi jauh lebih baik dalam mengenal pidatonya secara akurat. Ini masuk akal karena mesin dikte iOS beradaptasi dengan suara Anda dari waktu ke waktu.

Terjemahan nya juga berhasil, meskipun kualitas terjemahannya tergantung pada keakuratan input.

Sangat mudah untuk menampilkan teknologi semacam ini di kacamata Apple masa depan atau produk AR / VR apa pun yang dikabarkan sedang dikerjakan minggu ini.

“Saya bisa melihat ini beraksi dalam kacamata augmented reality,” kata Bauer selama percakapan kami. “Beberapa orang, bahkan dengan pendengaran normal, lebih suka subtitle di film. Ini mungkin seperti subtitle di kehidupan nyata.”

Sementara pertunjukan teknologi yang mengesankan, Navi belum keluar. Untuk penggunaan bisnis yang andal, pengenalan ucapan awal Apple harus lebih akurat. Tapi dalam hal kecepatan, tidak apa-apa, dan terjemahan nya sama bagusnya dengan yang lain.

Tapi kita sedang dalam perjalanan sekarang, dan hal semacam itu akan menjadi lebih baik.