Google memperkenalkan SL2T atau sign-language-to-text, model kecerdasan buatan yang dirancang untuk menerjemahkan bahasa isyarat menjadi teks. Teknologi yang dikembangkan Google DeepMind ini membawa pengenalan bahasa isyarat dari ranah penelitian menuju penggunaan yang lebih dekat dengan perangkat konsumen, terutama untuk membantu pengguna Tuli dan pengguna dengan gangguan pendengaran berinteraksi dengan perangkat digital.
Berbeda dari sistem masukan suara yang mengubah ucapan menjadi teks, SL2T memanfaatkan informasi visual dari gerakan tubuh untuk memahami bahasa isyarat. Pendekatan tersebut membuat kamera pada perangkat menjadi bagian penting dari proses komunikasi. Pengguna dapat menggunakan bahasa isyarat ketika ingin memasukkan teks, mencari informasi, menulis pesan, atau berinteraksi dengan layanan berbasis AI.
Peluncuran SL2T menjadi menarik karena bahasa isyarat tidak hanya bergantung pada bentuk tangan. Gerakan, posisi tubuh, ekspresi wajah, serta hubungan spasial antargerakan dapat membawa informasi yang menentukan makna. Karena itu, tantangan yang harus dihadapi model AI untuk bahasa isyarat jauh lebih kompleks dibandingkan sekadar mengenali sejumlah gestur tangan secara terpisah.
SL2T Dirancang untuk Mengubah Bahasa Isyarat Menjadi Teks
Nama SL2T merupakan singkatan dari sign-language-to-text yang menggambarkan fungsi utamanya. Model tersebut dirancang untuk menerima bahasa isyarat sebagai masukan visual kemudian menghasilkan keluaran berupa teks. Dengan pendekatan ini, pengguna tidak harus selalu berpindah ke papan ketik ketika ingin memasukkan kalimat ke perangkat.
Google menggambarkan teknologi tersebut sebagai langkah untuk membuat bahasa isyarat dapat digunakan sebagai bentuk input yang lebih natural pada perangkat. Dalam skenario penggunaan, seseorang dapat menggunakan bahasa isyarat di tempat yang biasanya membutuhkan pengetikan. Teks hasil terjemahan kemudian dapat digunakan dalam aktivitas digital sebagaimana teks yang dimasukkan melalui keyboard.
Konsep tersebut penting dalam konteks aksesibilitas karena perangkat digital selama ini banyak dirancang dengan asumsi bahwa pengguna dapat menggunakan suara atau mengetik secara nyaman. Dengan SL2T, Google mencoba menyediakan jalur input lain yang lebih sesuai dengan cara berkomunikasi pengguna bahasa isyarat.
Pada tahap awal, kemampuan yang diperkenalkan berfokus pada American Sign Language atau ASL yang diterjemahkan ke bahasa Inggris. Google juga menyatakan bahwa model tersebut dikembangkan dengan cakupan bahasa isyarat yang lebih luas dan menjadi fondasi untuk pengembangan dukungan bahasa lain pada tahap berikutnya.
Bukan Sekadar Mengenali Gerakan Tangan
Salah satu tantangan utama penerjemahan bahasa isyarat adalah memahami bahasa sebagai rangkaian gerakan yang berlangsung dari waktu ke waktu. Sebuah tanda tidak selalu memiliki makna jika dilihat sebagai satu gambar diam. Hubungan antara gerakan sebelum dan sesudahnya dapat memengaruhi interpretasi keseluruhan.
Karena itu, SL2T tidak hanya diarahkan untuk membaca posisi tangan. Sistem juga memperhatikan informasi yang berasal dari gerakan tubuh dan ekspresi wajah. Informasi tersebut diperlukan karena aspek nonmanual dapat menjadi bagian dari struktur dan makna bahasa isyarat.
Pendekatan multimodal seperti ini membuat sistem lebih dekat dengan cara manusia memahami bahasa isyarat. Kamera menangkap rangkaian gerakan, sementara model AI berusaha menghubungkan berbagai elemen visual tersebut menjadi keluaran bahasa yang dapat dipahami dalam bentuk teks.
Google juga mengembangkan sistem agar dapat menghadapi kondisi penggunaan yang lebih beragam. Salah satu tantangannya adalah ketika pengguna melakukan bahasa isyarat dengan satu tangan atau menggunakan tangan kiri. Situasi semacam itu penting untuk diperhatikan jika teknologi ingin digunakan dalam kondisi sehari-hari, bukan hanya pada lingkungan pengujian yang terkontrol.
Terintegrasi dengan Gboard dan Live Transcribe
SL2T tidak diperkenalkan hanya sebagai model penelitian. Google menggunakannya untuk mendukung fitur sign-to-text pada produk tertentu. Salah satu integrasinya berkaitan dengan Gboard, papan ketik Google yang digunakan pada perangkat Android.
Dengan dukungan tersebut, bahasa isyarat dapat digunakan sebagai bentuk input untuk menghasilkan teks. Secara konsep, pengalaman ini mirip dengan fitur dikte suara, tetapi sumber masukan yang digunakan adalah bahasa isyarat melalui kamera.
Pengguna dapat memanfaatkan hasil teks tersebut untuk berbagai aktivitas. Misalnya, teks dapat digunakan untuk melakukan pencarian di internet, menyusun pesan, membuat dokumen, atau mengirim permintaan kepada layanan AI seperti Gemini. Kemampuan tersebut membuat SL2T tidak berhenti sebagai penerjemah, tetapi menjadi bagian dari cara pengguna berinteraksi dengan perangkat.
Teknologi ini juga digunakan dalam Live Transcribe. Layanan tersebut pada dasarnya berhubungan dengan transkripsi percakapan secara langsung. Dengan dukungan SL2T, bahasa isyarat dapat menjadi salah satu bentuk respons ketika pengguna berkomunikasi melalui perangkat, sehingga interaksi dua arah dapat dibuat lebih fleksibel.
Pixel 11 Menjadi Perangkat Awal
Google memperkenalkan kemampuan sign-to-text tersebut pada perangkat Pixel generasi terbaru, dengan Pixel 11 menjadi perangkat awal yang memperoleh pengalaman tersebut. Implementasi awal ini menjadi langkah penting karena teknologi penerjemahan bahasa isyarat tidak lagi hanya ditampilkan sebagai demonstrasi penelitian, tetapi ditempatkan dalam konteks penggunaan produk konsumen.
Kehadiran pada perangkat konsumen juga memberikan gambaran mengenai arah pengembangan AI Google. Model AI tidak hanya diarahkan untuk menghasilkan teks dari perintah tertulis atau suara, tetapi juga memahami bentuk komunikasi visual yang lebih kompleks.
Google menyebut lebih banyak perangkat akan menyusul. Dukungan terhadap bahasa lain juga menjadi bagian dari rencana pengembangan berikutnya. Artinya, peluncuran awal SL2T dapat dipandang sebagai tahap pertama dari upaya yang lebih luas untuk membuat teknologi penerjemahan bahasa isyarat tersedia pada lebih banyak perangkat dan bagi lebih banyak komunitas.
Model Dilatih dengan Data Bahasa Isyarat dalam Skala Besar
Salah satu aspek penting dalam pengembangan SL2T adalah kebutuhan terhadap data pelatihan yang besar dan beragam. Berdasarkan informasi yang dipublikasikan mengenai model tersebut, Google DeepMind melatih SL2T menggunakan lebih dari 100.000 jam data yang mencakup lebih dari 50 bahasa isyarat.
Skala data tersebut menunjukkan besarnya tantangan yang dihadapi ketika AI harus mempelajari bahasa isyarat. Setiap bahasa memiliki karakteristik tersendiri dan tidak dapat diperlakukan hanya sebagai variasi gerakan tangan yang sama. Model perlu mempelajari pola bahasa sekaligus memahami variasi gerakan yang muncul dalam penggunaan nyata.
Meski cakupan pelatihan mencakup banyak bahasa isyarat, kemampuan yang tersedia kepada konsumen pada tahap awal tetap lebih terbatas. Google memulai pengalaman produk dengan ASL ke bahasa Inggris. Pengembangan dukungan bahasa lain membutuhkan pengujian, data, dan penyesuaian model lebih lanjut.
Pendekatan tersebut memperlihatkan bahwa angka cakupan data pelatihan tidak otomatis berarti semua bahasa isyarat sudah dapat diterjemahkan dengan kualitas yang sama. Bahasa isyarat memiliki keragaman linguistik dan budaya yang harus dipertimbangkan dalam pengembangan teknologi.
Privasi Menjadi Bagian Penting dari Sistem
Penerjemahan bahasa isyarat menggunakan kamera menimbulkan pertanyaan penting mengenai privasi karena sistem harus memproses informasi visual mengenai pengguna. Google karena itu menggunakan pendekatan pemrosesan yang memisahkan tahap pengenalan gerakan dari proses penerjemahan.
Dalam pendekatan yang dijelaskan untuk SL2T, pelacakan pose dilakukan di perangkat menggunakan teknologi seperti MediaPipe Holistic. Sistem mengubah informasi visual mengenai tangan, wajah, lengan, dan tubuh menjadi representasi koordinat atau landmark yang dapat diproses lebih lanjut.
Pendekatan tersebut berarti video mentah tidak perlu menjadi bentuk data yang terus dikirim untuk seluruh proses pemahaman. Setelah informasi gerakan diekstraksi, data yang lebih terstruktur dapat digunakan untuk tahap berikutnya. Google menyebut pendekatan tersebut sebagai bagian dari upaya menjaga privasi pengguna ketika fitur digunakan.
Aspek privasi menjadi sangat penting karena penggunaan sign-to-text dapat berlangsung di berbagai situasi sehari-hari. Pengguna mungkin menggunakan fitur ketika berada di rumah, tempat kerja, ruang publik, atau ketika sedang melakukan percakapan pribadi. Karena itu, desain pemrosesan data menjadi bagian penting dari penerimaan teknologi aksesibilitas berbasis kamera.
Bahasa Isyarat Memerlukan Pemahaman Konteks
Menerjemahkan bahasa isyarat bukan sekadar tugas pengenalan objek. Sistem harus memahami rangkaian gerakan sebagai bahasa. Hal ini menjadi salah satu alasan mengapa pengembangan teknologi tersebut membutuhkan pendekatan berbeda dibandingkan sistem computer vision yang hanya bertugas mengenali bentuk tertentu.
Gerakan tangan yang sama dapat memiliki interpretasi berbeda bergantung pada konteks, sementara ekspresi wajah dan posisi tubuh dapat ikut menentukan arti sebuah kalimat. Model juga harus mempertahankan hubungan spasial dan temporal agar keluaran teks tidak kehilangan informasi penting dari bahasa sumber.
Tantangan tersebut membuat kualitas penerjemahan perlu dilihat secara hati-hati. Kemampuan AI yang semakin baik tidak berarti teknologi dapat menggantikan seluruh bentuk komunikasi manusia atau selalu menghasilkan terjemahan yang sempurna. Dalam penggunaan nyata, hasil sistem tetap perlu dipahami sebagai keluaran model AI yang dapat memiliki keterbatasan.
Konteks tersebut juga menjelaskan mengapa keterlibatan komunitas Tuli menjadi bagian penting dalam pengembangan teknologi. Pengalaman pengguna dapat membantu pengembang memahami kebutuhan nyata, variasi penggunaan, serta situasi yang mungkin tidak terlihat dalam pengujian teknis semata.
Kolaborasi dengan Komunitas Menjadi Faktor Penting
Pengembangan AI untuk aksesibilitas memiliki tantangan yang berbeda dibandingkan pembuatan fitur konsumen pada umumnya. Teknologi harus menyelesaikan masalah teknis sekaligus menjawab kebutuhan kelompok pengguna yang akan memanfaatkannya.
Google DeepMind menyebut pengembangan SL2T melibatkan masukan dari komunitas Tuli. Keterlibatan tersebut membantu mengarahkan pengembangan agar model tidak hanya mengejar performa pada pengujian, tetapi juga mempertimbangkan bagaimana teknologi digunakan dalam kehidupan sehari-hari.
Masukan pengguna dapat mencakup berbagai aspek, mulai dari kenyamanan penggunaan kamera hingga situasi ketika seseorang perlu menggunakan satu tangan. Hal-hal tersebut mungkin tampak kecil dalam demonstrasi, tetapi sangat menentukan apakah sebuah fitur benar-benar praktis ketika digunakan oleh masyarakat.
Pendekatan berbasis pengguna juga dapat membantu menghindari anggapan bahwa semua pengguna bahasa isyarat memiliki cara berkomunikasi yang identik. Bahasa, gaya, kecepatan, kebiasaan, dan konteks penggunaan dapat berbeda. Karena itu, pengembangan teknologi harus mempertimbangkan keberagaman tersebut.
AI Membuka Bentuk Interaksi Baru
Kehadiran SL2T menunjukkan bahwa perkembangan AI kini bergerak ke arah interaksi multimodal. Pengguna tidak lagi harus selalu memberikan perintah melalui teks atau suara. Kamera dapat digunakan untuk menangkap bentuk komunikasi lain, sementara model AI mengubahnya menjadi informasi yang dapat diproses oleh perangkat.
Konsep ini memiliki potensi penggunaan yang lebih luas. Dalam konteks aksesibilitas, kemampuan memahami bahasa isyarat dapat membantu pengguna berinteraksi dengan layanan digital. Dalam jangka panjang, kemampuan serupa juga dapat membuka peluang bagi perangkat lain yang menggunakan kamera sebagai antarmuka.
Namun, manfaat tersebut tetap bergantung pada kemampuan model menghadapi kondisi dunia nyata. Pencahayaan, posisi kamera, jarak pengguna, gerakan yang terhalang, variasi bahasa, serta konteks percakapan dapat memengaruhi hasil pengenalan. Karena itu, pengembangan menuju lebih banyak perangkat dan bahasa akan menjadi tantangan berikutnya.
Langkah Awal Menuju Teknologi yang Lebih Inklusif
Peluncuran SL2T memperlihatkan bagaimana AI dapat digunakan untuk mengatasi bentuk hambatan interaksi yang selama ini belum banyak disentuh oleh produk digital arus utama. Alih-alih meminta pengguna menyesuaikan cara berkomunikasi dengan perangkat, teknologi tersebut mencoba membuat perangkat memahami bentuk komunikasi yang sudah digunakan oleh penggunanya.
Pada tahap awal, implementasinya masih memiliki cakupan tertentu. ASL ke bahasa Inggris menjadi fokus awal, sementara dukungan perangkat dan bahasa lain masih menjadi bagian dari pengembangan. Batasan tersebut penting dipahami agar kehadiran SL2T tidak dipandang sebagai solusi universal untuk seluruh bahasa isyarat.
Meski demikian, perpindahan dari model penelitian menuju fitur yang digunakan dalam produk konsumen merupakan perkembangan penting. Integrasi dengan Gboard dan Live Transcribe memberikan jalur penggunaan yang lebih nyata dibandingkan sekadar demonstrasi teknologi.
Google juga menempatkan privasi dan keterlibatan komunitas sebagai bagian dari pengembangan. Dua aspek tersebut menjadi penting karena teknologi harus bekerja dengan data visual yang sensitif sekaligus memahami kebutuhan kelompok pengguna yang memiliki karakteristik komunikasi berbeda.
Dengan SL2T, Google DeepMind menunjukkan bahwa perkembangan AI tidak hanya berkaitan dengan model yang semakin besar atau kemampuan menghasilkan teks dan gambar. AI juga dapat diarahkan untuk memahami bentuk komunikasi manusia yang kompleks dan membantu menciptakan akses yang lebih luas terhadap teknologi digital.
Ke depan, tantangan terbesar bukan hanya meningkatkan kemampuan model menerjemahkan bahasa isyarat, tetapi juga memperluas dukungan bahasa, perangkat, konteks penggunaan, serta memastikan teknologi tetap akurat dan nyaman digunakan. Jika pengembangan tersebut berjalan sesuai arah yang direncanakan, SL2T dapat menjadi salah satu contoh bagaimana AI digunakan untuk membangun antarmuka yang lebih inklusif bagi masyarakat.
