ScribeMe, AI Buatan Pemuda Tunanetra untuk Memahami Dunia Sekitar

ScribeMe memanfaatkan kecerdasan buatan untuk membantu penyandang tunanetra memahami lingkungan melalui kamera ponsel dan kacamata pintar.

Ilustrasi teknologi AI ScribeMe yang membantu penyandang tunanetra memahami lingkungan sekitar
Ilustrasi teknologi AI ScribeMe yang membantu penyandang tunanetra memahami lingkungan sekitar

Kecerdasan buatan atau AI semakin berkembang dari sekadar teknologi untuk menghasilkan teks, gambar, dan berbagai bentuk konten digital. Salah satu pemanfaatan yang memiliki dampak langsung terhadap kehidupan manusia adalah penggunaan AI untuk membantu penyandang tunanetra memperoleh informasi visual. ScribeMe menjadi salah satu contoh teknologi tersebut. Aplikasi yang dikembangkan pengusaha muda tunanetra asal Mesir, Mark Morad, dirancang untuk membantu pengguna memahami dunia di sekitar melalui deskripsi berbasis AI.

ScribeMe memanfaatkan kamera pada perangkat untuk menangkap lingkungan kemudian menggunakan teknologi AI untuk menganalisis informasi visual tersebut. Hasilnya dapat disampaikan kepada pengguna dalam bentuk audio sehingga informasi yang biasanya diterima melalui penglihatan dapat diakses melalui pendengaran. Pendekatan ini membuka kemungkinan baru bagi penyandang tunanetra untuk memperoleh informasi secara lebih mandiri dalam berbagai aktivitas.

Berawal dari Pengalaman Menghadapi Keterbatasan Visual

Pengembangan ScribeMe tidak terlepas dari pengalaman pribadi Mark Morad. Ia kehilangan penglihatannya akibat kondisi langka yang memengaruhi saraf optik. Pengalaman tersebut membuatnya memahami secara langsung berbagai hambatan yang dapat muncul ketika seseorang tidak dapat mengakses informasi visual seperti kebanyakan orang.

Bagi seseorang yang dapat melihat, membaca tulisan pada dokumen, mengetahui isi sebuah gambar, mengenali objek di sebuah ruangan, atau memahami keadaan di suatu tempat merupakan aktivitas yang berlangsung secara alami. Bagi penyandang tunanetra, berbagai informasi tersebut membutuhkan alat bantu atau bantuan dari orang lain.

Teknologi pembaca layar telah lama membantu pengguna tunanetra mengakses komputer dan perangkat seluler. Namun, pembaca layar terutama bekerja dengan informasi yang tersedia secara digital dalam bentuk teks atau struktur tertentu. Informasi visual seperti gambar, grafik, diagram, objek fisik, atau kondisi sebuah tempat membutuhkan pendekatan berbeda.

Persoalan tersebut kemudian menjadi salah satu alasan Mark mempelajari pemrograman secara mandiri. Reuters melaporkan bahwa ia menggunakan tutorial daring untuk mempelajari kemampuan teknis yang dibutuhkan dalam mengembangkan solusi. Dari pengalaman dan proses belajar tersebut, ScribeMe kemudian berkembang menjadi aplikasi yang berfokus pada akses informasi visual.

Dari Pemindaian Dokumen Menjadi Asisten Visual

Pada tahap awal, kemampuan ScribeMe berkaitan dengan kebutuhan membaca dan memahami informasi dalam dokumen. Seiring perkembangan aplikasinya, konsep tersebut diperluas. AI digunakan untuk membantu memberikan gambaran mengenai objek, gambar, teks, serta kondisi yang terlihat melalui kamera.

Perubahan tersebut penting karena lingkungan manusia tidak hanya terdiri dari tulisan. Ketika seseorang berada di luar rumah, informasi yang harus dipahami dapat berupa posisi pintu, benda yang berada di sekitar, tanda tertentu, suasana sebuah tempat, atau objek yang sedang berada di hadapan pengguna.

Dengan kamera sebagai sumber informasi visual, AI dapat memproses apa yang ditangkap perangkat dan mengubahnya menjadi deskripsi yang dapat didengarkan. Pengguna kemudian dapat memperoleh gambaran mengenai keadaan di sekitarnya tanpa harus meminta orang lain menjelaskan setiap objek yang berada di depan mereka.

Pendekatan tersebut menjadikan ScribeMe lebih dari sekadar aplikasi pembaca teks. Teknologi ini berusaha menjadi lapisan informasi tambahan bagi pengguna tunanetra, terutama ketika informasi yang tersedia tidak dapat diakses melalui tulisan biasa.

AI Membantu Menerjemahkan Informasi Visual

Salah satu kemampuan utama teknologi seperti ScribeMe adalah menerjemahkan informasi visual menjadi bentuk yang lebih mudah diakses. Kamera menangkap gambar, sistem AI menganalisisnya, kemudian hasil analisis disampaikan melalui suara.

Proses tersebut memperlihatkan bagaimana beberapa teknologi dapat digabungkan untuk tujuan aksesibilitas. Kamera berfungsi sebagai alat untuk memperoleh informasi, AI berperan dalam memahami informasi tersebut, sedangkan audio menjadi media untuk menyampaikan hasilnya kepada pengguna.

Konsep ini dapat digunakan dalam berbagai situasi. Pengguna dapat memanfaatkan teknologi semacam itu untuk memahami sebuah foto, membaca informasi pada benda tertentu, mengenali objek, atau mendapatkan gambaran mengenai tempat yang sedang mereka kunjungi.

Namun, kemampuan AI tetap memiliki batas. Deskripsi yang dihasilkan sistem merupakan hasil pemrosesan teknologi dan tidak selalu dapat dianggap sebagai gambaran yang sempurna. Karena itu, AI sebaiknya diposisikan sebagai alat bantu untuk memperoleh informasi tambahan, bukan sebagai pengganti penilaian manusia dalam situasi yang membutuhkan kepastian.

Terhubung dengan Kacamata Pintar

Perkembangan ScribeMe juga mencakup penggunaan bersama perangkat kacamata pintar Meta. Integrasi dengan perangkat yang dikenakan memberikan pendekatan berbeda terhadap penggunaan AI visual karena pengguna tidak harus selalu memegang ponsel untuk mendapatkan informasi.

Kacamata pintar yang memiliki kamera dapat menjadi perangkat yang membantu menangkap lingkungan secara lebih alami. Bagi penyandang tunanetra, konsep tersebut memiliki manfaat praktis karena kedua tangan tetap dapat digunakan untuk aktivitas lain.

Pengguna dapat membawa barang, menggunakan tongkat, membuka pintu, atau melakukan kegiatan lain tanpa harus terus mengambil ponsel untuk mengambil gambar. Dengan demikian, AI visual berpotensi menjadi bagian yang lebih menyatu dengan aktivitas sehari-hari.

Perkembangan perangkat yang dikenakan juga menunjukkan perubahan pola interaksi manusia dengan AI. Jika sebelumnya pengguna harus membuka aplikasi dan melakukan tindakan tertentu untuk memperoleh informasi, perangkat wearable dapat membuat interaksi menjadi lebih dekat dengan kondisi nyata di sekitar pengguna.

Pengalaman Menggunakan AI di Lingkungan Nyata

Reuters melaporkan pengalaman Karen Morad, saudara Mark, ketika menggunakan teknologi tersebut dalam perjalanan di Kenya. Dalam pengalaman tersebut, ScribeMe digunakan untuk membantu memberikan gambaran mengenai lingkungan safari, termasuk informasi mengenai hewan yang berada di sekitar dan kondisi yang sedang berlangsung.

Pengalaman itu menggambarkan salah satu kemungkinan penggunaan AI visual di luar situasi rumah atau ruang belajar. Teknologi dapat membantu pengguna memperoleh informasi mengenai lingkungan ketika mereka berada di tempat yang belum dikenal.

Bagi orang yang dapat melihat, lingkungan baru biasanya dapat dipahami dengan mengamati secara langsung. Sementara bagi pengguna tunanetra, informasi tambahan melalui suara dapat membantu membentuk gambaran mengenai kondisi tempat tersebut.

Teknologi semacam ini tidak berarti pengguna memperoleh penglihatan dalam arti sebenarnya. AI hanya membantu menerjemahkan informasi yang tertangkap kamera menjadi deskripsi suara. Namun, kemampuan tersebut dapat memberikan pengalaman yang berbeda karena pengguna memperoleh akses terhadap informasi visual yang sebelumnya lebih sulit dijangkau.

Mendukung Kemandirian dalam Aktivitas Harian

Nilai penting teknologi aksesibilitas bukan hanya terletak pada kecanggihan perangkatnya, tetapi juga pada manfaat yang dirasakan pengguna dalam kegiatan sehari-hari. ScribeMe dirancang untuk membantu berbagai kebutuhan yang sebelumnya dapat membutuhkan bantuan orang lain.

Informasi sederhana seperti mengetahui isi sebuah gambar, mengenali benda, memahami tulisan pada produk, atau mengetahui kondisi suatu ruangan dapat memiliki arti penting bagi kemandirian pengguna tunanetra. Ketika informasi tersebut tersedia melalui suara, pengguna memiliki pilihan tambahan untuk menentukan tindakan sendiri.

Teknologi juga dapat membantu dalam aktivitas pendidikan. Materi pembelajaran sering kali menggunakan gambar, diagram, grafik, atau elemen visual lainnya. Kemampuan AI untuk memberikan deskripsi terhadap informasi visual berpotensi menjadi alat bantu tambahan bagi siswa dan mahasiswa dengan gangguan penglihatan.

Dalam aktivitas sehari-hari, teknologi tersebut juga dapat membantu pengguna memahami lingkungan ketika bepergian atau berada di tempat baru. Meski tidak menghilangkan seluruh hambatan, keberadaan alat bantu digital dapat mengurangi ketergantungan terhadap bantuan manusia dalam situasi tertentu.

Dukungan Multibahasa Memperluas Akses

ScribeMe juga dilaporkan mendukung 20 bahasa, termasuk bahasa Arab. Dukungan multibahasa menjadi aspek penting dalam teknologi aksesibilitas karena pengguna AI berasal dari berbagai latar belakang bahasa.

Kemampuan memberikan informasi dalam bahasa yang dipahami pengguna dapat menentukan seberapa mudah teknologi tersebut digunakan. Dalam teknologi asistif, pengalaman pengguna tidak hanya ditentukan oleh kemampuan sistem mengenali objek, tetapi juga oleh kemampuan menyampaikan hasil analisis dengan bahasa yang jelas.

AI yang mampu memahami lingkungan tetapi memberikan penjelasan yang sulit dipahami belum tentu memberikan manfaat maksimal. Karena itu, pengembangan teknologi aksesibilitas membutuhkan perpaduan antara kemampuan AI, desain antarmuka, kualitas suara, dan cara penyampaian informasi.

Diakui melalui Kompetisi Teknologi

Perjalanan ScribeMe mendapat perhatian setelah aplikasi tersebut memperoleh pengakuan dalam Vodafone Egypt AI Assistive Tools Hackathon pada 2024. Kompetisi tersebut menjadi bagian dari perjalanan pengembangan teknologi yang berfokus pada kebutuhan penyandang disabilitas.

Pengakuan melalui kompetisi dapat membantu sebuah inovasi memperoleh perhatian yang lebih luas. Bagi pengembang muda, kesempatan seperti itu juga dapat membuka akses terhadap jaringan, pengalaman, dan dukungan yang dibutuhkan untuk mengembangkan produk.

Dalam kasus ScribeMe, perjalanan pengembangan menunjukkan bahwa teknologi yang awalnya berangkat dari persoalan membaca informasi dapat berkembang menjadi konsep asisten visual yang lebih luas. Perubahan tersebut terjadi seiring kemampuan AI dalam memproses informasi visual semakin berkembang.

Tantangan Akurasi AI Visual

Di balik peluangnya, AI visual tetap menghadapi tantangan penting, terutama terkait akurasi. Sistem dapat memberikan deskripsi yang tidak sepenuhnya sesuai dengan kondisi sebenarnya. Kesalahan tersebut perlu diperhatikan karena pengguna dapat mengandalkan informasi yang diberikan ketika melakukan aktivitas.

Karena itu, pengguna perlu memahami bahwa hasil AI merupakan bantuan teknologi. Untuk situasi yang berkaitan dengan keselamatan, keputusan penting, atau informasi yang membutuhkan kepastian tinggi, hasil AI tidak seharusnya menjadi satu-satunya dasar pengambilan keputusan.

Tantangan tersebut menjadi semakin penting ketika AI digunakan secara langsung melalui perangkat yang dikenakan. Semakin mudah teknologi digunakan dalam aktivitas sehari-hari, semakin besar pula kebutuhan agar pengguna memahami kemampuan dan keterbatasannya.

Privasi Menjadi Bagian Penting

Penggunaan kamera secara terus-menerus juga membawa pertanyaan mengenai privasi. Kamera yang digunakan untuk memahami lingkungan dapat menangkap orang lain, dokumen, layar, lokasi, atau informasi pribadi yang berada di sekitar pengguna.

Karena itu, pengembangan teknologi seperti ScribeMe perlu memperhatikan bagaimana informasi visual diproses dan dikelola. Pengguna juga membutuhkan pemahaman yang jelas mengenai cara kerja fitur yang mereka gunakan serta bagaimana data diperlakukan.

Persoalan privasi menjadi semakin relevan ketika AI visual dipadukan dengan perangkat wearable. Perangkat yang digunakan dalam aktivitas harian dapat berada dekat dengan lingkungan pengguna dalam waktu yang lebih lama. Kondisi tersebut membuat perlindungan data dan transparansi menjadi bagian penting dari kepercayaan terhadap teknologi.

AI untuk Teknologi yang Lebih Inklusif

Kisah ScribeMe memperlihatkan sisi lain perkembangan AI yang sering kali tidak menjadi pusat perhatian. AI bukan hanya tentang chatbot, otomatisasi pekerjaan, atau pembuatan konten. Teknologi yang sama dapat digunakan untuk membantu manusia mengakses informasi yang sebelumnya sulit dijangkau.

Bagi penyandang tunanetra, kemampuan memahami lingkungan memiliki kaitan erat dengan kemandirian. Informasi tentang objek, tulisan, gambar, dan tempat dapat membantu pengguna membuat keputusan dalam kehidupan sehari-hari. Ketika informasi tersebut dapat diterjemahkan menjadi suara, AI berpotensi menjadi jembatan antara dunia visual dan pengguna yang tidak dapat melihatnya secara langsung.

Pengembangan teknologi aksesibilitas juga menunjukkan pentingnya pengalaman pengguna dalam menciptakan inovasi. Mark Morad mengembangkan ScribeMe berdasarkan pengalaman menghadapi keterbatasan penglihatan. Pendekatan seperti ini dapat membantu pengembang memahami persoalan yang benar-benar dihadapi oleh kelompok pengguna tertentu.

Inovasi yang lahir dari kebutuhan nyata memiliki peluang untuk menghasilkan solusi yang lebih relevan. Teknologi bukan hanya dinilai dari seberapa canggih algoritmanya, tetapi juga dari persoalan yang dapat diselesaikannya dan kelompok masyarakat yang dapat memperoleh manfaat.

Masa Depan Asisten Visual Berbasis AI

Perkembangan AI visual dan perangkat pintar menunjukkan bahwa cara manusia berinteraksi dengan informasi kemungkinan akan terus berubah. Kamera, pemrosesan AI, pengenalan objek, pemahaman bahasa, dan perangkat wearable dapat digabungkan untuk menciptakan pengalaman yang semakin terintegrasi.

ScribeMe menjadi salah satu contoh bagaimana teknologi tersebut dapat diarahkan untuk kebutuhan aksesibilitas. Pengguna tidak hanya berinteraksi dengan AI melalui layar, tetapi dapat memperoleh informasi mengenai lingkungan fisik yang sedang mereka hadapi.

Ke depan, tantangan utama bukan hanya membuat AI mampu mengenali semakin banyak objek. Pengembang juga perlu memastikan teknologi dapat memberikan informasi secara tepat, mudah dipahami, aman, dan menghormati privasi pengguna maupun orang lain di sekitarnya.

Perjalanan ScribeMe menunjukkan bahwa inovasi teknologi dapat berawal dari pengalaman yang sangat personal. Mark Morad menghadapi kesulitan mengakses informasi visual, kemudian mempelajari pemrograman dan mengembangkan solusi yang ditujukan bagi pengguna dengan kebutuhan serupa. Dari sana, ScribeMe berkembang menjadi contoh pemanfaatan AI untuk membantu penyandang tunanetra memahami lingkungan.

Teknologi tersebut tentu belum menghilangkan seluruh tantangan yang dihadapi penyandang tunanetra. Namun, kemampuannya memberikan deskripsi audio mengenai dunia di sekitar pengguna menunjukkan bagaimana AI dapat digunakan untuk memperluas akses terhadap informasi. Ketika kecerdasan buatan dikembangkan dengan mempertimbangkan kebutuhan manusia, teknologi dapat memiliki fungsi yang lebih luas daripada sekadar alat digital, yakni menjadi sarana untuk meningkatkan aksesibilitas dan mendukung kemandirian.

Sumber