LombokPost--Keterbatasan dalam berbahasa lisan serta minimnya akses terhadap media pembelajaran bahasa isyarat yang interaktif dan terjangkau, turut melatarbelakangi diciptakannya media komunikasi khusus bagi penyandang Tuna Rungu-wicara.
Gesture Link, dikembangkan sebagai platform pembelajaran bahasa isyarat berbasis website yang memanfaatkan MediaPipe.
Kerangka kerja (Mediapipe) dipilih guna meningkatkan aksesibilitas dan kualitas pembelajaran bagi masyarakat umum, keluarga penyandang disabilitas, dan tenaga pendidik.
Sekaligus mendorong kesadaran dan keterbukaan terhadap keberagaman komunikasi.
Seiring kemajuan teknologi digital, pengenalan gestur dan visi komputer semakin canggih dan mutakhir. khususnya teknologi MediaPipe, teknologi alur kerja mesin yang mampu mendeteksi landmark tangan secara real-time dengan akurasi tinggi.
Hal ini menjadikan peluang besar untuk mengembangkan solusi pembelajaran yang lebih inklusif. Termasuk dalam pengembangan aplikasi gesture link ini.
Pengenalan Fitur
Deteksi tangan dan landmark secara real-time menggunakan MediaPipe dan klasifikasi model Deep Learning untuk mengenali gesture Bahasa Isyarat Indonesia (BISINDO).
Untuk Fitur Modul Pembelajaran Interaktif. Materi pembelajaran terstruktur untuk alfabet/angka BISINDO yang bisa diakses pengguna di aplikasi. Sedangkan pada Fitur Quiz tersedia fitur latihan untuk menguji pemahaman pengguna.
Cara pengguna berinteraksi dengan Gesture Link
Dengan mengakses laman utama (landing page). Pengguna membuka website Gesture Link lewat browser (tidak perlu instalasi). Di landing page tersedia pilihan fitur: Coba Sekarang / Learn Module / Quiz.
Selanjutnya Pilih mode fitur penggunaan. Kemudian Program akan mendeteksi secara real-time untuk mengenali gestur langsung dari kamera.
Tersedia modul pembelajaran untuk materi terstruktur alfabet dan angka serta Quiz untuk latihan dan penilaian.
Kemudian aplikasi menangkap frame, mengekstrak koordinat hand-landmarks via MediaPipe, lalu mengirimkan fitur tersebut ke model klasifikasi (MLP) untuk prediksi. Hasil prediksi ditampilkan langsung di layar berupa huruf/angka yang dikenali.
Di Modul Pembelajaran, pengguna mempelajari setiap gesture lewat teks, gambar, contoh video, lalu latihan interaktif yang memanfaatkan deteksi kamera untuk memberi penilaian langsung. Modul ini tersusun alfabet A–Z dan angka 0–10 (kuis terintegrasi).
Untuk hasil kuis disimpan di session/user profile sehingga pengguna dapat melihat perkembangan dan skor.
Perbedaan utama Gesture Link dibandingkan aplikasi serupa lainnya.
Sebenarnya ada beberapa aplikasi/proyek serupa yang lebih dulu hadir seperti mis. Hear Me, aplikasi Belajar BISINDO, SignAll, dan berbagai demo open-source lainnya.
Namun, Aplikasi gesture links memiliki perbedaan tersendiri yang khas. Sehingga membuatnya berhasil terpilih menjadi Top 2 Best Capstone Project. Sebuah ajang pelatihan sekaligus lomba cipta proyek aplikasi bergensi tingkat nasional yang diselenggrakan oleh Laskar AI 2025.
Kelebihan yang gesture miliki yakni Berbasis web ringan, tidak memerlukan instalasi atau hardware khusus, sehingga lebih mudah diakses pengguna.
Kemudian, pada Teknologi dan metode yang digunakan. Yakni deteksi landmark menggunakan MediaPipe, klasifikasi memakai MLP dari fitur landmark, dan di-deploy sebagai web app (Flask); fokus kosakata: alfabet A–Z dan angka 0–10.
Selanjutnya, adanya gabungan dua fungsi. Secara sekaligus real-time gesture recognition dan modul pembelajaran plus kuis dalam satu web app.
Diakui jumlah dan variasi data BISINDO masih terbatas, serta model rentan overfit dan kurang generalisasi ke pengguna/devices baru dan gestur yang mirip. Karena itu, tahapan pengembangan atau upgrade aplikasi akan terus dilakukan.
Selaku pencipta, Verzha Mahardika Mahasiswa Semester akhir Prodi Teknologi Informasi, Fakultas Teknik, Univesitas Bumigora Mataram. merasa Sangat terbantu dengan skill yang telah diajarkan selama pembelajaran di kampus. Hal itu diyakininya turut mempengaruhi proses pengembangan aplikasi tersebut.
Dirinya menyebut pengalaman selama menyelesaikan proyek aplikasi tersebut dengan beberap manfaat pengalaman yang didapat. Pertama, tentang Pemahaman fundamental AI dan Data Science. Seperti Belajar pemerograman Python, analisis dan visualisasi data, serta penerapan algoritma machine learning pada kasus nyata.
Kedua, dalam Penerapan machine learning (MLOPS). Verzha mengungkapkan pengalamannya dalam mengolah data, melatih model, melakukan evaluasi, hingga deployment berbasis web.
“Hal ini kami terapkan langsung dalam proyek Gesture Link dengan pipeline MediaPipe plus TensorFlow/Keras plus Flask,” terangnya.
Editor : Kimda Farida