Universitas Airlangga Official Website

Pembuatan Model Autoencoder Multimodal Tangisan dan Suara untuk Deteksi Tangisan Bayi dan Klasifikasi Rasa Sakit

Foto by theAsianparent

Bayi tidak dapat mengomunikasikan nyeri dengan baik. Di dunia, para pakar telah berupaya melakukan penelitian untuk membuat skoring yang dapat digunakan untuk menilai nyeri bayi. Skor nyeri tersebut sangat tergantung dengan pengamatan yang dilakukan oleh observer. Bagaimanapun dari pengermbangan skor nyeri diketahui bahwa ekspresi wajah bayi, suara tangisan, dan gerakan tubuh merupakan faktor utama yang digunakan untuk menentuan nyeri.

Saat ini telah banyak digunakan autoencoder sebagai bagian dari alat pendeteksi. Autoencoder dapat dikaitkan dengan artificial intelligence untuk membantu dalam mendeteksi wajah dan tangisan bayi. Dengan melakukan perekaman pada bayi, autoencoder dinilai dapat membantu menilai skala nyeri yang dirasakan oleh bayi. Oleh karena itu tim peneliti bayi baru lahir atau Neonatal Research Group yang didirikan oleh Mahendra Tri Arif Sapurna bermaksud meneliti program tersebut.

Penelitian ini melibatkan bayi-bayi yang dirawat di Rumah Sakit Umum Dr Soetomo. Rekaman audiovisual saat bayi menjalani operasi diambil dalam format video. Sistem berbasis pembelajaran mesin diciptakan untuk mendeteksi tingkat rasa sakit. Spektogram digunakan untuk mengubah data audio menjadi representasi frekuensi waktu. Wajah tangisan bayi yang dikombinasikan dengan suara diekstraksi menggunakan Deep Learning Autoencoder untuk klasifikasi tingkat nyeri bayi. Penelitian ini melibatkan dua jenis autoencoder yaitu Convolutional Autoencoder dan Variational Autoencoder.

Dari penelitian ini, kami berhasil membangun tiga jenis permodelan autoencoder, yaitu untuk ekspresi wajah, untuk amplitudo suara, dan untuk desibel suara bayi. Hasil vektor laten dari  autoencoder dapat digunakan untuk utuk membuat model deteksi tangisan dan klasifikasi nyeri. Sebagai kesimpulan, kami berhasil mengembangkan model klasifikasi nyeri pada bayi. Kami berharap dengan pengembangan alat ini dapat menjadi langkah untuk meningkatkan kualitas pelayanan bayi khususnya terkait deteksi rasa nyeri.

Penulis : Yosi Kristian, Natanael Simogiarto, Mahendra Tri Arif Sampurna, Elizeus Hanindito, Visuddho Visuddho

Link        : https://doi.org/10.12688/f1000research.73108.1

Judul     : Ensemble of multimodal deep learning autoencoder for infant cry and pain detection

Refer     : Kristian Y, Simogiarto N, Sampurna MTA and Hanindito E. Ensemble of multimodal deep learning autoencoder for infant cry and pain detection. F1000Research 2022, 11:359