Jaringan syaraf tiruan untuk pengenalan gerakan tubuh berbasis skeleton biasanya menggunakan arsitektur seperti Convolutional Neural Networks (CNN) atau Recurrent Neural Networks (RNN). Model ini dapat mendalami pola gerakan dengan mengolah data koordinat skeleton dari titik-titik tubuh. Penggunaan teknologi ini meliputi kebutuhan dalam berbagai bidang, seperti keamanan, Data ini sering diambil dari sensor atau video, memungkinkan sistem untuk mengenali aktivitas atau identitas seseorang berdasarkan pola gerakan unik mereka. Teknologi ini menawarkan cara yang efektif untuk mengenali individu berdasarkan gerakan tubuh, memberikan solusi untuk identifikasi yang lebih akurat dan otomatis. Tantangan dalam pengenalan gerakan tubuh dari video adalah gerakan manusia yang sangat bervariasi sehingga sulit untuk menggeneralisasi pola gerakan mereka, penelitian ini berfokus pada penyelesaian tantangan tersebut.

Hasil penelitian sebelumnya menunjukkan kemajuan signifikan dalam pengenalan gerakan tubuh berbasis skeleton. Banyak studi menggunakan arsitektur deep learning yang mampu mencapai akurasi tinggi dalam mengenali aktivitas manusia. Beberapa penelitian juga menunjukkan bahwa teknik pengolahan sinyal dan augmentasi data meningkatkan kinerja model. Namun, masih ada ruang untuk perbaikan, terutama dalam menangani variasi individu. Selain itu, penelitian tentang modifikasi deep learning juga menunjukkan potensi untuk meningkatkan efektivitas model dengan dataset yang terbatas.

Metode yang diusulkan untuk pengenalan pola gerakan berbasis skeleton terdiri dari tiga bagian utama. Pertama, model skeleton manusia digunakan untuk merepresentasikan gerakan. Kedua, fitur gait diekstrak dari video yang diperoleh melalui estimasi pose, dengan fokus pada koordinat setiap sendi tubuh. Kinematika invers diterapkan untuk menentukan sudut sendi dan mengambil fitur posisi serta sudut dalam bentuk data urutan. Bagian terakhir melibatkan penggunaan data fitur sebagai input ke dalam model classifier yang dimodifikasi berbasis deep learning, yaitu kombinasi CNN dan LSTM. Akhirnya, akurasi model yang diusulkan dibandingkan dengan classifier lain untuk mengevaluasi performanya.

Metode tersebut melibatkan pengembangan teknik ekstraksi fitur dan model classifier deep learning. Fitur gait yang digunakan mencakup joint positions dari titik-titik landmark, seperti pinggul, lutut, bahu, dan pergelangan tangan, untuk menghitung posisi dan sudut sendi. Model classifier yang dimodifikasi dibangun dengan memodifikasi arsitektur AlexNet dengan menambahkan lapisan LSTM dan dropout setelah lapisan konvolusi. Penambahan lapisan LSTM ini bertujuan untuk meningkatkan pemahaman terhadap data urutan. Hasil perbandingan dengan classifier lain menunjukkan bahwa model ini mencapai skor akurasi tertinggi sebesar 0,84, sebagai kontribusi penelitian, dimana menandakan bahwa metode yang diusulkan dapat meningkatkan akurasi pengenalan gerakan tubuh.

Penulis: Ir. Riky Tri Yunardi, S.T., M.T., IPM., ASEAN Eng. 

Link: https://ieeexplore.ieee.org/abstract/document/10654784

Baca juga: Pemanfaatan Deep Learning untuk Segmentasi Kanalis Mandibula pada Radiografi Digital