Proses membangun arsitektur Jaringan Syaraf Tiruan (JST) Backpropagation untuk mendapatkan hasil training, testing, dan prediksi data yang baik membutuhkan proses yang tidak mudah. Karena arsitektur yang dibangun akan mempengaruhi tingkat akurasi dari arsitektur jaringan tersebut. Pemilihan nilai learning rate dan momentum, berfungsi dalam proses percepatan kinerja jaringan dalam mengetahui data dalam jumlah besar (Sutskever et al., 2013). Hal ini sesuai dengan kajian Moreira & Fiesler (1995) dan Yu & Chen (1997) bahwa learning rate dan momentum dapat mengurangi waktu pelatihan data. Berikutnya, Hao et al. (2021) juga menjelaskan bahwa pemilihan learning rate dan momentum mempengaruhi kecepatan proses pelatihan dan pengujian data. Learning rate merupakan salah satu parameter penting dalam proses pelatihan yang bertujuan untuk menghitung nilai koreksi bobot antar lapisan dalam arsitektur. Tingkat pembelajaran ini berada pada interval [0, 1] (Smith & Topin, 2019). Sedangkan parameter momentum bertujuan untuk memperbaharui bobot agar proses latihan cepat selesai.

Para peneliti telah merekomendasikan learning rate dan momentum yang bervariasi sesuai dengan jenis dan pola data. Nilai learning rate yang kecil tentu akan memperlambat proses pelatihan, begitu pula sebaliknya, learning rate yang besar (mendekati 1) akan mempercepat proses pelatihan. Kombinasi learning rate dan momentum perlu diwaspadai karena akan mempengaruhi kecepatan kinerja proses pelatihan data dan berimplikasi pada banyaknya iterasi yang dilakukan oleh jaringan (Ch & Mathur, 2012).

Selain kombinasi learning rate dan momentum, penggunaan lapisan tersembunyi juga menjadi kebutuhan dalam proses pelatihan data agar arsitektur mampu mengenali pola data dan mengurangi kesalahan yang terjadi. Penambahan lapisan tersembunyi tentunya akan mempengaruhi banyaknya iterasi yang terjadi. Namun, semakin banyak iterasi, semakin baik tingkat pengenalan data (Solanki & Jethva, 2013). Oleh karena itu, perlu adanya kajian yang lebih mendalam terkait penggunaan kombinasi learning rate, momentum, dan jumlah neuron pada lapisan tersembunyi baik satu lapisan maupun lebih. Penggunaan arsitektur dengan satu lapisan tersembunyi sudah banyak dilakukan oleh beberapa peneliti. Sedangkan arsitektur dengan dua lapisan tersembunyi telah dikaji oleh Irawan et al. (2013) dalam memprediksi data hidroklimatologi dengan arsitektur 744-100-10-1, dan Singh et al. (2015) dalam klasifikasi tumor payudara pada pencitraan ultrasound dengan arsitektur 50-20-1-1.

Dari penjelasan di atas, maka penting dilakukan analisis mendalam terhadap hasil penelitian yang menggabungkan learning rate, momentum, dan jumlah neuron pada lapisan input  dan lapisan tersembunyi. Karena setiap hasil penelitian selalu mengklaim bahwa arsitektur yang dibangun adalah arsitektur yang optimal dengan tingkat akurasi tertinggi. Oleh karena itu, tujuan dari penelitian ini adalah untuk mengetahui tingkat akurasi arsitektur berdasarkan learning rate dan nilai momentum yang digunakan, serta mengetahui perbandingan tingkat akurasi arsitektur berdasarkan jumlah neuron pada lapisan tersembunyi. Hasil penelitian ini diharapkan mampu memberikan rekomendasi terkait parameter yang baik saat melakukan proses pelatihan, pengujian, atau prediksi data.

Kami melakukan meta-analisis penggunaan learning rate, momentum, dan jumlah neuron di lapisan tersembunyi JST Backpropagation (ANN-BP). Kriteria kelayakan data sebanyak 63 data meliputi learning rate sebanyak 44 data, momentum sebanyak 30 data, dan jumlah neuron pada lapisan tersembunyi sebanyak 45 data. Hasil analisis data menunjukkan bahwa pemilihan learning rate pada interval 0,1 hingga 0,2 dan momentum pada interval 0,7 hingga 0,9, mampu memberikan proses pelatihan yang lebih cepat dan akurasi yang tinggi. Selanjutnya penulis merekomendasikan setiap arsitektur menggunakan lapisan tersembunyi, dimana jumlah neuron pada lapisan input lebih banyak dibandingkan dengan jumlah neuron pada lapisan tersembunyi. Penggunaan jumlah lapisan tersembunyi yang lebih dari satu juga berdampak baik, karena mampu mengenali pola data dengan lebih baik saat proses training data.

Penulis: Dr. Fatmawati, M.Si

Informasi detail dari riset ini dapat dilihat pada tulisan kami di:

https://journal.ummat.ac.id/index.php/jtam/article/view/8524

Authors:  Syaharuddin, Fatmawati, Herry Suprajitno.

Title:  Best Architecture Recommendations of ANN Backpropagation Based on Combination of Learning Rate, Momentum, and Number of Hidden Layers. 

https://doi.org/10.31764/jtam.v6i3.8524