Meta-learning (Ilmu komputer)

Bagian dari seri
Pemelajaran mesin dan Penggalian Data
Paradigma Pemelajaran terawasi Pemelajaran tak terawasi Pemelajaran mesin daring Pemelajaran mesin luring Meta-learning Pemelajaran semi terawasi Pemelajaran terawasi mandiri Reinforcement learning Pemelajaran berbasis aturan Pemelajaran mesin kuantum
Masalah Klasifikasi Model generatif Regresi Kluster Reduksi dimensi Estimasi densitas Deteksi anomali Pembersihan data AutoML Aturan asosiasi Analisis semantik Rekayasa fitur Pemelajaran fitur
Pemelajaran diawasi (Klasifikasi • Regresi) Pohon keputusan Pemelajaran ensambel Bagging boosting Random forest k-NN Regresi linear Naive Bayes Jaringan saraf tiruan Regresi logistik Perseptron Support vector machine (SVM)
Klustering BIRCH CURE Hierarki k-means Fuzi
Reduksi dimensionalitas AKU
Jaringan saraf tiruan Pemelajaran dalam Jaringan saraf konvolusional
Diagnostik model Kurva belajar
l b s

Metalearning^[1][2] adalah cabang dari pemelajaran mesin yang menerapkan algoritma pemelajaran mesin otomatis pada metadata (contohnya, hiperparameter) eksperimen pemelajaran mesin. Hingga tahun 2017, definisi standar dari istilah meta-learning belum sepenuhnya disepakati, tetapi secara umum, tujuan utama meta-learning adalah menggunakan metadata untuk memahami bagaimana pemelajaran otomatis dapat fleksibel menyelesaikan masalah pemelajaran, seperti meningkatkan performansi algoritma pemelajaran mesin yang sudah ada atau mempelajari (menginduksi) dirinya sendiri secara efektif. Kemampuan menginduksi ini kemudian memunculkan istilah lain untuk meta-learning, yaitu learning to learn atau belajar untuk belajar.^[1]

Fleksibilitas penting dalam pemelajaran mesin karena setiap algoritma pemelajaran mesin didasarkan pada serangkaian asumsi terkait data (bias induktif).^[3] Ini berarti, suatu algoritma pemelajaran dapat belajar dengan baik, jika bias atau kecenderungannya sesuai dengan masalah pemelajaran yang dihadapi. Sebuah algoritma pemelajaran mungkin sangat baik dalam satu domain, tetapi tidak pada domain lainnya. Hal demikian memberikan batasan kuat terhadap penggunaan teknik-teknik pemelajaran mesin atau penggalian data karena hubungan antara masalah pemelajaran (seringkali berupa pangkalan data) dan efektivitas berbagai algoritma pemelajaran belum sepenuhnya dipahami. Tantangannya terletak pada kenyataan bahwa kesesuaian suatu algoritma tertentu tergantung pada sejauh mana bias bawaannya cocok dengan sifat data dalam konteks tertentu.

Dengan memanfaatkan berbagai jenis metadata, seperti properti dari masalah pemelajaran, properti algoritma (seperti ukuran performansi), atau pola yang sebelumnya diperoleh dari data, menjadi mungkin untuk mempelajari, memilih, mengubah, atau menggabungkan berbagai algoritma pemelajaran dengan cara yang efektif untuk menyelesaikan masalah pemelajaran tertentu. Di sisi lain, pendekatan ini menuai kritikan. Kritik tersebut mirip dengan kritik terhadap metaheuristik, mungkin karena keduanya melibatkan strategi tingkat tinggi untuk mengoptimalkan proses pemelajaran atau pemecahan masalah. Salah satu analogi yang bagus untuk memahami meta-learning dan merupakan inspirasi dari karya awal Jürgen Schmidhuber (1987)^[1] dan Yoshua Bengio, dkk. (1991),^[4] menyatakan bahwa evolusi genetik mempelajari prosedur pemelajaran yang dienkripsi dalam gen dan dieksekusi di otak setiap individu. Dalam suatu sistem meta-learning hierarki yang bersifat terbuka^[1] yang menggunakan pemrograman genetik, metode evolusi yang lebih baik dapat dipelajari melalui meta-evolusi, yang pada gilirannya dapat disempurnakan melalui meta-meta-evolusi, dst sehingga menciptakan struktur hirarki pemelajaran.^[1]

Suatu pengajuan definisi^[5] untuk sistem meta-learning menggabungkan tiga persyaratan utama, antara lain.

• Sistem harus memiliki sebuah subsistem pemelajaran.
• Pengalaman didapatkan dengan mengeksploitasi pengetahuan meta yang diekstrak dari
  • episode pemelajaran sebelumnya pada satu dataset,
  • atau dari berbagai domain.
• Pemilihan bias pemelajaran harus dinamis.

Bias di sini merujuk kepada asumsi-asumsi yang memengaruhi pemilihan hipotesis penjelasan^[6], bukan bias yang diambil dari representasi dilema bias-variansi. Meta learning berurusan dengan dua aspek bias pembelajaran, yaitu

• Pertama, "bias deklaratif" yang menentukan representasi ruang hipotesis dan memengaruhi ukuran ruang pencarian (misalnya, merepresentasikan hipotesis menggunakan fungsi linear saja).
• Kedua, "bias prosedural" yang memberlakukan batasan pada urutan hipotesis induktif (misalnya, lebih memilih hipotesis yang lebih kecil).^[7]

Jadi, dalam bahasa yang lebih sederhana, sistem meta learning ini memiliki subsistem pembelajaran, menggunakan pengalaman dari episode pembelajaran sebelumnya, dan memilih bias pembelajaran secara dinamis berdasarkan asumsi-asumsi tertentu yang memengaruhi pemilihan hipotesis penjelasan.

• Metalearning, artikel dalam Scholarpedia
• Vilalta, R.; Drissi, Y. (2002). "A perspective view and survey of meta-learning" (PDF). Artificial Intelligence Review (dalam bahasa Inggris). 18 (2): 77–95. 
• Giraud-Carrier, C.; Keller, J. (2002). "Meta-Learning". Dalam Meij, J. Dealing with the data flood (dalam bahasa Inggris). The Hague: STT/Beweton. 
• Brazdil, P.; Giraud-Carrier, C.; Soares, C.; Vilalta, R. (2009). "Metalearning: Concepts and Systems". Metalearning: applications to data mining (dalam bahasa Inggris). Springer. 
• Video kursus penjelasan meta-learning dengan langkah-langkah MAML, Prototypical Networks, dan Relation Networks.