Metalearning[1][2]
adalah cabang dari pemelajaran mesin yang menerapkan algoritma pemelajaran mesin otomatis pada metadata (contohnya, hiperparameter) eksperimen pemelajaran mesin. Hingga tahun 2017, definisi standar dari istilah meta-learning belum sepenuhnya disepakati, tetapi secara umum, tujuan utama meta-learning adalah menggunakan metadata untuk memahami bagaimana pemelajaran otomatis dapat fleksibel menyelesaikan masalah pemelajaran, seperti meningkatkan performansi algoritma pemelajaran mesin yang sudah ada atau mempelajari (menginduksi) dirinya sendiri secara efektif. Kemampuan menginduksi ini kemudian memunculkan istilah lain untuk meta-learning, yaitu learning to learn atau belajar untuk belajar.[1]
Fleksibilitas penting dalam pemelajaran mesin karena setiap algoritma pemelajaran mesin didasarkan pada serangkaian asumsi terkait data (bias induktif).[3] Ini berarti, suatu algoritma pemelajaran dapat belajar dengan baik, jika bias atau kecenderungannya sesuai dengan masalah pemelajaran yang dihadapi. Sebuah algoritma pemelajaran mungkin sangat baik dalam satu domain, tetapi tidak pada domain lainnya. Hal demikian memberikan batasan kuat terhadap penggunaan teknik-teknik pemelajaran mesin atau penggalian data karena hubungan antara masalah pemelajaran (seringkali berupa pangkalan data) dan efektivitas berbagai algoritma pemelajaran belum sepenuhnya dipahami. Tantangannya terletak pada kenyataan bahwa kesesuaian suatu algoritma tertentu tergantung pada sejauh mana bias bawaannya cocok dengan sifat data dalam konteks tertentu.
Dengan memanfaatkan berbagai jenis metadata, seperti properti dari masalah pemelajaran, properti algoritma (seperti ukuran performansi), atau pola yang sebelumnya diperoleh dari data, menjadi mungkin untuk mempelajari, memilih, mengubah, atau menggabungkan berbagai algoritma pemelajaran dengan cara yang efektif untuk menyelesaikan masalah pemelajaran tertentu. Di sisi lain, pendekatan ini menuai kritikan. Kritik tersebut mirip dengan kritik terhadap metaheuristik, mungkin karena keduanya melibatkan strategi tingkat tinggi untuk mengoptimalkan proses pemelajaran atau pemecahan masalah. Salah satu analogi yang bagus untuk memahami meta-learning dan merupakan inspirasi dari karya awal Jürgen Schmidhuber (1987)[1] dan Yoshua Bengio, dkk. (1991),[4] menyatakan bahwa evolusi genetik mempelajari prosedur pemelajaran yang dienkripsi dalam gen dan dieksekusi di otak setiap individu. Dalam suatu sistem meta-learning hierarki yang bersifat terbuka[1] yang menggunakan pemrograman genetik, metode evolusi yang lebih baik dapat dipelajari melalui meta-evolusi, yang pada gilirannya dapat disempurnakan melalui meta-meta-evolusi, dst sehingga menciptakan struktur hirarki pemelajaran.[1]
Definisi
Suatu pengajuan definisi[5] untuk sistem meta-learning menggabungkan tiga persyaratan utama, antara lain.
- Sistem harus memiliki sebuah subsistem pemelajaran.
- Pengalaman didapatkan dengan mengeksploitasi pengetahuan meta yang diekstrak dari
- episode pemelajaran sebelumnya pada satu dataset,
- atau dari berbagai domain.
- Pemilihan bias pemelajaran harus dinamis.
Bias di sini merujuk kepada asumsi-asumsi yang memengaruhi pemilihan hipotesis penjelasan[6], bukan bias yang diambil dari representasi dilema bias-variansi. Meta learning berurusan dengan dua aspek bias pembelajaran, yaitu
- Pertama, "bias deklaratif" yang menentukan representasi ruang hipotesis dan memengaruhi ukuran ruang pencarian (misalnya, merepresentasikan hipotesis menggunakan fungsi linear saja).
- Kedua, "bias prosedural" yang memberlakukan batasan pada urutan hipotesis induktif (misalnya, lebih memilih hipotesis yang lebih kecil).[7]
Jadi, dalam bahasa yang lebih sederhana, sistem meta learning ini memiliki subsistem pembelajaran, menggunakan pengalaman dari episode pembelajaran sebelumnya, dan memilih bias pembelajaran secara dinamis berdasarkan asumsi-asumsi tertentu yang memengaruhi pemilihan hipotesis penjelasan.
Referensi
- ^ a b c d e Schmidhuber, Jürgen (1987). "Evolutionary principles in self-referential learning, or on learning how to learn: the meta-meta-... hook" (PDF). Diploma Thesis, Tech. Univ. Munich (dalam bahasa Inggris).
- ^ Schaul, Tom; Schmidhuber, Jürgen (2010). "Metalearning". Scholarpedia (dalam bahasa Inggris). 5 (6): 4650. Bibcode:2010SchpJ...5.4650S. doi:10.4249/scholarpedia.4650
.
- ^ P. E. Utgoff (1986). "Shift of bias for inductive concept learning". Dalam R. Michalski, J. Carbonell, & T. Mitchell. Machine Learning: An Artificial Intelligence Approach (dalam bahasa Inggris). hlm. 163–190.
- ^ Bengio, Yoshua; Bengio, Samy; Cloutier, Jocelyn (1991). Learning to learn a synaptic rule (PDF). IJCNN'91 (dalam bahasa Inggris).
- ^ Lemke, Christiane; Budka, Marcin; Gabrys, Bogdan (2013-07-20). "Metalearning: a survey of trends and technologies". Artificial Intelligence Review (dalam bahasa Inggris). 44 (1): 117–130. doi:10.1007/s10462-013-9406-y. ISSN 0269-2821. PMC 4459543 . PMID 26069389.
- ^ Brazdil, Pavel; Carrier, Christophe Giraud; Soares, Carlos; Vilalta, Ricardo (2009). Metalearning - Springer. Cognitive Technologies (dalam bahasa Inggris). doi:10.1007/978-3-540-73263-1. ISBN 978-3-540-73262-4.
- ^ Gordon, Diana; Desjardins, Marie (1995). "Evaluation and Selection of Biases in Machine Learning" (PDF). Machine Learning (dalam bahasa Inggris). 20: 5–22. doi:10.1023/A:1022630017346 . Diakses tanggal 27 March 2020.
Pranala luar
- Metalearning, artikel dalam Scholarpedia
- Vilalta, R.; Drissi, Y. (2002). "A perspective view and survey of meta-learning" (PDF). Artificial Intelligence Review (dalam bahasa Inggris). 18 (2): 77–95.
- Giraud-Carrier, C.; Keller, J. (2002). "Meta-Learning". Dalam Meij, J. Dealing with the data flood (dalam bahasa Inggris). The Hague: STT/Beweton.
- Brazdil, P.; Giraud-Carrier, C.; Soares, C.; Vilalta, R. (2009). "Metalearning: Concepts and Systems". Metalearning: applications to data mining (dalam bahasa Inggris). Springer.
- Video kursus penjelasan meta-learning dengan langkah-langkah MAML, Prototypical Networks, dan Relation Networks.
