Meta-learning (Ilmu komputer): Perbedaan antara revisi

Konten dihapus Konten ditambahkan

Sebaris

Revisi per 19 Desember 2023 11.41

Metalearning^[1]^[2] adalah cabang dari pemelajaran mesin yang menerapkan algoritma pemelajaran mesin otomatis pada metadata (contohnya, hiperparameter) eksperimen pemelajaran mesin. Hingga tahun 2017, definisi standar dari istilah meta-learning belum sepenuhnya disepakati, tetapi secara umum, tujuan utama meta-learning adalah menggunakan metadata untuk memahami bagaimana pemelajaran otomatis dapat fleksibel menyelesaikan masalah pemelajaran, seperti meningkatkan performansi algoritma pemelajaran mesin yang sudah ada atau mempelajari (menginduksi) dirinya sendiri secara efektif. Kemampuan menginduksi ini kemudian memunculkan istilah lain untuk meta-learning, yaitu learning to learn atau belajar untuk belajar.^[1]

Fleksibilitas penting dalam pemelajaran mesin karena setiap algoritma pemelajaran mesin didasarkan pada serangkaian asumsi terkait data (bias induktif).^[3] Ini berarti, suatu algoritma pemelajaran dapat belajar dengan baik, jika bias atau kecenderungannya sesuai dengan masalah pemelajaran yang dihadapi. Sebuah algoritma pemelajaran mungkin sangat baik dalam satu domain, tetapi tidak pada domain lainnya. Hal demikian memberikan batasan kuat terhadap penggunaan teknik-teknik pemelajaran mesin atau penggalian data karena hubungan antara masalah pemelajaran (seringkali berupa pangkalan data) dan efektivitas berbagai algoritma pemelajaran belum sepenuhnya dipahami. Tantangannya terletak pada kenyataan bahwa kesesuaian suatu algoritma tertentu tergantung pada sejauh mana bias bawaannya cocok dengan sifat data dalam konteks tertentu.

Dengan memanfaatkan berbagai jenis metadata, seperti properti dari masalah pemelajaran, properti algoritma (seperti ukuran performansi), atau pola yang sebelumnya diperoleh dari data, menjadi mungkin untuk mempelajari, memilih, mengubah, atau menggabungkan berbagai algoritma pemelajaran dengan cara yang efektif untuk menyelesaikan masalah pemelajaran tertentu. Di sisi lain, pendekatan ini menuai kritikan. Kritik tersebut mirip dengan kritik terhadap metaheuristik, mungkin karena keduanya melibatkan strategi tingkat tinggi untuk mengoptimalkan proses pemelajaran atau pemecahan masalah. Salah satu analogi yang bagus untuk memahami meta-learning dan merupakan inspirasi dari karya awal Jürgen Schmidhuber (1987)^[1] dan Yoshua Bengio, dkk. (1991),^[4] menyatakan bahwa evolusi genetik mempelajari prosedur pemelajaran yang dienkripsi dalam gen dan dieksekusi di otak setiap individu. Dalam suatu sistem meta-learning hierarki yang bersifat terbuka^[1] yang menggunakan pemrograman genetik, metode evolusi yang lebih baik dapat dipelajari melalui meta-evolusi, yang pada gilirannya dapat disempurnakan melalui meta-meta-evolusi, dst sehingga menciptakan struktur hirarki pemelajaran.^[1]

Definisi

Suatu pengajuan definisi^[5] untuk sistem meta-learning menggabungkan tiga persyaratan utama, antara lain.

Sistem harus memiliki sebuah subsistem pemelajaran.
Pengalaman didapatkan dengan mengeksploitasi pengetahuan meta yang diekstrak dari
- episode pemelajaran sebelumnya pada satu dataset,
- atau dari berbagai domain.
Pemilihan bias pemelajaran harus dinamis.

Bias di sini merujuk kepada asumsi-asumsi yang memengaruhi pemilihan hipotesis penjelasan^[6], bukan bias yang diambil dari representasi dilema bias-variansi. Meta learning berurusan dengan dua aspek bias pembelajaran, yaitu

Pertama, "bias deklaratif" yang menentukan representasi ruang hipotesis dan memengaruhi ukuran ruang pencarian (misalnya, merepresentasikan hipotesis menggunakan fungsi linear saja).
Kedua, "bias prosedural" yang memberlakukan batasan pada urutan hipotesis induktif (misalnya, lebih memilih hipotesis yang lebih kecil). (e.g., preferring smaller hypotheses).^[7]

Jadi, dalam bahasa yang lebih sederhana, sistem meta learning ini memiliki subsistem pembelajaran, menggunakan pengalaman dari episode pembelajaran sebelumnya, dan memilih bias pembelajaran secara dinamis berdasarkan asumsi-asumsi tertentu yang memengaruhi pemilihan hipotesis penjelasan.

Referensi

^ ^a ^b ^c ^d ^e Schmidhuber, Jürgen (1987). "Evolutionary principles in self-referential learning, or on learning how to learn: the meta-meta-... hook" (PDF). Diploma Thesis, Tech. Univ. Munich (dalam bahasa Inggris).
^ Schaul, Tom; Schmidhuber, Jürgen (2010). "Metalearning". Scholarpedia (dalam bahasa Inggris). 5 (6): 4650. Bibcode:2010SchpJ...5.4650S. doi:10.4249/scholarpedia.4650 .
^ P. E. Utgoff (1986). "Shift of bias for inductive concept learning". Dalam R. Michalski, J. Carbonell, & T. Mitchell. Machine Learning: An Artificial Intelligence Approach (dalam bahasa Inggris). hlm. 163–190.
^ Bengio, Yoshua; Bengio, Samy; Cloutier, Jocelyn (1991). Learning to learn a synaptic rule (PDF). IJCNN'91 (dalam bahasa Inggris).
^ Lemke, Christiane; Budka, Marcin; Gabrys, Bogdan (2013-07-20). "Metalearning: a survey of trends and technologies". Artificial Intelligence Review (dalam bahasa Inggris). 44 (1): 117–130. doi:10.1007/s10462-013-9406-y. ISSN 0269-2821. PMC 4459543 . PMID 26069389.
^ Brazdil, Pavel; Carrier, Christophe Giraud; Soares, Carlos; Vilalta, Ricardo (2009). Metalearning - Springer. Cognitive Technologies (dalam bahasa Inggris). doi:10.1007/978-3-540-73263-1. ISBN 978-3-540-73262-4.
^ Gordon, Diana; Desjardins, Marie (1995). "Evaluation and Selection of Biases in Machine Learning" (PDF). Machine Learning (dalam bahasa Inggris). 20: 5–22. doi:10.1023/A:1022630017346 . Diakses tanggal 27 March 2020.

Pranala luar

Metalearning, artikel dalam Scholarpedia
Vilalta, R.; Drissi, Y. (2002). "A perspective view and survey of meta-learning" (PDF). Artificial Intelligence Review (dalam bahasa Inggris). 18 (2): 77–95.
Giraud-Carrier, C.; Keller, J. (2002). "Meta-Learning". Dalam Meij, J. Dealing with the data flood (dalam bahasa Inggris). The Hague: STT/Beweton.
Brazdil, P.; Giraud-Carrier, C.; Soares, C.; Vilalta, R. (2009). "Metalearning: Concepts and Systems". Metalearning: applications to data mining (dalam bahasa Inggris). Springer.
Video kursus penjelasan meta-learning dengan langkah-langkah MAML, Prototypical Networks, dan Relation Networks.

[sch1987-1] Schmidhuber, Jürgen (1987). "Evolutionary principles in self-referential learning, or on learning how to learn: the meta-meta-... hook" (PDF). Diploma Thesis, Tech. Univ. Munich (dalam bahasa Inggris).

[scholarpedia-2] Schaul, Tom; Schmidhuber, Jürgen (2010). "Metalearning". Scholarpedia (dalam bahasa Inggris). 5 (6): 4650. Bibcode:2010SchpJ...5.4650S. doi:10.4249/scholarpedia.4650 .

[utgoff1986-3] P. E. Utgoff (1986). "Shift of bias for inductive concept learning". Dalam R. Michalski, J. Carbonell, & T. Mitchell. Machine Learning: An Artificial Intelligence Approach (dalam bahasa Inggris). hlm. 163–190.

[4] Bengio, Yoshua; Bengio, Samy; Cloutier, Jocelyn (1991). Learning to learn a synaptic rule (PDF). IJCNN'91 (dalam bahasa Inggris).

[5] Lemke, Christiane; Budka, Marcin; Gabrys, Bogdan (2013-07-20). "Metalearning: a survey of trends and technologies". Artificial Intelligence Review (dalam bahasa Inggris). 44 (1): 117–130. doi:10.1007/s10462-013-9406-y. ISSN 0269-2821. PMC 4459543 . PMID 26069389.

[6] Brazdil, Pavel; Carrier, Christophe Giraud; Soares, Carlos; Vilalta, Ricardo (2009). Metalearning - Springer. Cognitive Technologies (dalam bahasa Inggris). doi:10.1007/978-3-540-73263-1. ISBN 978-3-540-73262-4.

[7] Gordon, Diana; Desjardins, Marie (1995). "Evaluation and Selection of Biases in Machine Learning" (PDF). Machine Learning (dalam bahasa Inggris). 20: 5–22. doi:10.1023/A:1022630017346 . Diakses tanggal 27 March 2020.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

@@ Baris 2: / Baris 2: @@
 {{Pemelajaran mesin|Paradigma}}
 '''''Metalearning'''''<ref name="sch1987">{{cite journal | last1 = Schmidhuber | first1 = Jürgen | year = 1987| title = Evolutionary principles in self-referential learning, or on learning how to learn: the meta-meta-... hook | url= http://people.idsia.ch/~juergen/diploma1987ocr.pdf | journal = Diploma Thesis, Tech. Univ. Munich | language = en}}</ref><ref name="scholarpedia">{{cite journal | last1 = Schaul | first1 = Tom | last2 = Schmidhuber | first2 = Jürgen | year = 2010| title = Metalearning | journal = Scholarpedia | volume = 5 | issue = 6| page = 4650 | doi=10.4249/scholarpedia.4650| bibcode = 2010SchpJ...5.4650S | doi-access = free | language = en }}</ref>
-adalah cabang dari [[pemelajaran mesin]] yang membahas cara penerapan algoritma pemelajaran mesin otomatis terhadap [[metadata]] eksperimen pemelajaran mesin. Hingga tahun 2017, definisi standar dari istilah ''meta-learning'' belum sepenuhnya disepakati, tetapi secara umum, ''meta-learning'' mencakup penggunaan metadata untuk memahami proses pemelajaran otomatis dapat menjadi lebih fleksibel untuk meningkatkan kinerja [[Pemelajaran mesin|algoritma pemelajaran mesin]] yang sudah ada atau bahkan memungkinkan algoritma tersebut belajar mandiri (menginduksi) dirinya sendiri secara efektif sehingga memunculkan istilah lain, yaitu ''learning to learn'' atau belajar untuk belajar.<ref name="sch1987" />
+adalah cabang dari [[pemelajaran mesin]] yang menerapkan algoritma pemelajaran mesin otomatis pada [[metadata]] (contohnya, hiperparameter) eksperimen pemelajaran mesin. Hingga tahun 2017, definisi standar dari istilah ''meta-learning'' belum sepenuhnya disepakati, tetapi secara umum, tujuan utama ''meta-learning'' adalah menggunakan metadata untuk memahami bagaimana pemelajaran otomatis dapat fleksibel menyelesaikan masalah pemelajaran, seperti meningkatkan performansi [[Pemelajaran mesin|algoritma pemelajaran mesin]] yang sudah ada atau mempelajari (menginduksi) dirinya sendiri secara efektif. Kemampuan menginduksi ini kemudian memunculkan istilah lain untuk ''meta-learning'', yaitu ''learning to learn'' atau belajar untuk belajar.<ref name="sch1987" />
-Fleksibilitas menjadi penting karena setiap algoritma pemelajaran mesin didasarkan kepada serangkaian asumsi terkait data yang diistilahkan sebagai [[bias induktif]].<ref name="utgoff1986">{{Cite book
+Fleksibilitas penting dalam pemelajaran mesin karena setiap algoritma pemelajaran mesin didasarkan pada serangkaian asumsi terkait data ([[bias induktif]]).<ref name="utgoff1986">{{Cite book
  | author = P. E. Utgoff
  | chapter = Shift of bias for inductive concept learning
@@ Baris 13: / Baris 13: @@
  | language = en
  | chapter-url = https://books.google.com/books?id=f9RylgKpHZsC&q=utgoff&pg=PA107
-}}</ref> Hal ini berarti, algoritma pemelajaran tersebut dapat belajar dengan baik, jika bias atau kecenderungannya sesuai dengan masalah pemelajaran. Sebuah algoritma pembelajaran mungkin sangat baik dalam satu domain, tetapi tidak pada domain lainnya yang demikian memberikan batasan kuat terhadap penggunaan teknik [[pemelajaran mesin]] atau [[penggalian data]], karena hubungan antara masalah pemelajaran (seringkali sebagian [[Pangkalan data|pangkalan data]]) dan efektivitas berbagai algoritma pemelajaran belum sepenuhnya dapat dipahami.
+}}</ref> Ini berarti, suatu algoritma pemelajaran dapat belajar dengan baik, jika bias atau kecenderungannya sesuai dengan masalah pemelajaran yang dihadapi. Sebuah algoritma pemelajaran mungkin sangat baik dalam satu domain, tetapi tidak pada domain lainnya. Hal demikian memberikan batasan kuat terhadap penggunaan teknik-teknik [[pemelajaran mesin]] atau [[penggalian data]] karena hubungan antara masalah pemelajaran (seringkali berupa [[Pangkalan data|pangkalan data]]) dan efektivitas berbagai algoritma pemelajaran belum sepenuhnya dipahami. Tantangannya terletak pada kenyataan bahwa kesesuaian suatu algoritma tertentu tergantung pada sejauh mana bias bawaannya cocok dengan sifat data dalam konteks tertentu.
-Dengan memanfaatkan berbagai jenis metadata, seperti properti dari masalah pemelajaran, properti algoritma (seperti ukuran performansi), atau pola yang diperoleh sebelumnya dari data. Dengan demikian, menjadi mungkin untuk mempelajari, memilih, mengubah, atau menggabungkan berbagai algoritma pemelajaran dengan cara yang efektif untuk menyelesaikan masalah pemelajaran tertentu. Kritik terhadap pendekatan ''meta-learning'' seringkali menarik analogi dengan kritik terhadap metaheuristik, karena keduanya melibatkan strategi tingkat tinggi untuk mengoptimalkan proses pemelajaran atau pemecahan masalah. Salah satu analogi yang bagus untuk memahami ''meta-learning'' dan merupakan inspirasi dari karya awal [[Jürgen Schmidhuber]] (1987)<ref name="sch1987" /> dan [[Yoshua Bengio]], dkk. (1991),<ref>{{cite conference|last1=Bengio|first1=Yoshua|last2=Bengio|first2=Samy|last3=Cloutier|first3=Jocelyn|conference=IJCNN'91|url=http://bengio.abracadoudou.com/publications/pdf/bengio_1991_ijcnn.pdf|date=1991|title=Learning to learn a synaptic rule|language=en}}</ref> menyatakan bahwa evolusi genetik mempelajari prosedur pemelajaran terenkripsi dalam gen dan tereksekusi dalam otak setiap individu. Dalam sistem pemelajaran meta hierarki terbuka<ref name="sch1987" /> menggunakan [[pemrograman genetik]], misalnya, metode evolusi yang lebih baik dapat dipelajari melalui meta-evolusi, yang pada gilirannya dapat disempurnakan melalui meta-meta-evolusi, menciptakan struktur hierarkis pemelajaran, dst.<ref name="sch1987" />
+Dengan memanfaatkan berbagai jenis metadata, seperti properti dari masalah pemelajaran, properti algoritma (seperti ukuran performansi), atau pola yang sebelumnya diperoleh dari data, menjadi mungkin untuk mempelajari, memilih, mengubah, atau menggabungkan berbagai algoritma pemelajaran dengan cara yang efektif untuk menyelesaikan masalah pemelajaran tertentu. Di sisi lain, pendekatan ini menuai kritikan. Kritik tersebut mirip dengan kritik terhadap metaheuristik, mungkin karena keduanya melibatkan strategi tingkat tinggi untuk mengoptimalkan proses pemelajaran atau pemecahan masalah. Salah satu analogi yang bagus untuk memahami ''meta-learning'' dan merupakan inspirasi dari karya awal [[Jürgen Schmidhuber]] (1987)<ref name="sch1987" /> dan [[Yoshua Bengio]], dkk. (1991),<ref>{{cite conference|last1=Bengio|first1=Yoshua|last2=Bengio|first2=Samy|last3=Cloutier|first3=Jocelyn|conference=IJCNN'91|url=http://bengio.abracadoudou.com/publications/pdf/bengio_1991_ijcnn.pdf|date=1991|title=Learning to learn a synaptic rule|language=en}}</ref> menyatakan bahwa evolusi genetik mempelajari prosedur pemelajaran yang dienkripsi dalam gen dan dieksekusi di otak setiap individu. Dalam suatu sistem meta-learning hierarki yang bersifat terbuka<ref name="sch1987" /> yang menggunakan [[pemrograman genetik]], metode evolusi yang lebih baik dapat dipelajari melalui meta-evolusi, yang pada gilirannya dapat disempurnakan melalui meta-meta-evolusi, dst sehingga menciptakan struktur hirarki pemelajaran.<ref name="sch1987" />
+== Definisi ==
+Suatu pengajuan definisi<ref>{{Cite journal|last1=Lemke|first1=Christiane|last2=Budka|first2=Marcin|last3=Gabrys|first3=Bogdan|date=2013-07-20|title=Metalearning: a survey of trends and technologies|journal=Artificial Intelligence Review|language=en|volume=44|issue=1|pages=117–130|doi=10.1007/s10462-013-9406-y|issn=0269-2821|pmc=4459543|pmid=26069389}}</ref> untuk sistem ''meta-learning'' menggabungkan tiga persyaratan utama, antara lain.
+* Sistem harus memiliki sebuah subsistem pemelajaran.
+* Pengalaman didapatkan dengan mengeksploitasi pengetahuan meta yang diekstrak dari
+** episode pemelajaran sebelumnya pada satu dataset,
+** atau dari berbagai domain.
+* Pemilihan bias pemelajaran harus dinamis.
+''Bias'' di sini merujuk kepada asumsi-asumsi yang memengaruhi pemilihan hipotesis penjelasan<ref>{{Cite book|title=Metalearning - Springer|doi=10.1007/978-3-540-73263-1|series = Cognitive Technologies|year = 2009|isbn = 978-3-540-73262-4|last1 = Brazdil|first1 = Pavel|last2=Carrier|first2=Christophe Giraud|last3=Soares|first3=Carlos|last4=Vilalta|first4=Ricardo|language=en}}</ref>, bukan bias yang diambil dari representasi [[dilema bias-variansi]]. ''Meta learning'' berurusan dengan dua aspek bias pembelajaran, yaitu
+* Pertama, "bias deklaratif" yang menentukan representasi ruang hipotesis dan memengaruhi ukuran ruang pencarian (misalnya, merepresentasikan hipotesis menggunakan fungsi linear saja).
+* Kedua, "bias prosedural" yang memberlakukan batasan pada urutan hipotesis induktif (misalnya, lebih memilih hipotesis yang lebih kecil). (e.g., preferring smaller hypotheses).<ref>{{cite journal |last1=Gordon |first1=Diana |last2=Desjardins |first2=Marie |title=Evaluation and Selection of Biases in Machine Learning |journal=Machine Learning |date=1995 |volume=20 |pages=5–22 |doi=10.1023/A:1022630017346 |url=https://link.springer.com/content/pdf/10.1023/A:1022630017346.pdf |access-date=27 March 2020|doi-access=free|language=en }}</ref>
+Jadi, dalam bahasa yang lebih sederhana, sistem meta learning ini memiliki subsistem pembelajaran, menggunakan pengalaman dari episode pembelajaran sebelumnya, dan memilih bias pembelajaran secara dinamis berdasarkan asumsi-asumsi tertentu yang memengaruhi pemilihan hipotesis penjelasan.
 ==Referensi==