Pemelajaran swabimbing
| Bagian dari seri |
| Pembelajaran mesin dan penggalian data |
|---|
 |
Pemelajaran swabimbing atau pemelajaran terawasi mandiri (bahasa Inggris: self-supervised learning (SSL)) adalah suatu paradigma dalam bidang pemelajaran mesin yang sebuah model dilatih pada sebuah tugas dengan menggunakan data itu tersendiri untuk menghasilkan sinyal-sinyal pengawasan, tanpa harus bergantung pada label-label eksternal yang diberikan oleh manusia. Dalam konteks ini, model belajar secara otomatis dari struktur internal data, menciptakan representasi yang bermakna tanpa memerlukan anotasi label tambahan. Pendekatan ini memungkinkan model untuk mengekstrak pola dan fitur yang berguna secara mandiri dari data yang ada, meningkatkan kemampuan adaptasi dan generalisasi model pada berbagai tugas tanpa memerlukan bimbingan eksternal yang intensif.
Dalam konteks jaringan saraf, pemelajaran terawasi mandiri bertujuan untuk memanfaatkan struktur atau hubungan bawaan dalam data masukan untuk menciptakan sinyal pelatihan yang bermakna. Tugas pemelajaran terawasi mandiri (SSL) didesain agar pemecahannya memerlukan penangkapan fitur atau hubungan esensial dalam data. Data masukan umumnya diperluas atau diubah dengan cara tertentu yang menciptakan pasangan sampel yang saling terkait. Satu sampel berfungsi sebagai masukan, dan yang lainnya digunakan untuk merumuskan sinyal pengawasan. Augmentasi ini dapat melibatkan penambahan derau, pemotongan, rotasi, atau transformasi lainnya. Pemelajaran terawasi mandiri lebih mirip dengan cara manusia belajar mengklasifikasikan objek. [1]
Label-Semu
[sunting | sunting sumber]Label semu adalah label yang dihasilkan secara otomatis yang ditetapkan oleh model untuk data tak berlabel berdasarkan prediksinya sendiri. Label ini banyak digunakan dalam pembelajaran terawasi mandiri dan semi-terawasi, di mana anotasi kebenaran dasar terbatas atau tidak tersedia. Dengan memperlakukan label yang diprediksi sebagai pengganti kebenaran dasar, algoritma pembelajaran dapat memanfaatkan data tak berlabel dalam jumlah besar dalam proses pelatihan.[2]
Pelabelan semu juga memainkan peran penting dalam sistem yang harus beradaptasi dengan pergeseran konsep, di mana sifat statistik data berubah seiring waktu. Dalam skenario ini, model dapat mendeteksi bahwa suatu instans yang masuk menyimpang dari perilaku yang dipelajari sebelumnya. Sistem kemudian menghasilkan hasil klasifikasi untuk instans tersebut, dan kelas yang diprediksi ini digunakan sebagai label semu untuk memperbarui atau melatih ulang komponen model yang sudah usang. Pendekatan ini memungkinkan adaptasi berkelanjutan dalam lingkungan dinamis tanpa memerlukan anotasi manual.[3][4]
Dalam banyak alur pembelajaran adaptif, pseudo-label dipilih ketika pengklasifikasi menghasilkan prediksi yang cukup meyakinkan, sehingga mengurangi risiko kesalahan propagasi. Instansi pseudo-label ini kemudian dimasukkan ke dalam pelatihan untuk menyegarkan atau mengembangkan pemahaman model tentang pola data yang muncul, terutama ketika komponen yang ada menunjukkan tanda-tanda "penuaan" akibat pergeseran atau pergeseran distribusi. Strategi ini mengurangi ketergantungan pada pelabelan manual sekaligus membantu mempertahankan kinerja model jangka panjang.
Contoh
[sunting | sunting sumber]Pembelajaran mandiri (self-supervised learning) sangat cocok untuk pengenalan suara. Misalnya, Facebook mengembangkan wav2vec, sebuah algoritma mandiri, untuk melakukan pengenalan suara menggunakan dua jaringan saraf konvolusional dalam yang saling membangun.[5]
Model Bidirectional Encoder Representations from Transformers (BERT) milik Google digunakan untuk lebih memahami konteks kueri penelusuran.[6]
GPT-3 milik OpenAI adalah model bahasa autoregresif yang dapat digunakan dalam pemrosesan bahasa. Model ini dapat digunakan untuk menerjemahkan teks atau menjawab pertanyaan, antara lain.[7]
Bootstrap Your Own Latent (BYOL) adalah NCSSL yang menghasilkan hasil yang sangat baik pada ImageNet dan pada uji transfer serta semi-supervised.[8]
Algoritma Yarowsky adalah contoh pembelajaran mandiri dalam pemrosesan bahasa alami (NLP). Dari sejumlah kecil contoh berlabel, algoritma ini belajar memprediksi makna kata dari kata polisemi yang sedang digunakan pada titik tertentu dalam teks.
DirectPred adalah NCSSL yang secara langsung menetapkan bobot prediktor, alih-alih mempelajarinya melalui penurunan gradien biasa.[12]
Self-GenomeNet adalah contoh pembelajaran mandiri dalam genomika.[9]
Pembelajaran mandiri terus menjadi semakin populer sebagai pendekatan baru di berbagai bidang. Kemampuannya untuk memanfaatkan data tak berlabel secara efektif membuka kemungkinan baru untuk kemajuan dalam pembelajaran mesin, terutama dalam domain aplikasi berbasis data.
Referensi
[sunting | sunting sumber]- ↑ Bouchard, Louis (2020-11-25). "What is Self-Supervised Learning? | Will machines ever be able to learn like humans?". Medium (dalam bahasa Inggris). Diakses tanggal 2021-06-09.
- ↑ Kim, Jihee; Park, Sangki; Roh, Si-Dong; Chung, Ki-Seok (2023-03-10). "An Efficient Noisy Label Learning Method with Semi-supervised Learning". Proceedings of the 2023 6th International Conference on Machine Vision and Applications. New York, NY, USA: ACM: 161–166. doi:10.1145/3589572.3589596.
- ↑ Gama, João; Žliobaitė, Indrė; Bifet, Albert; Pechenizkiy, Mykola; Bouchachia, Abdelhamid (2014-04). "A survey on concept drift adaptation". ACM Computing Surveys (dalam bahasa Inggris). 46 (4): 1–37. doi:10.1145/2523813. ISSN 0360-0300.
- ↑ Xu, Ke; Li, Yingjiu; Deng, Robert; Chen, Kai; Xu, Jiayun (2019-06). "DroidEvolver: Self-Evolving Android Malware Detection System". IEEE: 47–62. doi:10.1109/EuroSP.2019.00014. ISBN 978-1-7281-1148-3. ;
- ↑ Pepino, Leonardo; Riera, Pablo; Ferrer, Luciana (2021-08-30). "Emotion Recognition from Speech Using wav2vec 2.0 Embeddings". Interspeech 2021. ISCA: ISCA. doi:10.21437/interspeech.2021-703.
- ↑ Chen, Yi-Chia; Li, Wei-Hua; Chen, Chu-Song (2024-10-27). "Open-Vocabulary Panoptic Segmentation Using Bert Pre-Training of Vision-Language Multiway Transformer Model". 2024 IEEE International Conference on Image Processing (ICIP). IEEE: 2494–2500. doi:10.1109/icip51287.2024.10647459.
- ↑ Wilcox, Ethan; Qian, Peng; Futrell, Richard; Kohita, Ryosuke; Levy, Roger; Ballesteros, Miguel (2020). "Structural Supervision Improves Few-Shot Learning and Syntactic Generalization in Neural Language Models". Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP). Stroudsburg, PA, USA: Association for Computational Linguistics: 4640–4652. doi:10.18653/v1/2020.emnlp-main.375.
- ↑ Recasens, Adria; Luc, Pauline; Alayrac, Jean-Baptiste; Wang, Luyu; Strub, Florian; Tallec, Corentin; Malinowski, Mateusz; Patraaucean, Viorica; Altche, Florent (2021-10). "Broaden Your Views for Self-Supervised Video Learning". 2021 IEEE/CVF International Conference on Computer Vision (ICCV). IEEE: 1235–1245. doi:10.1109/iccv48922.2021.00129.
- ↑ Gündüz, Hüseyin Anil; Binder, Martin; To, Xiao-Yin; Mreches, René; Bischl, Bernd; McHardy, Alice C.; Münch, Philipp C.; Rezaei, Mina (2023-09-11). "A self-supervised deep learning method for data-efficient training in genomics". Communications Biology (dalam bahasa Inggris). 6 (1). doi:10.1038/s42003-023-05310-2. ISSN 2399-3642.
Bacaan lanjutan
[sunting | sunting sumber]- Balestriero, Randall; Ibrahim, Mark; Sobal, Vlad; Morcos, Ari; Shekhar, Shashank; Goldstein, Tom; Bordes, Florian; Bardes, Adrien et al. (2023-04-24). "A Cookbook of Self-Supervised Learning". arΧiv:2304.12210 [cs.LG].
Pranala luar
[sunting | sunting sumber]- Doersch, Carl; Zisserman, Andrew (October 2017). "Multi-task Self-Supervised Visual Learning". 2017 IEEE International Conference on Computer Vision (ICCV). hlm. 2070–2079. arXiv:1708.07860. doi:10.1109/ICCV.2017.226. ISBN 978-1-5386-1032-9. S2CID 473729.
- Doersch, Carl; Gupta, Abhinav; Efros, Alexei A. (December 2015). "Unsupervised Visual Representation Learning by Context Prediction". 2015 IEEE International Conference on Computer Vision (ICCV). hlm. 1422–1430. arXiv:1505.05192. doi:10.1109/ICCV.2015.167. ISBN 978-1-4673-8391-2. S2CID 9062671.
- Zheng, Xin; Wang, Yong; Wang, Guoyou; Liu, Jianguo (2018-04-01). "Fast and robust segmentation of white blood cell images by self-supervised learning". Micron (dalam bahasa Inggris). 107: 55–71. doi:10.1016/j.micron.2018.01.010. ISSN 0968-4328. PMID 29425969. S2CID 3796689.
- Yarowsky, David (1995). "Unsupervised Word Sense Disambiguation Rivaling Supervised Methods". Proceedings of the 33rd Annual Meeting of the Association for Computational Linguistics. Cambridge, MA: Association for Computational Linguistics: 189–196. doi:10.3115/981658.981684. Diakses tanggal 1 November 2022.