Penurunan gradien stokastik: Perbedaan antara revisi
Konten dihapus Konten ditambahkan
Membuat halaman stochastiv Tag: |
Tidak ada ringkasan suntingan |
||
| Baris 2: | Baris 2: | ||
{{Pemelajaran mesin}} |
{{Pemelajaran mesin}} |
||
'''''Stochastic gradient descent''''' (biasanya disingkat '''SGD''') adalah sebuah metode iteratif yang digunakan untuk mengoptimasi [[fungsi objektif]] dengan sifat [[smoothness]] yang sesuai (misal [[Fungsi diferensiabel|diferensiabel]] atau [[Metode subgradien|subdiferensiabel]]). SGD dapat dianggap sebagai [[aproksimasi stokastik]] dari optimasi [[penurunan gradien]] karena SGD menggantikan gradien sebenarnya (dihitung dari keseluruhan [[himpunan data]]) dengan estimasi yang dihitung dari subset data yang dipilih secara acak. Terutama dalam masalah optimasi [[dimensi|berdimensi tinggi]], SGD dapat mengurangi [[kompleksitas komputasional]] yang sangat tinggi dan mencapai iterasi yang lebih cepat sebagai gantinya untuk tingkat konvergensi yang lebih rendah.<ref>{{cite book |first1=Léon |last1=Bottou |author-link=Léon Bottou |first2=Olivier |last2=Bousquet |chapter=The Tradeoffs of Large Scale Learning |title=Optimization for Machine Learning |editor-first=Suvrit |editor-last=Sra |editor2-first=Sebastian |editor2-last=Nowozin |editor3-first=Stephen J. |editor3-last=Wright |location=Cambridge |publisher=MIT Press |year=2012 |isbn=978-0-262-01646-9 |pages=351–368 |chapter-url=https://books.google.com/books?id=JPQx7s2L1A8C&pg=PA351 }}</ref> |
'''''Stochastic gradient descent''''' (biasanya disingkat '''SGD''') adalah sebuah metode iteratif yang digunakan untuk mengoptimasi [[fungsi objektif]] dengan sifat [[smoothness]] yang sesuai (misal [[Fungsi diferensiabel|diferensiabel]] atau [[Metode subgradien|subdiferensiabel]]). SGD dapat dianggap sebagai [[aproksimasi stokastik]] dari optimasi [[penurunan gradien]] karena SGD menggantikan gradien sebenarnya (dihitung dari keseluruhan [[himpunan data]]) dengan estimasi yang dihitung dari subset data yang dipilih secara acak. Terutama dalam masalah optimasi [[dimensi|berdimensi tinggi]], SGD dapat mengurangi [[kompleksitas komputasional]] yang sangat tinggi dan mencapai iterasi yang lebih cepat sebagai gantinya untuk tingkat konvergensi yang lebih rendah.<ref>{{cite book |first1=Léon |last1=Bottou |author-link=Léon Bottou |first2=Olivier |last2=Bousquet |chapter=The Tradeoffs of Large Scale Learning |title=Optimization for Machine Learning |editor-first=Suvrit |editor-last=Sra |editor2-first=Sebastian |editor2-last=Nowozin |editor3-first=Stephen J. |editor3-last=Wright |location=Cambridge |publisher=MIT Press |year=2012 |isbn=978-0-262-01646-9 |pages=351–368 |chapter-url=https://books.google.com/books?id=JPQx7s2L1A8C&pg=PA351 }}</ref> |
||
==<span lang="ru" dir="ltr">Referensi</span>== |
|||
{{Reflist|30em}} |
|||
==Bacaan lanjutan== |
|||
*{{Citation |
|||
| last = Bottou |
|||
| first = Léon |
|||
| author-link = Léon Bottou |
|||
| contribution = Stochastic Learning |
|||
| year = 2004 |
|||
| title = Advanced Lectures on Machine Learning |
|||
| pages = 146–168 |
|||
| publisher = Springer |
|||
| series = LNAI |
|||
| volume = 3176 |
|||
| chapter-url = http://leon.bottou.org/papers/bottou-mlss-2004 |
|||
| isbn = 978-3-540-23122-6 |
|||
| ref = none |
|||
}} |
|||
*{{citation |first1=Nikhil |last1=Buduma |first2=Nicholas |last2=Locascio |year=2017 |title=Fundamentals of Deep Learning : Designing Next-Generation Machine Intelligence Algorithms |chapter=Beyond Gradient Descent |publisher=O'Reilly |isbn=9781491925584 |chapter-url=https://books.google.com/books?id=80glDwAAQBAJ&pg=PA63 }} |
|||
*{{citation |first1=Yann A. |last1=LeCun |author-link=Yann LeCun |first2=Léon |last2=Bottou |first3=Genevieve B. |last3=Orr |first4=Klaus-Robert |last4=Müller |author-link4=Klaus-Robert Müller |chapter=Efficient BackProp |title=Neural Networks: Tricks of the Trade |publisher=Springer |isbn=978-3-642-35288-1 |year=2012 |pages=9–48 |chapter-url=https://books.google.com/books?id=VCKqCAAAQBAJ&pg=PA9 }} |
|||
*{{Citation |
|||
| title = Introduction to Stochastic Search and Optimization |
|||
| first = James C. |
|||
| last = Spall |
|||
| publisher = [[John Wiley & Sons|Wiley]] |
|||
| year = 2003 |
|||
| isbn = 978-0-471-33052-3 |
|||
| ref = none |
|||
}} |
|||
==Pranala luar== |
|||
* [http://codingplayground.blogspot.it/2013/05/stocastic-gradient-descent.html Menggunakan SGD dalam C++, Boost, Ublas untuk regresi linear] |
|||
* [http://studyofai.com/machine-learning-algorithms/ Algoritma pemelajaran mesin] |
|||
* {{cite web |work=3Blue1Brown |title=Gradient Descent, How Neural Networks Learn |date=October 16, 2017 |url=https://www.youtube.com/watch?v=IHZwWFHWa-w&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi&index=2 |archive-url=https://ghostarchive.org/varchive/youtube/20211222/IHZwWFHWa-w |archive-date=2021-12-22 |url-status=live|via=[[YouTube]] }}{{cbignore}} |
|||
* {{cite journal |url=https://distill.pub/2017/momentum/ |title=Why Momentum Really Works |last=Goh |journal=[[Distill (journal)|Distill]] |date=April 4, 2017 |volume=2 |issue=4 |doi=10.23915/distill.00006 |doi-access=free }} Interactive paper explaining momentum. |
|||
Revisi per 16 Desember 2023 06.01
| Bagian dari seri |
| Pemelajaran mesin dan Penggalian Data |
|---|
 |
Stochastic gradient descent (biasanya disingkat SGD) adalah sebuah metode iteratif yang digunakan untuk mengoptimasi fungsi objektif dengan sifat smoothness yang sesuai (misal diferensiabel atau subdiferensiabel). SGD dapat dianggap sebagai aproksimasi stokastik dari optimasi penurunan gradien karena SGD menggantikan gradien sebenarnya (dihitung dari keseluruhan himpunan data) dengan estimasi yang dihitung dari subset data yang dipilih secara acak. Terutama dalam masalah optimasi berdimensi tinggi, SGD dapat mengurangi kompleksitas komputasional yang sangat tinggi dan mencapai iterasi yang lebih cepat sebagai gantinya untuk tingkat konvergensi yang lebih rendah.[1]
Referensi
- ^ Bottou, Léon; Bousquet, Olivier (2012). "The Tradeoffs of Large Scale Learning". Dalam Sra, Suvrit; Nowozin, Sebastian; Wright, Stephen J. Optimization for Machine Learning. Cambridge: MIT Press. hlm. 351–368. ISBN 978-0-262-01646-9.
Bacaan lanjutan
- Bottou, Léon (2004), "Stochastic Learning", Advanced Lectures on Machine Learning, LNAI, 3176, Springer, hlm. 146–168, ISBN 978-3-540-23122-6
- Buduma, Nikhil; Locascio, Nicholas (2017), "Beyond Gradient Descent", Fundamentals of Deep Learning : Designing Next-Generation Machine Intelligence Algorithms, O'Reilly, ISBN 9781491925584
- LeCun, Yann A.; Bottou, Léon; Orr, Genevieve B.; Müller, Klaus-Robert (2012), "Efficient BackProp", Neural Networks: Tricks of the Trade, Springer, hlm. 9–48, ISBN 978-3-642-35288-1
- Spall, James C. (2003), Introduction to Stochastic Search and Optimization, Wiley, ISBN 978-0-471-33052-3
Pranala luar
- Menggunakan SGD dalam C++, Boost, Ublas untuk regresi linear
- Algoritma pemelajaran mesin
- "Gradient Descent, How Neural Networks Learn". 3Blue1Brown. October 16, 2017. Diarsipkan dari versi asli tanggal 2021-12-22 – via YouTube.
- Goh (April 4, 2017). "Why Momentum Really Works". Distill. 2 (4). doi:10.23915/distill.00006
. Interactive paper explaining momentum.
