Gradient boosting

Bagian dari seri
Pemelajaran mesin dan Penggalian Data
Paradigma Pemelajaran terawasi Pemelajaran tak terawasi Pemelajaran mesin daring Pemelajaran mesin luring Meta-learning Pemelajaran semi terawasi Pemelajaran terawasi mandiri Reinforcement learning Pemelajaran berbasis aturan Pemelajaran mesin kuantum
Masalah Klasifikasi Model generatif Regresi Kluster Reduksi dimensi Estimasi densitas Deteksi anomali Pembersihan data AutoML Aturan asosiasi Analisis semantik Rekayasa fitur Pemelajaran fitur
Pemelajaran diawasi (Klasifikasi • Regresi) Pohon keputusan Pemelajaran ensambel Bagging boosting Random forest k-NN Regresi linear Naive Bayes Jaringan saraf tiruan Regresi logistik Perseptron Support vector machine (SVM)
Klustering BIRCH CURE Hierarki k-means Fuzi
Reduksi dimensionalitas AKU
Jaringan saraf tiruan Pemelajaran dalam Jaringan saraf konvolusional
Diagnostik model Kurva belajar
l b s

Gradient boosting (lit: peningkatan gradien) adalah teknik pemelajaran mesin berbasis boosting dalam ruang fungsional dengan residu semu sebagai targetnya, bukan residu biasa yang biasa digunakan dalam boosting tradisional. Teknik ini mengembalikan sebuah model prediksi dalam bentuk kumpulan (ensemble) model berprediksi lemah, yaitu model memberikan sangat sedikit asumsi tentang data, yang biasanya berupa pohon keputusan (decision tree) sederhana.^[1][2] Jika pohon keputusan ini merupakan pemelajar yang lemah, algoritma yang dihasilkan disebut sebagai pohon dengan gradien yang ditingkatkan (gradient-boosted trees) yang biasanya performana melebihi Random forest.^[1] Gradient-boosted trees dibuat secara bertahap seperti pada metode boosting lainnya, tetapi model ini menggeneralisasi metode lain dengan memungkinkan optimasi fungsi kerugian yang terdiferensialkan secara bebas.

Ide gradient boosting bermula dari pengamatan Leo Breiman yang menemukan bahwa boosting dapat diinterpretasikan sebagai sebuah algoritma optimasi pada fungsi biaya yang sesuai.^[3] Secara eksplisit, algoritma ini kemudian dikembangkan oleh Jerome H. Friedman,^[4][2] (pada tahun 1999 dan kemudian pada tahun 2001) bersamaan dengan perspektif peningkatan gradien fungsional yang lebih umum dari Llew Mason, Jonathan Baxter, Peter Bartlett dan Marcus Frean.^[5] Dua makalah yang disebutkan di akhir memperkenalkan pandangan terkait algoritma boosting sebagai algoritma penurunan gradien fungsional berulang (functional gradient descent). Artinya, algoritma yang mengoptimalkan fungsi biaya pada ruang fungsi dengan memilih fungsi secara berulang (berhipotesis lemah) yang mengarah ke gradien negatif. Pandangan ini menyebabkan pengembangan algoritma boosting di banyak bidang pemelajaran mesin dan statistika di luar regresi dan klasifikasi.

(Bagian ini mengikuti eksposisi peningkatan gradien oleh Cheng Li.^[6])

Seperti metode boosting lainnya, gradient boosting menggabungkan beberapa "pemelajaran" lemah menjadi satu pemelajar yang kuat secara iteratif. Cara paling mudah untuk menjelaskannya adalah dengan pengaturan regresi kuadrat terkecil, yang tujuannya adalah untuk "mengajarkan" suatu model ${\displaystyle F}$ untuk memprediksi nilai bentuk ${\displaystyle {\hat {y}}=F(x)}$ dengan meminimalkan rata-rata kuadrat galat ${\displaystyle {\tfrac {1}{n}}\sum _{i}({\hat {y}}_{i}-y_{i})^{2}}$ dengan indeks ${\displaystyle i}$ pada beberapa himpunan ukuran pelatihan ${\displaystyle n}$ dari nilai sebenarnya dari variabel keluaran ${\displaystyle y}$:

• ${\displaystyle {\hat {y}}_{i}=}$ nilai prediksinya ${\displaystyle F(x_{i})}$
• ${\displaystyle y_{i}=}$ nilai yang diamati
• ${\displaystyle n=}$ jumlah sampel yang masuk ${\displaystyle y}$

Sekarang, pertimbangkan algoritma gradient boosting dengan ${\displaystyle M}$ tahap. Di setiap tahap ${\displaystyle m}$ ( ${\displaystyle 1\leq m\leq M}$ ) gradient boosting, misalkan beberapa model yang tidak sempurna ${\displaystyle F_{m}}$ (dengan ${\displaystyle m}$ kecil, model ini mungkin mengembalikan ${\displaystyle {\hat {y}}_{i}={\bar {y}}}$, saja dengan RHS adalah rerata dari ${\displaystyle y}$). Untuk meningkatkan ${\displaystyle F_{m}}$, algoritma ini harus menambahkan beberapa estimator baru, ${\displaystyle h_{m}(x)}$. Sedemikian sehingga

${\displaystyle F_{m+1}(x_{i})=F_{m}(x_{i})+h_{m}(x_{i})=y_{i}}$

atau, dapat ditulis ulang sebagai,

${\displaystyle h_{m}(x_{i})=y_{i}-F_{m}(x_{i})}$ .

Oleh karena itu, gradient boosting akan menyesuaikan (fit) ${\displaystyle h_{m}}$ ke residu ${\displaystyle y_{i}-F_{m}(x_{i})}$. Seperti pada varian boosting lainnya, masing-masing ${\displaystyle F_{m+1}}$ berupaya untuk memperbaiki galat ${\displaystyle F_{m}}$ sebelumnya. Generalisasi ide ini digunakan pada fungsi kerugian, selain kesalahan kuadrat, dan pada masalah klasifikasi dan pemeringkatan yang mengikuti pengamatan bahwa residu ${\displaystyle h_{m}(x_{i})}$ untuk model tertentu sebanding dengan gradien negatif dari fungsi kerugian mean squared error (MSE) (sehubungan dengan ${\displaystyle F(x_{i})}$):

${\displaystyle L_{\rm {MSE}}={\frac {1}{n}}\sum _{i=1}^{n}\left(y_{i}-F(x_{i})\right)^{2}}$

${\displaystyle -{\frac {\partial L_{\rm {MSE}}}{\partial F(x_{i})}}={\frac {2}{n}}(y_{i}-F(x_{i}))={\frac {2}{n}}h_{m}(x_{i})}$ .

Oleh karena itu, gradient boosting dapat juga digunakan pada algoritma penurunan gradien dengan "memasukkan" kerugian yang berbeda dan gradiennya.

• AdaBoost
• Hutan acak
• peningkatan kucing
• GBM ringan
• XGBoost
• Pembelajaran pohon keputusan

• Boehmke, Bradley; Greenwell, Brandon (2019). "Gradient Boosting". Hands-On Machine Learning with R. Chapman & Hall. hlm. 221–245. ISBN 978-1-138-49568-5. 

• Bagaimana menjelaskan peningkatan gradien
• Pohon Regresi yang Didorong Gradien
• GBM ringan