Pertemuan 2: Pemodelan Regresi Linear, Cost Function MSE, dan Evaluasi Metrik - Academics

Pemodelan Regresi Linear, Cost Function MSE, dan Evaluasi Metrik

Kajian matematis mendalam mengenai algoritma Regresi Linear Sederhana dan Berganda, perumusan fungsi biaya Mean Squared Error (MSE), optimasi parameter menggunakan metode analitis Ordinary Least Squares (OLS) dan iteratif Gradient Descent, serta standarisasi metrik evaluasi kinerja model.

1. Formulasi Hipotesis Regresi Linear

Regresi Linear memodelkan hubungan fungsional linier antara variabel bebas (independent feature) $X$ dengan variabel terikat kontinu (dependent target) $y$ . Untuk satu fitur variabel input tunggal (Simple Linear Regression), fungsi hipotesis dirumuskan sebagai:

h_\theta(x) = \theta_0 + \theta_1 x

Di mana:

$\theta_0$ : Titik potong sumbu tegak (intercept / bias).
$\theta_1$ : Kemiringan garis (slope / weight) yang merepresentasikan besarnya perubahan output untuk setiap kenaikan satu satuan input.

Untuk banyak fitur ( $n$ dimensi), notasi vektor dirumuskan sebagai:

h_\theta(x) = \theta^T x = \theta_0 x_0 + \theta_1 x_1 + \dots + \theta_n x_n \quad (x_0 = 1)

2. Fungsi Biaya (Cost Function: Mean Squared Error)

Untuk mengukur seberapa jauh estimasi garis prediksi $h_\theta(x^{(i)})$ menyimpang dari nilai target aktual $y^{(i)}$ , didefinisikan fungsi biaya kuadratik rata-rata:

J(\theta_0, \theta_1) = \frac{1}{2m} \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})^2

Faktor pengali $\frac{1}{2}$ disematkan guna mempermudah proses kalkulasi turunan pertama (derivative) saat optimasi komputasi.

Berikut adalah catatan tulisan tangan perkuliahan yang menjabarkan penurunan matematis fungsi biaya dan turunan parsial:

Catatan Kuliah - Formulasi Matematis Regresi Linear dan Gradien Turunan

3. Optimasi Parameter Model: Gradient Descent

Algoritma optimasi iteratif Gradient Descent mencari nilai parameter $\theta$ optimal yang meminimalkan fungsi biaya $J(\theta)$ dengan melangkah berlawanan arah terhadap vektor gradien permukaan:

\theta_j := \theta_j - \alpha \frac{\partial}{\partial \theta_j} J(\theta)

Di mana $\alpha$ adalah learning rate (laju pembelajaran). Turunan parsial untuk masing-masing parameter diperoleh sebagai:

\frac{\partial}{\partial \theta_0} J(\theta) = \frac{1}{m} \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})

\frac{\partial}{\partial \theta_1} J(\theta) = \frac{1}{m} \sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)}) \cdot x^{(i)}

Berikut adalah visualisasi garis fitting regresi dan akumulasi error residual dari rangkuman catatan:

Catatan Kuliah - Visualisasi Fitting Garis Regresi dan Error Residual

4. Metrik Evaluasi Kinerja Regresi

Untuk menguji kehandalan prediksi model terhadap data pengujian baru, diterapkan empat metrik standar industri:

Mean Absolute Error (MAE):

\text{MAE} = \frac{1}{m} \sum_{i=1}^m |y^{(i)} - \hat{y}^{(i)}|

Mengukur rata-rata magnitudo kesalahan absolut tanpa memperhatikan arah positif atau negatif. Tahan terhadap pengaruh data ekstrem (outlier). 2. Mean Squared Error (MSE):

\text{MSE} = \frac{1}{m} \sum_{i=1}^m (y^{(i)} - \hat{y}^{(i)})^2

Memberikan penalti hukuman kuadratik yang sangat berat terhadap kesalahan prediksi berskala besar. 3. Root Mean Squared Error (RMSE):

\text{RMSE} = \sqrt{\text{MSE}}

Memiliki satuan dimensi yang setara dengan variabel target asli, sehingga mempermudah interpretasi praktis. 4. Koefisien Determinasi ( $R^2$ Score):

R^2 = 1 - \frac{\sum (y^{(i)} - \hat{y}^{(i)})^2}{\sum (y^{(i)} - \bar{y})^2}

Menunjukkan proporsi variabilitas variabel target yang berhasil dijelaskan oleh fitur-fitur pada model regresi. Nilai berkisar antara 0 hingga 1 (nilai 1 menandakan model mampu memprediksi target secara sempurna).