tugas

Tugas 1: Klasifikasi Data Menggunakan Algoritma Gaussian Naive Bayes

Tugas 1: Pemodelan Klasifikasi Data Menggunakan Naive Bayes Classifier

Implementasi metode klasifikasi terawasi (supervised learning) berbasis Teorema Probabilitas Bayes dengan asumsi independensi bersyarat yang kuat (naive independence assumption) antar fitur prediktor.

1. Formulasi Probabilistik Bayes

Peluang sebuah objek dengan vektor fitur x=(x1,x2,…,xd)\mathbf{x} = (x_1, x_2, \dots, x_d) tergolong dalam kelas CkC_k dihitung menggunakan aturan Bayes:

P(Ck∣x)=P(Ck)⋅P(x∣Ck)P(x)P(C_k \mid \mathbf{x}) = \frac{P(C_k) \cdot P(\mathbf{x} \mid C_k)}{P(\mathbf{x})}

Dengan asumsi independensi fitur bersyarat, probabilitas bersama disederhanakan menjadi perkalian probabilitas univariat:

P(x∣Ck)=∏j=1dP(xj∣Ck)P(\mathbf{x} \mid C_k) = \prod_{j=1}^d P(x_j \mid C_k)

Kelas prediksi akhir dipilih melalui kriteria Maximum A Posteriori (MAP):

y^=arg⁡max⁡k∈{1,…,K}P(Ck)∏j=1dP(xj∣Ck)\hat{y} = \arg\max_{k \in \{1, \dots, K\}} P(C_k) \prod_{j=1}^d P(x_j \mid C_k)

2. Penanganan Atribut Kontinu dan Laplace Smoothing

  • Gaussian Naive Bayes: Untuk variabel kontinu berdistribusi normal, fungsi kepadatan probabilitas (PDF) diestimasi menggunakan rata-rata μk\mu_k dan varians σk2\sigma_k^2.
  • Laplace Smoothing: Menerima parameter koreksi α=1\alpha = 1 untuk mencegah terjadinya probabilitas bernilai nol (zero-probability problem) saat suatu fitur belum pernah muncul pada data latih kelas tertentu.

3. Berkas Tugas Terlampir

  • Jupyter Notebook analisis: naive-bayes-classification.ipynb yang mendokumentasikan kalkulasi probabilitas prior, matriks kovariansi, dan visualisasi batasan keputusan (decision boundary).
Back to Academics