Tahapan Business Understanding, Data Understanding, dan Eksplorasi Fitur - Academics

Tahapan Business Understanding, Data Understanding, dan Eksplorasi Fitur Data

Pendalaman fase awal analisis data sains: mendefinisikan inventaris data, audit kualitas atribut, deteksi multikolinieritas, serta visualisasi distribusi variabel.

1. Audit Kualitas Data (Data Quality Audit)

Sebelum model dilatih, integritas data harus diverifikasi melalui inspeksi:

Kelengkapan (Completeness): Menghitung persentase data hilang (missing rate) dan membedakan jenis Missing Completely at Random (MCAR), Missing at Random (MAR), atau Missing Not at Random (MNAR).
Validitas & Konsistensi: Memeriksa kesesuaian tipe data atribut (kategorikal ordinal/nominal, numerik kontinu/diskrit) dan rentang domain nilai yang sah.
Pencilan (Outliers): Mendeteksi data ekstrem menggunakan metode statistik Interquartile Range ( $IQR = Q_3 - Q_1$ ) dengan batas $[Q_1 - 1.5 \cdot IQR, Q_3 + 1.5 \cdot IQR]$ atau skor standar Z-Score ( $|Z| > 3$ ).

2. Teknik Eksplorasi Data Visual

Pemanfaatan grafik statistik untuk mengekstraksi wawasan awal:

Histogram & KDE Plot: Memeriksa bentuk distribusi data apakah simetris normal, menceng kiri (skewed negative), atau menceng kanan (skewed positive).
Box Plot: Memvisualisasikan kuartil pemusatan dan sebaran data serta menonjolkan titik pencilan secara visual.
Heatmap Matriks Korelasi: Menghitung koefisien korelasi Pearson ( $r$ ) atau Spearman ( $\rho$ ) untuk mendeteksi redundansi fitur.