materi

Pertemuan 1: Pengantar Data Science Lifecycle, Metodologi CRISP-DM, dan Perencanaan Proyek

Pengantar Data Science Lifecycle, Metodologi CRISP-DM, dan Perencanaan Proyek

Pengantar mata kuliah Proyek Sain Data yang mengkaji siklus hidup proyek sains data berbasis industri, kerangka kerja standar Cross-Industry Standard Process for Data Mining (CRISP-DM), pembagian peran tim kolaboratif, serta manajemen tata kelola artefak data dan kode.

1. Karakteristik Khusus Proyek Sains Data

Proyek rekayasa sains data memiliki karakteristik yang berbeda secara fundamental dari proyek rekayasa perangkat lunak tradisional:

  • Ketidakpastian Eksperimental (Heuristic Nature): Pada software engineering standar, hasil fungsional dapat dipastikan melalui pemenuhan spesifikasi kode (deterministic output). Pada data science, tingkat akurasi atau keberhasilan model bersifat probabilistik dan sangat bergantung pada kualitas representasi dataset historis yang tersedia.
  • Ketergantungan Data Ganda (Data & Code Dependency): Bug pada sistem data science tidak hanya berasal dari kesalahan sintaks kode, melainkan dapat dipicu oleh pergeseran distribusi data (data drift) atau perubahan makna konsep variabel target (concept drift).
  • Kebutuhan Evaluasi Bisnis Riil: Model machine learning dengan akurasi 98% tidak bernilai jika tidak memberikan peningkatan efisiensi biaya, kepuasan pengguna, atau percepatan keputusan bisnis (business impact).

2. Enam Fase Metodologi Standar CRISP-DM

CRISP-DM adalah kerangka kerja de-facto yang mengarahkan alur kerja proyek data science dari pemahaman masalah hingga implementasi nyata:

flowchart TD
    BU["1. Business Understanding<br/>(Definisi Sasaran & Kriteria KPI Bisnis)"]
    DU["2. Data Understanding<br/>(Eksplorasi EDA, Verifikasi Kualitas & Anomali)"]
    DP["3. Data Preparation<br/>(Pembersihan, Rekayasa Fitur, Encoding Data)"]
    M["4. Modeling<br/>(Seleksi Algoritma, Validasi Silang, Tuning)"]
    E["5. Evaluation<br/>(Validasi Performa Terhadap Sasaran Bisnis)"]
    D["6. Deployment<br/>(Serving API REST, Dashboard & Monitoring)"]

    BU --> DU
    DU <--> DP
    DP --> M
    M <--> DP
    M --> E
    E --> D
    E -.->|Evaluasi Ulang| BU
    D -.->|Siklus Pembaruan Model| BU

Rincian aktivitas masing-masing fase:

  1. Business Understanding: Menerjemahkan kebutuhan stakeholder bisnis menjadi target teknis data mining kuantitatif (misal: "Mengurangi churn pelanggan sebesar 15%" diterjemahkan menjadi "Membangun model klasifikasi dengan sensitivitas recall > 85% pada kelompok nasabah berisiko tinggi").
  2. Data Understanding: Mengidentifikasi sumber data (database internal, API eksternal, web scraping), melakukan Exploratory Data Analysis (EDA), memeriksa proporsi missing value, mengidentifikasi outlier, dan memahami korelasi antar fitur.
  3. Data Preparation: Tahap yang memakan 70-80% total waktu proyek. Meliputi pembersihan data (data imputation), transformasi fitur logaritmik, penskalaan fitur numerik (StandardScaler, MinMaxScaler), serta encoding fitur kategorikal (One-Hot Encoding, Target Encoding).
  4. Modeling: Mengeksplorasi berbagai keluarga algoritma (Decision Tree, Random Forest, Gradient Boosting, Deep Learning), merancang skema validasi silang (Stratified K-Fold Cross-Validation), dan melakukan penalaan hiperparameter (Grid Search / Bayesian Optimization).
  5. Evaluation: Menguji apakah model memenuhi kriteria keberhasilan bisnis awal serta memastikan tidak ada bias tersembunyi atau overfitting sebelum model diizinkan masuk ke lingkungan produksi.
  6. Deployment: Mengemas model ke dalam artefak siap saji (misal ONNX, Joblib, Docker container), mengekspos endpoint API inferensi (FastAPI / Flask), dan membangun antarmuka pemantauan drift performa data secara berkelanjutan.

3. Struktur Kolaborasi Tim dan Manajemen Versi

Setiap kelompok mahasiswa menyusun repositori proyek dengan pembagian peran profesional:

  • Data Engineer: Bertanggung jawab atas pipeline data, pembersihan data mentah, dan optimasi query database.
  • Data Scientist / ML Engineer: Bertanggung jawab atas rekayasa fitur lanjutan, eksperimen arsitektur model, dan evaluasi metrik kinerja.
  • Fullstack / Deployment Specialist: Bertanggung jawab atas pembungkusan model ke dalam REST API dan integrasi antarmuka dashboard interaktif bagi pengguna akhir.
Back to Academics