tugas

Tugas 5: Implementasi dan Duplikasi Algoritma Probabilistik Okapi BM25

Tugas 5: Implementasi Algoritma Perankingan Probabilistik Okapi BM25 pada Kasus Legal Search

Studi komparatif dan implementasi kode mandiri algoritma perankingan dokumen industri Okapi BM25 (Best Matching 25) untuk mengatasi kelemahan saturasi frekuensi pada TF-IDF standar.

1. Formulasi Matematis Okapi BM25

Skor BM25 untuk dokumen DD terhadap query QQ dirumuskan sebagai:

Score(D,Q)=∑i=1nIDF(qi)⋅f(qi,D)⋅(k1+1)f(qi,D)+k1⋅(1−b+b⋅∣D∣avgdl)\text{Score}(D, Q) = \sum_{i=1}^n IDF(q_i) \cdot \frac{f(q_i, D) \cdot (k_1 + 1)}{f(q_i, D) + k_1 \cdot \left(1 - b + b \cdot \frac{|D|}{\text{avgdl}}\right)}

Di mana:

  • f(qi,D)f(q_i, D): Frekuensi kemunculan kata qiq_i di dalam dokumen DD.
  • ∣D∣|D|: Panjang dokumen dalam jumlah kata.
  • avgdl\text{avgdl}: Panjang rata-rata seluruh dokumen dalam korpus (average document length).
  • Parameter standar: k1=1.2k_1 = 1.2 (mengatur saturasi frekuensi term) dan b=0.75b = 0.75 (mengatur derajat normalisasi panjang dokumen).

2. Proyek Legal Search Engine

Menerapkan formula BM25 pada dokumen korpus putusan hukum pengadilan (legal documents) dengan sistem penghitungan Mean Average Precision (MAP) dan evaluasi Top-10 dokumen paling relevan.

3. Berkas Tugas Terlampir

  • Laporan komprehensif: BM25-240411100085.pdf.
  • Buku kerja eksperimen Google Colab: TUGAS5_MEMBUAT_DUPLIKASI_CODE_BM25_24_85.ipynb.
  • Paket kode sistem: legal-search-engine-bm25.zip yang memuat generator indeks dan kalkulator MAP.

Attachments

Back to Academics