Sebagai mahasiswa yang hobi ngulik teknologi, machine learning, atau bikin side project berbasis AI, kita pasti sering dihadapkan pada dilema klasik: kapan harus pakai model AI kelas berat yang mahal, dan kapan cukup pakai model yang ramah di kantong? Di dunia kerja, bos yang bayar tagihan token LLM. Tapi buat proyek pribadi, setiap kali kita ketik prompt, itu artinya saldo di kartu kredit kita yang berkurang. Cerita ini bermula ketika seorang engineer berniat merancang 10 eksperimen evaluasi LLM untuk memetakan performanya secara menyeluruh. Namun, di tengah jalan, ia sadar kalau hanya menjalankan satu eksperimen saja sudah lebih dari cukup.

Realita Kantong Mahasiswa vs Anggaran Perusahaan

Kalau di kantor, eksperimen pakai model frontier seperti Claude Sonnet atau GPT-4 terasa bebas karena perusahaan yang menanggung biaya. Mau coba 20-shot prompt dengan data real? Silakan. Prinsip "ship and learn" berlaku di sana. Sebaliknya, saat ngerjain proyek di kosan, situasinya beda banget. GPU lokal gak kuat nampung context windows yang besar, dan tiap generasi token langsung motong jajan bulanan kita.

Meskipun begitu, kita tetap butuh tahu gimana model-model ini bekerja di skenario nyata, bukan cuma sekadar nyoba prompt main-main. Di sinilah pentingnya bersikap taktis dalam mengalokasikan budget teknologi kita.

Rancangan 10 Eksperimen yang Ambisius

Awalnya, program eksperimen ini dirancang sangat rapi di atas kertas untuk menjawab pertanyaan: "Untuk agen otomatisasi yang ngerjain tugas DevOps, model mana yang paling pas dengan budget minimal?" Sepuluh eksperimen tersebut meliputi:

  • Adaptive Budget Tuner: Cari budget reasoning paling murah yang tetap tembus standar kualitas.
  • Frontier Lite Field Test: Apakah model murah bisa gantiin model mahal di tugas harian?
  • Context Rot Detector: Seberapa jauh long-context recall benar-benar ambyar di dokumentasi panjang?
  • Tool Drift: Apakah akurasi turun pas dikasih 50–200 tools sekaligus?
  • Code Review Breakpoint: Ukuran PR berapa yang bikin AI review kode mulai gak guna?
  • Local Vs Cloud Bench: Seberapa dekat model lokal yang di-quantized dibanding versi cloud-nya?
  • Cache Hit Maximizer: Seberapa besar prompt caching bisa ngirit token multi-turn agents?
  • Open Weights Head-To-Head: Adu performa antar model open-weight.
  • Sovereign Agent Lab: Apakah model open-source yang di-fine-tuned bisa nyaingin model frontier di tugas spesifik?
  • Apex Threshold Detector: Tugas mana yang bener-bener butuh model paling mahal?

Untuk mendukung itu, dibangunlah sebuah framework evaluasi bernama model-compass yang mencakup 9 tugas agen nyata (mulai dari diagnosis CI, incident triage, sampai code review), rubric penilaian otomatis, hingga penghitungan cost-per-task dalam USD. Tapi pada akhirnya, cuma satu eksperimen yang benar-benar dieksekusi sampai tuntas.

Kenapa Memilih CI Diagnostics Sebagai Satu-satunya Eksperimen?

Alih-alih milih topik yang keren seperti architecture reasoning, eksperimen ini difokuskan ke CI diagnostics (menganalisis kegagalan Continuous Integration dari log GitHub Actions). Alasannya sederhana: ini adalah masalah nyata yang sering ditemui saat ngoding aplikasi kompleks di berbagai bahasa pemrograman seperti TypeScript, Python, atau Java.

Log error di CI biasanya berukuran megabyte dan butuh waktu berjam-jam buat di-debug secara manual. Dengan bantuan otomasi LLM, proses pahami error bisa dipangkas drastis. Eksperimen ini membandingkan dua model, yaitu Claude Haiku dan Claude Sonnet, menggunakan log GitHub Actions asli dari repo open-source dengan total biaya eksekusi cuma sekitar $13.53 (atau sekitar Rp215.000).

Hasil Akhir: Model Murah Justru Keluar Sebagai Pemenang

Setelah diuji lewat 50 run dengan berbagai jenis error (koneksi database, test failure, build error), hasil perbandingannya cukup mengejutkan:

  • Claude Haiku: 10x lebih murah, 67% lebih cepat, dan secara statistik punya akurasi yang setara untuk tugas diagnosis CI.
  • Claude Sonnet: Menelan lebih banyak token, lebih mahal, lebih lambat, tapi tidak memberikan keunggulan signifikan pada metrik utama: "bisa bantu benerin build atau nggak?"

Kesimpulannya? Buat urusan baca log CI dan ngasih ringkasan error, Haiku adalah pilihan default yang paling masuk akal. Kita tidak perlu bakar duit ekstra untuk pakai model paling mahal kalau model yang lebih murah sudah "cukup bagus" dan jauh lebih efisien.

Worth It Gak Buat Mahasiswa?

Buat kamu yang sedang bikin skripsi, riset AI, atau ngerjain side project berbasis LLM, pelajaran dari eksperimen ini sangat berharga:

  • Kelebihan: Menghemat budget secara drastis, melatih pola pikir efisiensi prompt, dan membuktikan bahwa model yang lebih murah (seperti Haiku, DeepSeek, atau Llama open-source) seringkali sudah lebih than enough untuk kebutuhan harian dibanding model frontier yang mahal.
  • Kekurangan: Butuh waktu awal buat merancang sistem evaluasi sederhana agar pilihan model tidak berdasarkan tebakan (vibes) semata.

Jadi, gak perlu minder kalau belum kesampean langganan model AI paling mahal. Manfaatkan model yang ada secara cerdas dan buat sistem pengujianmu sendiri!

Kesimpulan & Tips Praktis untuk Mahasiswa

Kamu tidak butuh laboratorium besar atau budget jutaan rupiah buat belajar cara kerja AI secara mendalam. Cukup pilih satu skenario masalah yang paling sering kamu hadapi (misalnya debugging error kodinganmu sendiri), uji beberapa model secara objektif, dan catat perbandingan harganya. Desainlah proyekmu secara luas di kepala, tapi eksekusi secara sempit dan tajam pada hal yang paling esensial.

Yuk, siapkan CV dan portofolio terbaikmu sekarang! Dunia teknologi bergerak super cepat, dan kemampuanmu mengoptimalkan cost-efficiency penggunaan AI akan jadi nilai plus yang luar biasa di mata recruiter industri tech!