Halo, Sobat Kampus! Buat kalian yang lagi sibuk ngerjain skripsi, riset AI, atau sekadar penasaran dengan dunia Machine Learning, proses fine-tuning Large Language Models (LLM) pasti jadi salah satu topik yang panas banget dibahas belakangan ini. Di dunia open source saat ini, ada empat proyek utama yang mendominasi skena fine-tuning LLM, yaitu Unsloth, Axolotl, TRL, dan LLaMA-Factory. Keempatnya sebenarnya sama-sama membungkus stack PyTorch dan Hugging Face di balik layar, tapi mereka punya fokus dan pendekatan engineering yang beda jauh!

Sebagai mahasiswa IT atau peneliti muda, memilih framework yang tepat bisa menghemat waktu eksperimen, efisiensi VRAM GPU, dan tentu saja bikin dompet nggak jebol kalau harus sewa cloud GPU. Mari kita bedah satu per satu perbedaan dari keempat framework andalan ini berdasarkan tiga aspek penting: training throughput (kecepatan pelatihan), puncak penggunaan VRAM, dan kemampuan multi-GPU scaling.

Mengenal Lebih Dekat 4 Pemain Utama Fine-Tuning LLM

Sebelum kita bandingkan performanya, kita harus paham dulu apa keunggulan unik dari masing-masing framework ini agar sesuai dengan kebutuhan riset atau tugas kuliahmu:

  • TRL (Transformer Reinforcement Learning): Ini adalah lapisan implementasi referensi utama. TRL menyediakan berbagai API trainer handal seperti SFTTrainer, DPOTrainer, GRPOTrainer, KTOTrainer, RewardTrainer, dan RLOOTrainer yang sering dipanggil oleh framework lain seperti Axolotl dan LLaMA-Factory. Rilis stabil saat ini berada di versi v1.8.0.
  • Unsloth: Kalau kamu butuh kecepatan maksimal dan hemat VRAM, Unsloth adalah rajanya. Framework ini menulis ulang bagian kode modeling menggunakan hand-written Triton kernels. Langkah backpropagation diturunkan secara manual alih-alih di-generate oleh autograd. Hebatnya lagi, laporan resmi Hugging Face mencatat degradasi akurasi 0% dibandingkan standar QLoRA karena tidak ada pendekatan aproksimasi yang dimasukkan.
  • Axolotl: Framework ini hadir sebagai wrapper berbasis YAML di atas Transformers, PEFT, TRL, Accelerate, dan DeepSpeed. Keunggulan utamanya bukan di kernel work, melainkan fleksibilitas dan komosabilitas strategi parallelism yang sangat mendalam.
  • LLaMA-Factory: Pernah masuk dalam makalah demonstrasi sistem ACL 2024, LLaMA-Factory menawarkan Gradio web UI keren bernama LlamaBoard. Repositorinya sangat masif, mencakup lebih dari 100 LLM dan VLM, serta sangat cocok buat kamu yang mau zero-code operation alias tinggal klik-klik lewat web UI tanpa pusing nulis kode dari nol.

Worth It Gak Buat Mahasiswa?

Buat mahasiswa yang punya keterbatasan anggaran riset dan spesifikasi laptop atau akses cloud GPU (seperti Google Colab gratisan), pemilihan framework ini sangat krusial:

  • Kelebihan Unsloth: Sangat worth it buat mahasiswa yang punya VRAM terbatas (misalnya pakai GPU T4 di Google Colab) karena sangat irit VRAM dan proses training jauh lebih cepat tanpa ngorbanin akurasi model.
  • Kekurangan Unsloth: Dukungan arsitektur model tidak seluas LLaMA-Factory dan sangat bergantung pada modifikasi kernel Triton yang spesifik.
  • Kelebihan LLaMA-Factory: Paling ramah buat pemula atau mahasiswa yang mau eksperimen cepat tanpa ribet ngoding konfigurasi yang rumit berkat adanya LlamaBoard UI dan dukungan 100+ model.
  • Kekurangan LLaMA-Factory: Karena mencakup banyak hal, terkadang kustomisasi tingkat lanjut membutuhkan pemahaman ekstra pada file konfigurasinya.
  • Kelebihan TRL: Menjadi pondasi standar industri, sangat bagus dipelajari kalau kamu ingin paham deep-dive cara kerja reinforcement learning pada LLM.
  • Kekurangan TRL: Butuh usaha lebih banyak untuk menulis kode boilerplate sendiri dibandingkan langsung pakai LLaMA-Factory atau Unsloth.

Kesimpulannya, jika kamu ingin eksperimen cepat dengan antarmuka visual yang mudah diakses dari browser, gunakan LLaMA-Factory. Namun, jika kamu sedang berkejaran dengan tenggat waktu skripsi dan butuh kecepatan latihan maksimal dengan keterbatasan VRAM GPU, Unsloth adalah pilihan terbaik yang wajib dicoba.