AI untuk Produktivitas & OperasionalPrompt & ChatGPT

Cara Uji Banding Gemini, Claude, dan ChatGPT Sebelum Pindah Model Andalan Bisnis

Cara Uji Banding Gemini, Claude, dan ChatGPT Sebelum Pindah Model Andalan Bisnis

Uji banding model AI dimulai dari tugas yang ingin dibantu, kriteria keberhasilan, dan batas data yang boleh digunakan. Bandingkan calon yang relevan dengan bahan serta kondisi yang dicatat. Lima tugas bisa menjadi penyaringan awal, tetapi belum membuktikan seluruh pekerjaan bisnis cocok dipindahkan ke model tersebut.

Coba kamu bayangin dua pemilik bisnis yang membaca kabar yang sama: “Model baru naik ke peringkat satu.”

Misalnya ada Rina, pemilik brand hijab di Bandung. Dia langsung pindah langganan dan memindahkan semua prompt timnya. Seminggu kemudian admin CS mengeluh. Balasan chat jadi panjang, penuh poin dan heading, padahal pelanggan bertanya lewat WhatsApp.

Lalu ada Dodi, pemilik jasa pembukuan UMKM di Semarang. Dia menyisihkan satu sore untuk menjalankan lima tugas rutinnya di tiga model. Hasilnya campur. Satu model unggul membaca tabel, model lain lebih rapi menulis email ke klien. Dodi akhirnya tetap di langganan lama dan menambah satu model untuk tugas analisis.

Kedua cerita itu ilustrasi. Ilustrasi ini menunjukkan perbedaan pertanyaan: peringkat umum dan kebutuhan tugas tertentu tidak selalu mengukur hal yang sama. Cerita tersebut bukan bukti hasil penggunaan ketiga penyedia.

Kenapa peringkat leaderboard belum tentu berlaku untuk bisnismu?

Leaderboard yang paling sering dikutip media adalah LMArena, dulu bernama Chatbot Arena. Cara kerjanya dijelaskan dalam makalah Chatbot Arena (Chiang dkk., Maret 2024). Pengunjung mengirim satu prompt, melihat dua jawaban dari model anonim, lalu memilih yang lebih baik. Ribuan suara itu diolah dengan model statistik Bradley-Terry menjadi skor peringkat, seperti dijelaskan di blog LMSYS Desember 2023.

Metodenya masuk akal untuk mengukur preferensi orang banyak. Masalahnya ada pada kata “orang banyak” itu. Ada empat sebab kenapa angka di papan peringkat bisa meleset dari kebutuhanmu.

Prompt yang dinilai berasal dari kebutuhan orang lain

Pengunjung LMArena menanyakan apa saja. Analisis topik LMSYS atas puluhan ribu prompt pengguna menunjukkan rentang yang lebar, dari role-play, menulis cerita, sampai pemrograman. Skor akhir adalah rata-rata dari campuran itu.

Bisnismu punya campuran yang jauh lebih sempit. Mungkin 60 persen pekerjaan AI di tim kamu adalah membalas pelanggan dalam bahasa Indonesia santai. Model yang unggul rata-rata belum tentu unggul di porsi terbesar pekerjaanmu.

Gaya jawaban ikut memengaruhi suara

Tim LMSYS sendiri menerbitkan analisis Does style matter? (Agustus 2024). Mereka mengontrol pengaruh panjang jawaban dan jumlah format markdown, seperti heading, teks tebal, dan daftar poin. Hasilnya, urutan sejumlah model ikut bergeser setelah faktor gaya itu dikendalikan.

Artinya jelas. Jawaban yang panjang dan tampak rapi cenderung lebih disukai pemilih. Untuk laporan, itu mungkin bagus. Untuk balasan WhatsApp ke pelanggan, gaya yang sama justru jadi beban edit.

Skor yang terlihat bisa sudah tersaring

Makalah The Leaderboard Illusion (Singh dkk., April 2025) mengkritik praktik di Chatbot Arena pada periode penelitiannya. Para peneliti menemukan pengujian privat yang tidak diungkap. Beberapa penyedia bisa menguji banyak varian sebelum rilis dan memilih skor mana yang ditampilkan. Menurut mereka, seleksi ini membuat skor publik bias.

Kebijakan platform bisa berubah sejak makalah itu terbit. Pelajarannya tetap berguna. Angka di leaderboard adalah hasil sebuah proses, dan setiap proses punya celah.

Selisih tipis jarang terasa di pekerjaan harian

LMSYS mencatat model baru dengan suara sedikit punya rentang kepercayaan (confidence interval) yang lebih lebar. Jadi selisih tipis antara peringkat satu dan tiga bisa berada di dalam ketidakpastian statistik. Di meja kerja, selisih seperti itu sering kalah penting dibanding hal sederhana. Contohnya, model mana yang paling jarang salah hitung saat membaca file penjualanmu.

Cara uji banding ChatGPT, Claude, dan Gemini dengan lima tugas nyata bisnis

Uji banding (sering disebut bake-off) adalah tes kecil yang adil. Tiga model mengerjakan tugas yang sama, dengan bahan yang sama, lalu dinilai dengan ukuran yang sama. Tujuannya melihat kandidat mana yang memenuhi kebutuhan pada kasus yang diuji, dengan biaya, waktu review, dan batas penggunaan yang dapat diterima. Tidak harus menguji tiga penyedia jika keputusanmu hanya melibatkan dua calon.

Baca jugaAI untuk Produktivitas & OperasionalCara Pakai ChatGPT di Slack dan Teams: Ini yang Wajib Diatur Pebisnis Sebelum Mengaktifkan

Langkah di bawah ini berurutan. Setiap langkah bergantung pada langkah sebelumnya.

Langkah 1: Tulis keputusan yang mau kamu ambil

Sebelum membuka satu pun aplikasi, tulis keputusannya dalam satu kalimat. Contohnya: “Apakah kami pindah dari langganan A ke B untuk tim CS dan konten?” Kalimat ini mencegah kamu terbawa fitur menarik yang tidak berhubungan dengan pekerjaan.

Tentukan juga bobot sejak awal. Kalau 70 persen pemakaian AI di tim kamu untuk CS, tugas CS harus berbobot paling besar. Bobot yang ditulis belakangan cenderung menyesuaikan diri dengan pemenang favoritmu.

Langkah 2: Pilih tugas yang mewakili keputusan

Gunakan catatan pekerjaan yang boleh diperiksa untuk memilih contoh yang relevan. Lima tugas adalah titik awal ilustratif, bukan jumlah yang selalu memadai. Kasus sintetis juga berguna untuk menguji data kosong, konflik, atau permintaan di luar cakupan, asalkan dilabeli dan memang mewakili kondisi yang ingin diuji.

Campurkan tiga jenis tugas:

  • Tugas bervolume tinggi, yang dikerjakan setiap hari.
  • Tugas bernilai tinggi, yang kesalahannya mahal.
  • Tugas yang sering gagal di model yang kamu pakai sekarang. Ini alasan utama kamu ingin pindah, jadi wajib ikut diuji.

Langkah 3: Siapkan bahan yang sama dan aman dibagikan

Periksa kelayakan alat dan izin penggunaan data sebelum mengunggah bahan, bukan setelah tes selesai. Gunakan kebijakan retur, contoh voice, tabel uji, atau catatan yang memang boleh diproses pada kandidat yang dibandingkan.

Penyamaran tidak otomatis memberi izin atau menghilangkan seluruh informasi privat. Bila perlu, buat bahan sintetis dengan pola masalah yang sama dan label yang jelas. Bekukan versi bahan untuk satu putaran agar perbedaan hasil tidak berasal dari file yang berubah.

Langkah 4: Catat kondisi dan bedakan dua jenis perbandingan

Untuk perbandingan dengan instruksi bersama, gunakan prompt dan bahan yang sama. Catat konteks tambahan yang aktif, seperti instruksi kustom, memori, alat, atau proyek. Sesi baru saja belum membuktikan seluruh pengaruh itu hilang. Jika suatu pengaturan tidak dapat diketahui atau disamakan, tulis sebagai batas tes. Kalau prompt lamamu penuh kebiasaan satu platform, rapikan dulu memakai prinsip prompt portable lintas Claude, ChatGPT, dan Gemini. Cara ini membantu menilai instruksi bersama. Jika keputusanmu menyangkut cara kerja nyata tim yang sudah disesuaikan per aplikasi, lakukan putaran terpisah dengan konfigurasi yang relevan dan catat usaha penyesuaiannya.

Catat tanggal, nama atau versi model yang terlihat, paket, mode, alat, dan konteks yang digunakan. Nama mode lintas penyedia belum tentu setara. Jelaskan apakah tes menilai model dengan kondisi yang diusahakan serupa atau keseluruhan aplikasi yang akan dipakai tim.

Ulangi kasus yang penting untuk melihat variasi hasil. Dua percobaan dapat menjadi awal, tetapi belum membuktikan konsistensi produksi. Simpan hasil yang buruk maupun baik; jangan memilih satu keluaran terbaik sebagai wakil seluruh kandidat.

Langkah 5: Nilai secara buta dengan rubrik

Salin semua jawaban ke satu dokumen. Minta rekan kerja menghapus identitas model dan memberi label A, B, C. Acak urutannya di setiap tugas. Ini membantu mengurangi pengaruh identitas penyedia, tetapi bukan jaminan bebas bias. Jika kamu menilai sendiri dan masih mengenali asal jawaban, catat bahwa penilaian tidak sepenuhnya buta.

Rubrik lengkapnya ada di bagian setelah contoh tugas. Yang penting di langkah ini: penilai adalah orang yang memakai hasilnya. Untuk tugas CS, libatkan admin CS. Untuk laporan keuangan, libatkan orang yang biasa memeriksa angka.

Langkah 6: Hitung waktu edit sampai siap pakai

Kualitas di layar dan kualitas setelah diedit sering berbeda. Catat berapa menit yang dibutuhkan untuk mengubah setiap jawaban sampai benar-benar siap dikirim atau dipakai. Catat juga waktu menunggu, biaya yang teramati, serta usaha menyiapkan dan memelihara alurnya. Hasil cepat yang gagal memenuhi syarat penting tetap tidak lolos.

Misalnya model A menulis jawaban yang memukau, lalu butuh sepuluh menit edit karena terlalu panjang. Model B tampil biasa saja, lalu cukup dua menit edit. Untuk tugas harian, model B yang menghemat waktu.

Contoh lima tugas uji untuk bisnis kecil di Indonesia

Contoh berikut ilustrasi untuk toko online skincare dengan tim tiga orang. Sesuaikan dengan pekerjaanmu sendiri.

  1. Membalas komplain di WhatsApp. Lampirkan kebijakan retur dan satu chat komplain asli yang sudah disamarkan. Periksa nada, panjang, dan kesesuaian dengan kebijakan. Janji pengembalian dana di luar kewenangan yang diberikan dicatat sebagai kegagalan penting, bukan hanya dikurangi skornya lalu ditutupi oleh nilai gaya yang tinggi.
  2. Membaca data penjualan. Gunakan tabel penjualan yang boleh diproses atau tabel sintetis, lalu minta tiga produk dengan penurunan pada periode yang ditentukan. Cocokkan dengan hitunganmu sendiri di spreadsheet. Angka yang salah lebih berbahaya dibanding jawaban yang lambat.
  3. Menulis caption promo sesuai brand voice. Lampirkan pedoman voice dan tiga caption lama yang kamu suka. Periksa kemiripan gaya dan pastikan tidak ada klaim produk yang dilarang untuk kosmetik.
  4. Merapikan catatan rapat menjadi SOP. Berikan catatan yang berantakan, lalu minta SOP bernomor. Kalau dokumen dan slide adalah pekerjaan rutinmu, bandingkan juga hasil filenya, seperti dibahas di panduan membuat dokumen dan slide di Claude.
  5. Membandingkan dua penawaran supplier. Berikan dua penawaran berbeda harga, minimum order, dan waktu kirim. Nilai apakah model menyebut asumsinya, menghitung dengan benar, dan bertanya saat data kurang.

Kelima tugas itu menguji kemampuan yang berbeda: nada, ketelitian angka, gaya, struktur, dan penalaran. Jika keputusan hanya menyangkut satu jenis tugas, beberapa variasi tugas tersebut justru relevan. Cakupan set uji mengikuti keputusan yang ingin diambil, bukan kewajiban mencakup semua kemampuan.

Tentukan syarat lolos sebelum menjumlahkan skor

Pisahkan syarat penting dari preferensi. Misalnya, hasil tidak boleh mengarang nominal, melanggar batas data, atau menjalankan tindakan yang tidak diizinkan. Kandidat yang gagal pada syarat penting tidak menjadi layak hanya karena tulisannya paling enak dibaca.

Untuk bagian yang memang dapat dinilai bertingkat, tulis patokan yang dapat diperiksa. Contoh skala sederhana:

  • 0: kebutuhan bagian itu belum terpenuhi; catat kesalahannya.
  • 1: sebagian terpenuhi tetapi memerlukan perbaikan yang disebutkan.
  • 2: memenuhi kriteria yang ditetapkan pada kasus ini.

Gunakan skala tersebut pada kriteria yang relevan, seperti mengikuti format atau memakai istilah brand. Untuk angka dan batas kewenangan, simpan temuan konkret serta keputusan lolos atau gagal. Waktu edit dicatat dalam durasi, bukan hanya diubah menjadi kesan “cepat”.

Jika menggunakan bobot, tetapkan sebelum melihat hasil. Simpan nilai per tugas dan kegagalan penting, bukan hanya total. Total yang lebih tinggi belum membuktikan semua tugas layak dipindahkan.

Contoh catatan hasil satu kasus

Kolom Isi yang dicatat
Kasus dan bahan ID kasus, versi file, serta pertanyaan yang diuji
Kondisi Tanggal, kandidat, paket, mode, konteks, dan alat yang diketahui
Syarat penting Misalnya tidak menambah nominal dan tidak menjanjikan refund di luar kebijakan
Temuan Kalimat atau hasil hitung yang memenuhi atau melanggar syarat
Beban kerja Waktu menunggu, waktu pemeriksaan, koreksi, dan biaya yang teramati
Keputusan Lolos untuk kasus ini, perlu perbaikan, atau tidak lolos; sertakan alasannya

Catatan ini memudahkan uji ulang. Jika bahan atau cara penilaiannya berubah, tandai versi baru agar hasil lama dan baru tidak dibandingkan seolah kondisinya identik.

Bolehkah AI dipakai untuk menilai jawaban AI?

Boleh, sebagai pendapat kedua. Makalah Judging LLM-as-a-Judge (Zheng dkk., 2023) menemukan model kuat bisa cukup sejalan dengan penilaian manusia. Makalah yang sama mencatat tiga bias: bias posisi, bias jawaban panjang, dan bias menilai jawaban sendiri lebih baik.

Kalau kamu memakai AI sebagai juri, tukar urutan jawaban lalu nilai ulang. Catat jika model menilai keluaran yang mungkin berasal dari dirinya sendiri. Pemeriksaan manusia tetap diperlukan untuk syarat penting dan temuan yang diperselisihkan; penilaian AI tambahan bukan pengganti bukti pada bahan tugas.

Membaca hasilnya: pindah, bertahan, atau pakai dua model

Setelah skor terkumpul, ada tiga kemungkinan keputusan.

Pindah atau uji coba terbatas dapat dipertimbangkan jika kandidat memenuhi syarat penting pada tugas yang relevan dan manfaatnya jelas dalam cakupan tes. Periksa migrasi, akses, biaya, dan pekerjaan yang belum teruji sebelum memperluas penggunaan. Kemenangan satu tugas tidak menjadi alasan memindahkan seluruh tim.

Bertahan masuk akal bila selisihnya tipis. Biaya pindah sering tidak terlihat di awal. Ada prompt tersimpan, asisten kustom, folder proyek, integrasi, dan kebiasaan tim yang harus dibangun ulang.

Memakai dua model bisa menjadi pilihan bila manfaat per tugas cukup berarti setelah biaya, pengelolaan akun, dan perpindahan data diperiksa. Satu model untuk CS dan konten, satu lagi untuk analisis angka. Ini berbeda dengan teknik menggabungkan jawaban ChatGPT, Claude, dan Gemini jadi satu rencana. Teknik dewan itu cocok untuk keputusan besar sesekali. Pembagian tugas cocok untuk pekerjaan rutin.

Periksa kelayakan data sebelum tes dan sebelum perpindahan

Hasil yang bagus tidak menggantikan izin memakai data. Pemeriksaan ini diperlukan sebelum bahan diunggah dan ditinjau lagi jika paket atau alur berubah. Ringkasan sumber yang sudah dicantumkan di artikel ini memberi konteks bertanggal; jangan memperlakukannya sebagai bukti pengaturan akun atau kebijakan terkini telah diperiksa:

  • Claude. Pengumuman pembaruan Consumer Terms Anthropic menyebut data akun Free, Pro, dan Max dipakai melatih model bila pengaturannya aktif. Retensi menjadi lima tahun bila diizinkan, dan tetap 30 hari bila tidak. Paket Team, Enterprise, dan API berada di bawah Commercial Terms yang tidak terkena perubahan ini.
  • Gemini. Gemini Apps Privacy Hub (diperbarui 26 Oktober 2026) meminta pengguna tidak memasukkan data rahasia bila Keep Activity aktif. Chat dengan Keep Activity mati atau chat sementara tetap disimpan 72 jam untuk keperluan respons dan keamanan.
  • ChatGPT. Halaman kebijakan pemakaian data OpenAI menjelaskan pengaturan “Improve the model for everyone” untuk paket pribadi. Halaman enterprise privacy menyebut data ChatGPT Business, Enterprise, dan API tidak dipakai untuk pelatihan secara default.

Kalau tim kamu memproses data pelanggan, perbandingan paket bisnis bisa lebih menentukan daripada selisih kualitas jawaban.

Jebakan yang bikin uji banding kamu menyesatkan

Uji banding kecil punya batas. Kenali jebakannya supaya kesimpulanmu tidak lebih yakin dari datanya.

  • Membandingkan tier yang berbeda. Paket gratis bisa memakai model atau batas pemakaian yang berbeda dari paket berbayar. Uji tier yang memang akan kamu bayar.
  • Mencampur model dan aplikasi. Fitur unggah file, pencarian web, dan konektor ikut memengaruhi hasil. Putuskan dulu apakah kamu menilai modelnya atau keseluruhan aplikasinya untuk kerja tim.
  • Mencampur tujuan tes. Putaran prompt bersama dan putaran workflow yang dioptimalkan menjawab pertanyaan berbeda. Catat keduanya secara terpisah, termasuk waktu penyesuaiannya.
  • Menguji sekali lalu percaya. Jalankan ulang, terutama untuk tugas angka.
  • Terpukau jawaban panjang. Ingat temuan soal gaya tadi. Panjang dan rapi belum tentu siap pakai.

Ada juga kondisi ketika metode lima tugas ini kurang tepat:

  • Pemakaian AI kamu ringan dan sesekali. Selisih antar model mungkin tidak sebanding dengan waktu yang kamu habiskan untuk menguji.
  • Kamu membangun otomasi lewat API dengan volume besar. Lima tugas cukup untuk menyaring calon. Keputusan produksi butuh set uji yang jauh lebih besar dan pengukuran biaya per pemanggilan.
  • Perusahaan sudah terikat kontrak enterprise atau aturan data internal. Pilihan model mungkin sudah dibatasi kebijakan. Uji banding tetap berguna untuk memilih model di dalam batas itu.

Langkah yang bisa kamu mulai minggu ini

Kamu tidak perlu menunggu model baru rilis untuk memulai. Siapkan set uji sekarang, supaya saat kabar “peringkat satu” berikutnya datang, kamu tinggal menjalankannya.

Baca jugaAI untuk Produktivitas & OperasionalCara Mengunci Chat ChatGPT dengan Locked Chats: Fungsi, Batas, dan Aturan untuk Tim Bisnis

  1. Tulis satu kalimat keputusan dan bobot tiap jenis tugas.
  2. Pilih kasus yang relevan, termasuk kegagalan dan kondisi tepi; lima tugas hanya contoh awal.
  3. Pastikan bahan boleh dipakai pada kandidat sebelum diunggah; gunakan bahan sintetis jika diperlukan.
  4. Rapikan prompt agar netral untuk ketiga model.
  5. Catat konfigurasi dan ulangi kasus penting; nilai tanpa identitas penyedia jika memungkinkan, dengan keterbatasannya dicatat.
  6. Periksa syarat penting, waktu edit, biaya, dan kelayakan alur perpindahan, bukan hanya skor gabungan.
  7. Simpan dokumen skor sebagai patokan untuk uji berikutnya.

Leaderboard dapat menjadi bahan menyusun calon. Uji tugas memberi bukti yang lebih dekat dengan pekerjaanmu, tetapi kesimpulannya tetap dibatasi kasus dan kondisi yang dicoba. Gunakan hasil itu untuk menentukan langkah berikutnya, bukan menyatakan satu model unggul untuk semua kebutuhan.

Kalau kamu ingin set uji dan pembagian tugas AI ini dirancang sesuai alur kerja tim, kita bisa membahasnya lewat sesi konsultasi.

Pertanyaan yang sering muncul

Apakah saya harus berlangganan ketiga AI untuk melakukan uji banding?

Tidak. Pilih kandidat yang relevan dengan keputusanmu. Jika memakai paket gratis untuk penyaringan, catat model dan batas yang terlihat. Sebelum memutuskan perpindahan, uji kondisi yang memang akan digunakan tim dan periksa biaya serta kelayakan datanya.

Seberapa sering uji banding model AI perlu diulang?

Ulangi saat perubahan model, paket, aturan data, atau kebutuhan kerja memengaruhi keputusan. Pertahankan kasus dan kriteria yang masih relevan agar dapat dibandingkan, lalu tambahkan kasus baru dengan versi yang jelas. Lima tugas dan dua percobaan bukan jaminan seluruh penggunaan produksi sudah tercakup.

Artikel terkait