Cara Bikin Checklist Evaluasi Prompt AI Sendiri Biar Gak Nebak-Nebak Lagi

Cara bikin checklist evaluasi prompt AI dimulai dengan menulis kriteria “hasil yang layak dipakai” dalam bentuk pertanyaan ya/tidak atau skor bertingkat, lalu menilai setiap output dengan daftar yang sama. Begitu ada item yang gagal, kamu tahu bagian prompt mana yang perlu diperbaiki, lalu kamu tes ulang dengan input yang sama.

Bagian dari playbook: Playbook Prompt ChatGPT

Intinya:

• Checklist evaluasi prompt mengubah rasa “kok kurang sreg ya” menjadi kriteria tertulis yang bisa dicentang.
• Setiap item yang gagal menunjuk ke satu bagian prompt, jadi perbaikannya terarah.
• Tes ulang selalu memakai set input yang sama, supaya kamu tahu perubahan prompt benar-benar membantu.

Coba kamu bayangin dua operator solo yang sama-sama jualan template digital. Tiap minggu mereka butuh puluhan caption dan deskripsi produk dari AI.

Operator pertama, misalnya, menekan regenerate sampai ada hasil yang “rasanya enak”. Minggu depan dia pakai prompt yang sama, hasilnya meleset lagi. Dia tidak tahu kenapa, jadi dia regenerate lagi. Lama-lama yang capek justru kepalanya.

Operator kedua punya enam pertanyaan di catatan. Satu output gagal di item “CTA menyebut langkah yang spesifik”. Dia langsung tahu masalahnya ada di instruksi CTA. Dia ubah satu baris, lalu menjalankan ulang prompt ke lima input yang sama. Selesai, dan perbaikannya terbawa ke minggu-minggu berikutnya.

Bedanya ada di cara menilai. Operator kedua bekerja seperti programmer yang debug: cari dulu bagian yang error, perbaiki, lalu tes ulang.

Kenapa regenerate terus bikin kamu muter-muter di tempat?

Ada beberapa mekanisme yang bekerja diam-diam di balik kebiasaan regenerate.

• Output AI memang berubah-ubah. Panduan evaluasi dari OpenAI menyebut sistem AI bersifat nondeterministik. Artinya, satu hasil bagus setelah regenerate bisa saja kebetulan.
• Prompt-nya tidak berubah. Regenerate cuma mengocok ulang hasil. Kelemahan yang sama akan muncul lagi di pemakaian berikutnya.
• Standar kamu ikut bergeser. Pagi kamu teliti, malam kamu lelah. Tanpa kriteria tertulis, yang terpilih sering versi yang terasa paling segar saat itu.
• Feedback kabur tidak bisa diperbaiki. “Kurang nendang” tidak memberi tahu bagian mana yang salah. Konteksnya kurang? Contohnya salah? Formatnya meleset?

OpenAI bahkan mencatat “vibe-based evals” sebagai anti-pattern. Maksudnya, menilai dengan perasaan “kayaknya sudah jalan” tanpa tes yang terstruktur.

Apa itu checklist evaluasi prompt?

Checklist evaluasi prompt adalah daftar kriteria tertulis untuk menilai output AI dengan standar yang sama setiap kali. Dengan begitu, kualitas antar versi prompt bisa dibandingkan secara adil.

Baca jugaAI untuk Produktivitas & OperasionalBiar Chat Lama di Claude/ChatGPT Gak Ilang, Cara Susun Jadi Arsip yang Bisa Dicari Lagi

Checklist yang berguna punya lima ciri:

1. Spesifik dan bisa dicek. “Menyebut masalah audiens di kalimat pertama” bisa dicek. “Menarik” tidak bisa dicek.
2. Skalanya sederhana. Pakai lulus/gagal, atau skor 1 sampai 5 dengan deskripsi tiap level.
3. Ada item wajib. Beberapa kriteria berfungsi sebagai gerbang. Gagal satu, output tidak dipakai.
4. Terhubung ke komponen prompt. Setiap item punya “tersangka” di dalam prompt.
5. Dipakai pada set uji yang tetap. Input yang sama, supaya perbandingannya adil.

Dokumentasi Anthropic tentang kriteria sukses dan evaluasi menganjurkan kriteria yang spesifik, terukur, realistis dan relevan. Dokumen yang sama menyarankan kriteria multidimensi, karena satu tugas biasanya punya beberapa sisi kualitas. Penilaian yang murni kualitatif disebut sulit dilakukan dengan cepat dan dalam jumlah besar.

Kriteria sukses: tulis dulu sebelum melihat hasil

Kriteria sukses adalah gambaran tertulis tentang output yang layak dipakai, dirumuskan sebelum kamu membaca hasil AI. Urutannya penting. Kalau kriteria ditulis setelah membaca hasil, kamu cenderung menyesuaikan standar dengan apa yang muncul.

Ini nyambung dengan kebiasaan menentukan keputusan sebelum menulis prompt. Keputusan yang kamu ambil di awal, misalnya audiens, sudut pandang dan batas klaim, otomatis jadi bahan item checklist.

Lulus/gagal atau skor 1 sampai 5, pilih yang mana?

Pakai dua-duanya, untuk jenis kriteria yang berbeda.

• Lulus/gagal untuk aturan keras. Contohnya panjang teks, ada atau tidaknya CTA, dan tidak ada klaim yang tidak ada di brief.
• Skor 1 sampai 5 untuk hal bernuansa. Contohnya ketajaman pain point, kecocokan voice, dan kenaturalan bahasa.

Untuk skor bertingkat, tulis minimal arti angka 1, 3 dan 5. Tanpa deskripsi itu, angka 4 hari ini bisa jadi angka 3 besok.

Set uji: input yang sama untuk setiap versi prompt

Set uji adalah kumpulan input tetap yang kamu jalankan ulang setiap kali prompt diubah. Misalnya lima brief produk yang mewakili pekerjaan harianmu.

Masukkan juga kasus sulit. Anthropic mencontohkan input yang tidak relevan atau kosong, input yang terlalu panjang, dan kasus ambigu yang bahkan manusia sulit sepakati. Dalam konteks produk digital, kasus sulit bisa berupa brief yang datanya kurang atau produk yang manfaatnya susah dijelaskan.

Panduan OpenAI juga menyarankan mencatat semua hasil, lalu menggali catatan itu untuk menemukan kasus uji baru. Set uji kamu boleh bertambah seiring waktu.

Cara debug prompt pakai checklist, langkah demi langkah

Polanya meniru programmer: reproduksi masalah, isolasi penyebab, perbaiki satu hal, lalu tes ulang.

1. Jalankan prompt ke seluruh set uji. Simpan semua output, termasuk yang jelek.
2. Nilai setiap output dengan checklist. Catat item yang gagal per output.
3. Cari pola kegagalan. Item yang gagal berulang di banyak input adalah masalah prompt. Item yang gagal sekali bisa jadi variasi biasa.
4. Petakan kegagalan ke komponen prompt.
   • Detail produk salah atau dikarang: konteks dan data input kurang lengkap.
   • Salah sasaran audiens: instruksi tentang audiens belum jelas.
   • Panjang atau format meleset: spesifikasi format output kurang tegas.
   • Voice terasa asing: contoh gaya kurang, atau contohnya saling bertabrakan.
   • Muncul janji berlebihan: batasan belum ditulis eksplisit.
5. Ubah satu komponen saja. Kalau kamu mengubah tiga hal sekaligus, kamu tidak tahu mana yang berpengaruh.
6. Jalankan ulang set uji yang sama. Bandingkan hasilnya. Cek juga item yang tadinya lulus, karena perbaikan di satu sisi bisa merusak sisi lain.
7. Catat versi prompt dan hasilnya. Catatan ini mencegah kamu mengulang eksperimen yang sudah pernah gagal.

Contoh checklist untuk caption jualan produk digital

Ini ilustrasi. Sesuaikan dengan produk dan brand kamu.

Item wajib (lulus/gagal):

• Nama produk dan isi yang didapat pembeli sesuai brief.
• Tidak ada janji hasil atau angka yang tidak tercantum di brief.
• Panjang teks sesuai batas yang kamu tetapkan.
• Ada satu ajakan bertindak yang jelas.

Item bernilai (skor 1 sampai 5):

• Kalimat pembuka menyebut masalah audiens. Skor 1 berarti generik, 3 berarti menyebut masalah secara umum, 5 berarti situasinya langsung dikenali pembaca.
• Voice sesuai brand.
• Bahasa Indonesia terdengar natural saat dibaca keras.

Aturannya sederhana. Kalau satu item wajib gagal, output tidak dipakai, setinggi apa pun skor item lainnya.

Boleh nggak AI yang menilai hasil AI?

Boleh, dengan syarat. LLM-as-a-judge adalah cara memakai model AI untuk menilai output AI lain berdasarkan rubrik yang kamu berikan.

Anthropic menyebut cara ini cepat, fleksibel dan cocok untuk penilaian yang kompleks, asalkan keandalannya diuji dulu. OpenAI mencatat dua bias yang perlu diwaspadai. Ada bias posisi, yaitu terpengaruh urutan jawaban. Ada juga bias verbositas, yaitu cenderung memilih jawaban yang lebih panjang.

Cara praktisnya begini:

• Nilai sendiri sekumpulan output dulu, misalnya sepuluh.
• Minta AI menilai output yang sama dengan checklist yang sama.
• Bandingkan hasilnya. Kalau sering berbeda, rubriknya yang perlu diperjelas.
• Utamakan format lulus/gagal atau perbandingan dua jawaban. OpenAI menyebut keduanya lebih andal untuk penilai berbasis AI.

Kenapa ini penting buat operator solo dan tim tipis

Di bisnis kecil, kamu sering jadi penulis prompt, editor dan pengambil keputusan sekaligus. Checklist membantu di beberapa titik.

• Energi menilai jadi lebih hemat. Kamu berhenti bertanya “bagus nggak ya” ratusan kali. Kamu cukup mengecek kriteria.
• Standar bisa diwariskan. Freelancer atau admin bisa menilai output dengan standar kamu. Checklist ini cocok disatukan dengan SOP bisnis yang kamu susun bareng AI.
• Prompt dan standarnya tersimpan bersama. Kalau kamu sudah menyusun skill AI milikmu sendiri, taruh checklist di samping instruksinya. Siapa pun yang memakai skill itu tahu seperti apa hasil yang diterima.
• Ganti model jadi lebih tenang. Saat model AI diperbarui atau kamu pindah alat, jalankan set uji yang sama. Kamu bisa melihat apa yang berubah tanpa menebak.

Jebakannya: kapan checklist justru menyesatkan

Checklist adalah alat ukur. Seperti alat ukur lain, dia bisa salah dipakai.

• Tugas sekali jalan. Untuk satu email yang tidak akan diulang, menyusun checklist itu berlebihan. Checklist berguna untuk prompt yang kamu pakai berulang.
• Checklist terlalu panjang. Daftar yang terlalu panjang akhirnya ditinggalkan. Mulai dari lima sampai tujuh item, lalu tambah hanya kalau ada kegagalan baru yang berulang.
• Kriteria kabur. Item seperti “menarik” atau “profesional” membawamu kembali ke feeling. Ubah jadi perilaku yang bisa dilihat di teks.
• Set uji tidak mewakili kenyataan. Kalau input uji terlalu mudah, skor tinggi tidak berarti apa-apa di pekerjaan nyata.
• Skor tinggi dianggap pasti laku. Checklist mengukur kualitas yang kamu definisikan sendiri. Respons audiens dan data penjualan tetap hakim terakhirnya. Kalau keduanya tidak sejalan, perbarui kriterianya.
• Fase eksplorasi ide. Saat mencari ide liar, checklist yang ketat bisa membuat semua hasil seragam. Biarkan eksplorasi bebas dulu, lalu pakai checklist di tahap seleksi.

Langkah yang bisa kamu mulai minggu ini

1. Pilih satu prompt yang paling sering kamu pakai.
2. Ambil beberapa output yang terakhir kamu tolak. Tulis alasan penolakannya dalam satu kalimat per output.
3. Ubah setiap alasan menjadi pertanyaan lulus/gagal atau skor bertingkat dengan deskripsi.
4. Siapkan lima input uji, dan pastikan satu di antaranya kasus yang sulit.
5. Jalankan, nilai, ubah satu komponen prompt, lalu jalankan ulang.
6. Simpan checklist dan catatan versinya di tempat yang sama dengan prompt.

Regenerate itu seperti melempar dadu lagi. Checklist membantumu membaca kenapa dadunya jatuh di situ, lalu memperbaiki prompt-nya.

Kalau kamu ingin dibimbing menyusun sistem seperti ini untuk bisnismu, mulai dari prompt, checklist, sampai alur kerja produk digital, kamu bisa lihat program mentoring AI.