Apakah AI Agent Bisa Dipercaya Melayani Pembeli? Pelajaran dari Benchmark Belanja AI Visa

AI agent belum bisa dipercaya penuh untuk melayani pembeli tanpa pengawasan. Benchmark belanja AI yang dirilis Visa pada 5 November 2026 menemukan model AI gagal di 42,8% uji, dan sekitar separuh kegagalan itu tetap berakhir dengan pembelian.

Bagian dari playbook: Playbook AI untuk Digital Marketing

Intinya:

• Agen AI paling sering salah ketika gagal menggali kebutuhan pembeli yang belum diucapkan.
• Model yang sama bisa lulus di satu percobaan lalu gagal saat skenarionya diulang.
• Bisnis yang memakai chatbot jualan perlu pertanyaan kualifikasi, data produk lengkap, dan jalur eskalasi ke manusia.

Misalnya kamu jualan air purifier lewat toko online dan WhatsApp. Seorang pembeli menulis, “Cari yang buat kamar anak, ya.” Chatbot AI kamu langsung menyarankan unit terlaris tanpa menanyakan luas kamar. Unitnya ternyata terlalu kecil untuk ruangan itu. Pembeli kecewa, minta retur, lalu menulis ulasan buruk. Masalahnya ada pada pertanyaan yang tidak pernah diajukan.

Apa itu agentic commerce dan apa yang diuji Visa?

Agentic commerce adalah aktivitas belanja ketika agen AI membantu atau mewakili pembeli, mulai dari menggali kebutuhan sampai memutuskan beli atau tidak. Atribut utamanya bisa dirinci begini:

• Agen menggali kebutuhan lewat percakapan dengan pembeli.
• Agen mencocokkan kebutuhan itu dengan spesifikasi produk yang tersedia.
• Agen boleh memutuskan tidak membeli bila tidak ada produk yang cocok.
• Pada tahap lanjut, agen bisa ikut menangani checkout dan pembayaran.

Visa Agentic Commerce Benchmark adalah tolok ukur yang menguji kemampuan model AI menjalani skenario belanja yang realistis. Putaran pertama melibatkan 22 model dari 12 lab AI. Setiap model menghadapi 15 tantangan belanja, misalnya membeli TV, laptop, atau alat perawatan diri.

Syarat lulusnya ketat. Model harus menemukan setiap kebutuhan pelanggan yang ditetapkan dalam tugas. Model juga harus mengambil keputusan beli atau tidak beli yang benar. Setiap model mendapat tiga percobaan untuk setiap skenario.

Kenapa agen AI sering salah saat melayani pembeli?

Visa menjelaskan akar masalahnya dengan sederhana. Pembeli sering belum tahu persis apa yang mereka mau di awal. Mereka tahu ingin TV, tapi belum tahu semua spesifikasi yang dibutuhkan.

Baca jugaAI untuk Digital MarketingBisakah Persona AI Menggantikan Riset Pelanggan? Pelajaran dari Peluncuran Listen Twins

Faktor beli tersembunyi adalah syarat penting yang belum diucapkan pembeli, seperti anggaran, kompatibilitas, atau kebiasaan pemakaian. Dalam skenario TV versi Visa, AI harus menggali anggaran, kompatibilitas format, dukungan HDR10+ untuk video keluarga, dan kebutuhan gaming.

Hasil putaran pertama yang dilaporkan Visa:

• Rata-rata tingkat lulus semua model 57,2%. Model terbaik lulus 82,2% dan model terburuk 28,9%.
• Lima model yang paling banyak menggali faktor tersembunyi rata-rata lulus 70,2%.
• Lima model yang paling sedikit menggalinya hanya lulus 44,4%.
• Lima model dengan biaya per percobaan tertinggi lulus 67,1%, sedangkan lima termurah lulus 50,2%.
• Ketiga percobaan pada skenario yang sama lulus semua hanya di 34,2% kasus.
• Sekitar 54% percobaan yang gagal tetap berakhir dengan AI melakukan pembelian.

Bertanya lebih penting daripada menjawab cepat

Pola paling jelas dari data itu sederhana. Model yang rajin bertanya lebih sering lulus. Ini sama dengan penjual manusia yang bagus, yang menggali kebutuhan dulu sebelum menyodorkan produk.

Konsistensi lebih sulit daripada kemampuan

Angka 34,2% itu yang paling perlu kamu perhatikan. Model yang lulus sekali bisa gagal saat skenario yang sama diulang. Di bisnis, pelanggan menilai dari pengalaman yang berulang setiap hari.

Gagal yang paling mahal adalah gagal yang tetap membeli

Kalau AI ragu lalu tidak membeli, kerugiannya hanya satu transaksi tertunda. Kalau AI salah lalu tetap membeli, muncul retur, komplain, dan rasa tidak percaya. Kategori kedua ini yang menurut saya paling perlu dijaga pebisnis.

Kenapa ini penting untuk bisnis kecil di Indonesia?

Benchmark Visa menguji model AI di skenario belanja konsumen. Pembacaan saya untuk pebisnis ada dua sisi.

Sisi pertama berlaku kalau kamu memasang chatbot atau agen AI untuk melayani calon pembeli. Bot itu akan menghadapi masalah yang sama. Pembeli datang dengan kebutuhan setengah jelas, dan bot cenderung langsung merekomendasikan.

Sisi kedua berlaku kalau pembeli datang lewat asisten AI pihak ketiga. Kamu tidak mengendalikan cara agen itu bertanya. Kamu hanya mengendalikan seberapa jelas informasi produkmu untuk dicocokkan.

Untuk tim tipis, ada tiga pertimbangan praktis:

1. Pertanyaan kualifikasi adalah daftar pertanyaan wajib untuk menggali kebutuhan sebelum merekomendasikan produk. Daftar ini paling mudah disusun dari riwayat komplain dan retur. Kalau kamu belum punya gambaran pembeli, mulai dari riset persona pelanggan sebelum menyusun konten.
2. Halaman produk perlu menyebut syarat yang biasanya tidak ditanyakan. Contohnya luas ruangan, ukuran, kompatibilitas, atau batas pemakaian. Bagian “cocok untuk” dan “kurang cocok untuk” membantu manusia maupun agen AI mencocokkan produk.
3. AI perlu izin eksplisit untuk menjawab “belum ada yang cocok”. Bot yang dipaksa selalu menjual akan mengulang pola 54% tadi.

Soal kepercayaan, Visa juga mengutip Trust Index miliknya dari September 2026. Survei itu menemukan 72% konsumen Amerika Serikat pernah memakai asisten AI. Hanya 23% yang memercayai AI untuk menangani transaksi pembayaran atas nama mereka. Data itu berasal dari Amerika Serikat, jadi perlakukan sebagai sinyal arah.

Jebakannya: kapan pelajaran ini tidak berlaku penuh

• Produk dengan satu varian dan sedikit pilihan punya faktor tersembunyi yang sedikit. Bot sederhana sering sudah cukup untuk produk seperti itu.
• Benchmark ini menguji model umum. Chatbot kamu yang memakai basis pengetahuan dan aturan sendiri bisa berperilaku berbeda, lebih baik atau lebih buruk.
• Putaran pertama belum menguji checkout, pembayaran, dan penempatan order. Visa menyatakan pengujian akan diperluas ke tahap itu.
• Model mahal memang lulus lebih sering, tetapi 67,1% masih menyisakan banyak kegagalan. Upgrade model tanpa memperbaiki pertanyaan dan data produk tidak menutup celahnya.

Prinsipnya mirip dengan memakai AI untuk iklan. Saat Claude dihubungkan ke data iklan lewat Supermetrics, titik persetujuan manusia tetap diperlukan. Agen yang melayani pembeli juga butuh titik pemeriksaan serupa.

Cara cek kesiapan chatbot jualan kamu minggu ini

Uji konsistensi chatbot adalah cara menjalankan skenario pembeli yang sama beberapa kali untuk melihat apakah jawabannya tetap benar. Ini langkah yang bisa kamu kerjakan tanpa tim teknis besar:

1. Pilih tiga produk terlaris yang paling sering memicu pertanyaan atau retur.
2. Tulis tiga sampai lima syarat yang paling sering membuat pembeli salah pilih.
3. Ubah syarat itu menjadi pertanyaan wajib di instruksi chatbot dan SOP tim CS.
4. Tambahkan bagian “cocok untuk” dan “kurang cocok untuk” di halaman produk.
5. Jalankan satu skenario pembeli yang samar sebanyak tiga kali. Catat apakah bot bertanya dulu dan apakah jawabannya konsisten.
6. Tetapkan aturan eskalasi, misalnya bot menyerahkan ke admin saat pembeli menyebut kondisi khusus.

Kalau penasaran dengan cara Visa menguji, benchmark ini terbuka untuk dicoba di Visa Payments Frontier. Kamu bisa melihat rekaman percobaan AI di sana. Pola gagalnya berguna sebagai bahan uji chatbot sendiri.

Agen AI yang baik bertanya dulu sebelum menjual. Standar yang sama layak kamu pasang untuk tim CS manusia. Kalau kamu ingin merancang alur chatbot jualan dan aturan eskalasi yang pas untuk bisnismu, kita bisa membahasnya lewat sesi konsultasi.