Cara Cek Robots.txt yang Blokir Crawler AI dan Bisa Menutup Produkmu dari Belanja AI

Untuk cek apakah robots.txt memblokir crawler AI, buka domainmu.com/robots.txt, cari aturan untuk bot pencarian AI seperti OAI-SearchBot dan Claude-SearchBot, lalu cek pengaturan bot di CDN atau hosting. Kalau bot pencarian itu kena Disallow: /, halaman produkmu berisiko tidak terbaca oleh fitur pencarian dan belanja di asisten AI.

Bagian dari playbook: Playbook SEO dan GEO di Era AI

Intinya:

• Crawler AI punya tugas yang berbeda: ada yang mengambil data untuk training, ada yang membangun indeks pencarian, dan ada yang membuka halaman atas permintaan pengguna.
• Kamu bisa memblokir bot training tanpa memblokir bot pencarian, karena keduanya diatur lewat nama user-agent yang terpisah.
• Robots.txt hanya satu lapisan, jadi pengaturan bot di CDN atau firewall juga perlu dicek.

Dua toko dengan niat yang sama, hasilnya beda

Coba kamu bayangin dua toko online kecil yang sama-sama jualan sambal botol. Ini contoh ilustrasi, ya.

Pemilik toko pertama menyalin template “blokir semua bot AI” dari sebuah forum. Alasannya masuk akal. Dia tidak mau deskripsi produk yang ditulis susah payah dipakai untuk melatih model AI. Template itu berisi daftar panjang nama bot, dan semuanya diberi Disallow: /.

Pemilik toko kedua juga keberatan kontennya dipakai untuk training. Bedanya, dia memisahkan bot training dari bot pencarian. Bot training ditolak, sedangkan bot pencarian boleh membaca halaman produk.

Lalu seseorang bertanya ke ChatGPT, “rekomendasi sambal botol buat oleh-oleh yang tahan lama”. Asisten AI menyusun jawaban dari halaman yang boleh dibacanya. Halaman toko pertama tidak bisa dipakai sebagai bahan jawaban pencarian. Toko kedua tetap punya peluang disebut, walaupun tidak ada jaminan.

Dua pemilik ini sama-sama ingin melindungi konten. Yang membedakan cuma satu hal: mereka tahu atau tidak bot mana yang mengerjakan apa.

Apa itu robots.txt dan kenapa crawler AI membacanya?

Robots.txt adalah file teks di root domain yang berisi aturan akses untuk crawler, dan aturannya disusun per nama bot. Standarnya dibakukan dalam RFC 9309. Ada lima sifat yang perlu kamu pahami:

Baca jugaSEO & GEOCara Cek Brand Kamu Muncul di ChatGPT atau Tidak, Pelajaran dari Peluncuran Contentstack Canoe

• Lokasinya tetap. File ini selalu dibaca dari domainmu.com/robots.txt di root domain.
• Disusun per grup. Setiap grup diawali baris User-agent yang berisi nama bot, lalu diikuti aturan Allow dan Disallow.
• Grup yang paling cocok yang dipakai. Bot mengikuti grup yang menyebut namanya. Grup User-agent: * hanya berlaku untuk bot yang tidak punya grup sendiri.
• Aturan terpanjang yang menang. Kalau Allow dan Disallow sama-sama cocok dengan satu URL, yang dipakai adalah aturan dengan path lebih panjang.
• Isinya berupa permintaan. RFC 9309 menyatakan aturan robots.txt tidak berfungsi sebagai otorisasi akses. Crawler yang patuh akan mengikutinya, tapi file ini sendiri tidak mengunci apa pun.

Crawler adalah program otomatis yang mengunjungi halaman web untuk mengambil isinya. Crawler AI adalah crawler milik perusahaan AI. Masing-masing punya nama user-agent yang bisa kamu tulis di robots.txt.

Kenapa blokir crawler AI bisa ikut menutup produkmu dari belanja AI?

Akar masalahnya ada di cara template blokir disusun. Banyak daftar “bot AI” mencampur tiga jenis pekerjaan, padahal efeknya bagi toko online sangat berbeda.

Tiga pekerjaan crawler AI yang sering dicampur

Berdasarkan dokumentasi resmi yang diperiksa Oktober 2026, pembagiannya seperti ini:

• Bot training mengumpulkan konten yang mungkin dipakai untuk melatih model. Contohnya GPTBot dari OpenAI, ClaudeBot dari Anthropic, dan token Google-Extended dari Google.
• Bot pencarian membangun indeks supaya situsmu bisa muncul di jawaban pencarian AI. Contohnya OAI-SearchBot dan Claude-SearchBot.
• Agen atas permintaan pengguna membuka halaman ketika seseorang meminta asisten AI mengecek sesuatu. Contohnya ChatGPT-User dan Claude-User.

Dokumentasi crawler OpenAI menyebut setiap pengaturan berdiri sendiri. Kamu bisa mengizinkan OAI-SearchBot supaya tampil di hasil pencarian, sambil menolak GPTBot untuk training. OpenAI juga menulis bahwa situs yang menolak OAI-SearchBot tidak ditampilkan di jawaban pencarian ChatGPT. Situs itu masih bisa muncul sebagai tautan navigasi.

Halaman bantuan Anthropic punya pola yang mirip. Menolak ClaudeBot memberi sinyal bahwa materi baru di situsmu sebaiknya dikeluarkan dari data training. Menolak Claude-SearchBot atau Claude-User bisa mengurangi visibilitas situsmu di hasil pencarian Claude.

Jadi kalau template kamu menulis Disallow: / untuk semua nama di atas, kamu menolak tiga hal sekaligus: training, indeks pencarian, dan kunjungan atas permintaan calon pembeli. Padahal bisa jadi yang ingin kamu tolak cuma training.

Bagaimana belanja AI membaca produkmu?

Asisten AI butuh data produk yang bisa dibaca, misalnya nama, harga, varian, stok, ulasan, dan kebijakan pengiriman. Data itu bisa berasal dari halaman yang dirayapi bot pencarian. Bisa juga berasal dari katalog terstruktur yang dikirim langsung oleh merchant.

Untuk jalur kedua, OpenAI punya Agentic Commerce Protocol. Agentic Commerce Protocol adalah standar terbuka yang membuat ChatGPT bisa menerima data katalog terstruktur dari merchant, lalu menampilkan produk yang relevan dalam percakapan. Ketersediaannya untuk merchant di Indonesia perlu kamu cek sendiri di dokumentasinya.

Untuk kebanyakan toko kecil, jalur yang paling terjangkau tetap jalur pertama, yaitu halaman produk yang terbuka bagi bot pencarian. Kalau jalur ini tertutup oleh robots.txt, sumber utama asisten AI untuk mengenal produkmu ikut tertutup.

Google-Extended punya jebakan sendiri

Dokumentasi crawler Google menyatakan Google-Extended tidak memengaruhi apakah situsmu masuk Google Search. Token ini juga tidak dipakai sebagai sinyal ranking. Artinya, menolak Google-Extended aman untuk SEO biasa.

Namun, token yang sama juga mengatur pemakaian kontenmu untuk grounding di aplikasi Gemini. Grounding adalah proses memberi model konten dari indeks pencarian saat pengguna bertanya, supaya jawabannya punya dasar sumber. Kalau kamu menolak Google-Extended, ikut pertimbangkan efek ini.

Dokumen yang sama juga mencatat bahwa aturan untuk Storebot-Google berlaku di semua permukaan Google Shopping. Kalau tokomu ikut Google Shopping, pastikan bot ini tidak ikut terblokir oleh template.

Lapisan yang sering terlupa: CDN dan firewall

Robots.txt bisa saja sudah benar, tapi bot tetap tertolak sebelum sampai ke situsmu. Banyak CDN dan layanan keamanan punya pengaturan blokir bot sendiri. Pengaturan ini bekerja sebelum permintaan bot sampai ke server.

Contohnya Cloudflare. Changelog Cloudflare tanggal 1 Juli 2026 menjelaskan bahwa trafik AI kini dibagi menjadi Search, Agent, dan Training yang bisa diatur terpisah. Mulai 15 September 2026, domain baru mendapat pengaturan default berikut: bot Training dan Agent diblokir di halaman yang menampilkan iklan, sedangkan Search tetap diizinkan.

Cloudflare juga punya fitur robots.txt terkelola. Fitur ini menambahkan isi buatan Cloudflare di atas robots.txt milikmu. Akibatnya, robots.txt yang kamu tulis di hosting bisa berbeda dengan versi yang benar-benar dilihat bot. Selalu cek versi publiknya lewat browser.

Kenapa ini penting untuk toko kecil dengan tim tipis?

Toko besar biasanya punya tim teknis yang rutin mengaudit robots.txt. Toko kecil sering mengatur file ini sekali saja, biasanya dari template plugin atau tema, lalu lupa.

Masalahnya, salah blokir tidak kelihatan di dashboard penjualan. Tidak akan ada notifikasi “produkmu tidak terbaca ChatGPT”. Kamu hanya kehilangan peluang yang memang tidak pernah kamu lihat.

Untuk tim tipis, cara yang paling hemat tenaga adalah memisahkan kebijakan menurut pekerjaan bot. Tentukan sekali sikapmu soal training dan sikapmu soal pencarian. Setelah itu, tulis aturannya per nama bot.

Kalau kamu menjual produk digital di situs sendiri, prinsipnya sama. Halaman penjualan untuk produk digital kecil yang benar-benar selesai baru membantu penjualan kalau bisa dibaca mesin yang dipakai pembeli untuk mencari.

Isi halamannya juga penting. Asisten AI mencocokkan pertanyaan pengguna dengan isi halaman. Karena itu, masuk akal kalau deskripsi produkmu memakai bahasa yang dekat dengan cara pembeli bertanya. Kamu bisa mulai dari kalimat asli pelanggan di komentar dan DM.

Jebakannya: kapan aturan ini tidak berlaku

• Kalau kamu jualan hanya di marketplace. Robots.txt situsmu tidak mengatur halaman produkmu di marketplace. Yang menentukan adalah kebijakan marketplace itu sendiri.
• Kalau tujuanmu melindungi data. Robots.txt hanya berisi permintaan. Halaman akun, data pelanggan, dan file berbayar perlu dilindungi dengan login atau pengaturan server.
• Kalau kamu mengira bot diizinkan berarti produk pasti muncul. Mengizinkan bot pencarian hanya membuka kesempatan untuk dibaca. Produkmu muncul atau tidak tetap ditentukan oleh sistem masing-masing platform.
• Kalau info produk baru muncul setelah JavaScript berjalan. Cek apakah nama, harga, dan stok sudah ada di HTML awal halaman. Kalau belum ada, bot yang tidak menjalankan JavaScript bisa gagal membacanya.
• Kalau bisnismu memang menjual konten. Misalnya kamu punya materi berbayar atau riset eksklusif. Memblokir bot pencarian di bagian itu adalah pilihan yang sah.
• Kalau kamu berharap agen pengguna selalu patuh. OpenAI menyatakan aturan robots.txt mungkin tidak berlaku untuk ChatGPT-User karena kunjungannya dipicu pengguna. Untuk mengatur kemunculan di pencarian, OpenAI mengarahkan pemilik situs ke OAI-SearchBot.

Cara cek robots.txt blokir crawler AI minggu ini

Langkah-langkah ini bisa kamu kerjakan sendiri tanpa developer. Kerjakan berurutan, karena setiap langkah memakai hasil langkah sebelumnya.

1. Buka robots.txt versi publik. Ketik domainmu.com/robots.txt di browser. Simpan salinannya sebelum mengubah apa pun.
2. Cari grup User-agent: *. Kalau isinya Disallow: /, semua bot yang tidak punya grup sendiri ditolak dari seluruh situs. Perbaiki ini lebih dulu.
3. Cari nama bot AI satu per satu. Pakai fitur pencarian di browser untuk GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, Google-Extended, dan Storebot-Google. Catat aturan masing-masing.
4. Kelompokkan bot menurut pekerjaannya. Tandai mana bot training, mana bot pencarian, dan mana agen pengguna. Lalu cek apakah aturannya sudah sesuai dengan sikap yang kamu pilih.
5. Cek path produk. Pastikan folder seperti /produk/ atau /collections/ tidak ikut kena Disallow. Halaman checkout dan akun boleh tetap ditutup.
6. Cek pengaturan bot di CDN atau hosting. Kalau kamu memakai Cloudflare, buka pengaturan trafik AI dan lihat status Search, Agent, dan Training. Kalau ingin produkmu terbaca, pastikan Search tidak diblokir.
7. Cek log server kalau tersedia. Cari nama user-agent seperti OAI-SearchBot. Kalau permintaannya dijawab dengan kode 403, berarti ada lapisan yang menolak bot itu.

Berikut contoh susunan yang menolak training dan tetap membuka pencarian. Sesuaikan path dengan struktur situsmu. Baris Google-Extended bersifat opsional, jadi ingat efek grounding yang dibahas di atas.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /
Disallow: /checkout/
Disallow: /akun/

User-agent: Claude-SearchBot
Allow: /
Disallow: /checkout/
Disallow: /akun/

User-agent: *
Disallow: /checkout/
Disallow: /akun/

Perhatikan bahwa bot pencarian di atas punya grup sendiri. Akibatnya, grup User-agent: * tidak berlaku untuk bot itu. Karena itu, aturan penutup checkout dan akun perlu ditulis ulang di setiap grup.

Setelah mengubah robots.txt, beri waktu. OpenAI menyebut sistem pencariannya butuh sekitar 24 jam untuk menyesuaikan diri dengan perubahan robots.txt. Anthropic juga mengingatkan bahwa blokir lewat IP saja bisa tidak bekerja dengan konsisten, karena bot jadi tidak bisa membaca robots.txt-mu.

Jadikan pengecekan ini rutinitas kecil. Ulangi setiap kali kamu mengganti tema, memasang plugin keamanan, atau mengubah pengaturan CDN.

Satu keputusan yang perlu kamu buat sendiri

Memblokir crawler AI adalah keputusan bisnis, dan keputusan bisnis butuh rincian. “Tolak training, buka pencarian” adalah sikap yang berbeda dari “tolak semua AI”. Robots.txt bisa membedakan keduanya, asal kamu menuliskannya per nama bot.

Kalau kamu ingin strategi visibilitas AI dan digital marketing yang disusun sesuai kondisi tokomu, kita bisa membahasnya lewat sesi konsultasi.