Mulai 2027, Anda dapat menolak training AI dari beberapa penyedia sekaligus dengan 1 grup di robots.txt: User-Agent: __usage_ai-training lalu Disallow: /. Google, Microsoft Bing, OpenAI, dan Anthropic mengumumkan dukungan pada 30 Oktober 2026, tetapi belum ada yang membaca token ini per 31 Oktober 2026.

Token ini tidak mengubah ranking di Google Search atau Bing. Risikonya ada di tempat lain. Google membaca token ini sebagai Disallow untuk Google-Extended, dan Google-Extended juga mengatur kutipan di Gemini Apps.

Apa itu token __usage_ai-training?

Token __usage_ai-training adalah nama user-agent khusus di robots.txt yang membawa preferensi pemakaian konten, bukan perintah crawl. Kevin Kelley dari Anthropic menulis aturannya dalam draft IETF draft-kelley-aipref-training-preference-signal-00 bertanggal 30 Oktober 2026.

  • Disallow di bawah token berarti Anda menolak training AI untuk path itu.
  • Allow berarti Anda setuju. Bila tidak ada grup untuk token ini, situs Anda tidak menyatakan preferensi.
  • Grup User-Agent: * tidak berlaku untuk token ini. Tulis nama token secara eksplisit.
  • Token ini tidak membatasi crawl. Untuk membatasi crawl, tetap pakai grup per crawler seperti GPTBot.

Draft ini masih individual draft. Halaman IETF menyebut draft ini belum disahkan IETF dan belum punya status formal. Isi dan sintaksnya dapat berubah sebelum 2027.

Siapa yang mendukung, dan kapan token mulai dibaca?

Empat penyedia AI mengumumkan dukungan pada 30 Oktober 2026, dengan jadwal yang berbeda.

PenyediaJadwalCatatan dari sumber primer
Google2027. Dokumen crawler menulis awal 2027.Token tanpa grup Google-Extended dibaca sebagai Disallow Google-Extended. Sumber: Google Search Central, 30 Oktober 2026.
Microsoft BingMulai 1 Februari 2027Bing memisahkan preferensi training dan grounding. Sumber: Bing Blogs, 30 Oktober 2026.
OpenAIBeberapa bulan lagiKontrol GPTBot dan OAI-SearchBot tetap berlaku. Sumber: pengumuman OpenAI.
AnthropicBeberapa bulan lagiImplementasi sudah mulai dan melengkapi kontrol crawler yang ada. Sumber: milis IETF ai-control, 30 Oktober 2026.
Jadwal token __usage_ai-training: Google awal 2027, Bing 1 Februari 2027, OpenAI dan Anthropic beberapa bulan lagi.
Belum ada penyedia yang membaca token ini per 31 Oktober 2026. Sumber: Google Search Central, Bing Blogs, OpenAI, dan milis IETF ai-control, 30 Oktober 2026.

Google juga menulis bahwa usulan ini sejalan dengan EU Code of Practice untuk penyedia model AI umum di bawah EU AI Act. Kode itu mengakui robots.txt sebagai cara utama untuk menyatakan preferensi yang dapat dibaca mesin.

Apa yang berubah untuk Google Search, Gemini, dan Copilot?

Token ini tidak mengubah ranking atau inklusi di Google Search dan Bing, tetapi dapat menutup kutipan Gemini Apps.

Dokumen Google common crawlers yang diperbarui 30 Oktober 2026 menyebut Google-Extended mengatur 2 hal. Hal pertama adalah training model Gemini. Hal kedua adalah grounding di Gemini Apps dan Grounding with Google Search di Vertex AI. Dokumen yang sama menyebut Google-Extended tidak mengubah inklusi di Google Search dan bukan sinyal ranking.

Akibatnya, opt-out training lewat token bersama juga mengeluarkan situs Anda dari grounding Gemini Apps. Google menulis bahwa situs yang secara khusus mengizinkan Google-Extended tetap layak muncul dan mendapat klik lewat grounding Gemini Apps. Di Google, Anda belum dapat menolak training sambil tetap dikutip Gemini.

Bing memberi pilihan yang lebih rinci. Preferensi ai-training dan ai-grounding terpisah. Nilai DisallowExtended untuk grounding tetap mengizinkan produk Microsoft seperti Copilot dan Bing, tetapi menolak layanan grounding pihak ketiga. Bing menulis bahwa Disallow atau DisallowExtended untuk grounding akan mengurangi visibilitas merek di pengalaman AI.

Google-Extended mengikat training dan grounding Gemini. Bing memisahkan ai-training dan ai-grounding.
Di Google, 1 token mengatur training dan grounding Gemini. Di Bing, keduanya terpisah. Sumber: dokumen Google common crawlers dan Bing Blogs, 30 Oktober 2026.

Draft IETF dan pengumuman Google hanya membahas training. Keduanya tidak menyebut AI OverviewsAIORingkasan jawaban buatan AI di atas hasil pencarian. AIO menjawab sebagian pertanyaan sebelum orang menekan tautan.Buka glosarium atau AI Mode di Google Search. Jangan pakai token ini untuk mengatur kedua fitur itu.

Bagaimana cara menulis aturan di robots.txt?

Tulis grup token terpisah dari grup crawler, lalu pilih 1 dari 3 skenario di bawah.

Skenario 1: tolak training AI di semua penyedia, tetap terindeks di mesin pencari.

User-Agent: __usage_ai-training
Disallow: /

User-Agent: *
Allow: /

Skenario 2: tolak training di penyedia lain, tetapi tetap ikut Google-Extended. Menurut pengumuman Google, token dibaca sebagai Disallow hanya bila grup Google-Extended tidak ada. Dengan grup Google-Extended yang eksplisit, Google memakai grup itu, jadi konten Anda tetap ikut training Gemini dan grounding Gemini Apps.

User-Agent: __usage_ai-training
Disallow: /

User-Agent: Google-Extended
Allow: /

Skenario 3: tolak training hanya untuk 1 folder. Contoh: materi kelas berbayar.

User-Agent: __usage_ai-training
Disallow: /kelas/

Untuk Bing di level halaman, pakai meta tag <meta name="Bingbot" content="ai-training:disallow"> atau header X-Robots-Tag: Bingbot: ai-training:disallow. Preferensi halaman menang atas robots.txt.

Situs mana yang perlu memasang token ini?

Pilih skenario dari sumber pendapatan situs Anda, bukan dari rasa takut pada AI.

Jenis situsPendapatan utamaSaran
Toko online, jasa lokal, UMKMPesanan dan chat dari pencarianJangan pasang Skenario 1. Kutipan Gemini dan Copilot membawa calon pembeli. Bila tetap ingin opt-out, pakai Skenario 2.
Media dan blog dengan konten asliIklan display dan langgananPertimbangkan Skenario 1. Hitung dulu kunjungan dari Gemini, karena Skenario 1 menutup grounding Gemini Apps.
Kursus, riset, dan konten berbayarAkses berbayarPakai Skenario 3 untuk folder berbayar. Untuk Bing, tambah ai-grounding:disallow di halaman berbayar.

Robots.txt hanya menyatakan preferensi. Draft IETF menulis bahwa perjanjian privat antara pemilik situs dan penyedia AI dapat mengalahkan preferensi ini. Untuk konten yang benar-benar tertutup, tetap pakai login.

Apa dampaknya pada biaya, pengukuran, dan kerja tim?

Biaya memasang token hampir nol, tetapi 1 kesalahan di robots.txt dapat menutup lalu lintas tanpa terlihat.

  • Biaya: 1 perubahan berkas robots.txt. Tidak ada biaya lisensi atau alat baru. Risiko terbesar adalah salah ketik di grup User-Agent: * yang memblokir Googlebot.
  • Pengukuran: catat baseline sebelum perubahan. Ambil kunjungan dari gemini.google.com, copilot.microsoft.com, dan chatgpt.com di GA4GA4Alat analitik Google yang mencatat kunjungan dan tindakan di situs Anda dalam bentuk event.Apa itu Google Analytics 4 (GA4)?, plus laporan AI Performance di Bing Webmaster Tools. Bandingkan 28 hari sebelum dan sesudah token aktif.
  • Kerja tim: tentukan 1 pemilik robots.txt. Plugin SEOSEOPekerjaan membuat halaman Anda mudah ditemukan dan dipilih pada hasil pencarian, tanpa membayar iklan.Buka glosarium WordPress dan template Shopify dapat menimpa berkas ini. Cek hasilnya di laporan robots.txt Google Search Console sesudah setiap rilis.
  • Tenggat Bing: sesudah 1 Maret 2027, Bing tidak lagi membaca NoArchive dan NoCache sebagai preferensi training dan grounding. Bila situs Anda memakai keduanya, pasang preferensi baru sebelum tanggal itu.

Jasa audit SEO dan visibilitas AI kami memeriksa aturan robots.txt dan kutipan AI dalam 1 laporan. Untuk dasar crawl dan indeks, baca technical SEO untuk AI search.

Apa yang harus Anda lakukan minggu ini?

Jangan ubah robots.txt dengan terburu-buru, karena belum ada penyedia yang membaca token ini per 31 Oktober 2026.

  1. Buka robots.txt situs Anda. Catat grup GPTBot, Google-Extended, ClaudeBot, NoArchive, dan NoCache yang sudah ada.
  2. Pilih 1 skenario dari tabel jenis situs di atas.
  3. Catat baseline kunjungan dari Gemini, Copilot, dan ChatGPT.
  4. Bila situs Anda memakai NoArchive atau NoCache, jadwalkan perubahan untuk Bing sebelum 1 Maret 2027.
  5. Cek ulang pengumuman Google, OpenAI, dan Anthropic setiap bulan. Sintaks draft dapat berubah.

Untuk melihat apakah merek Anda sudah dikutip AI, baca laporan AEO dan GEO untuk visibilitas merek.

Tanya jawab

Apakah token __usage_ai-training menurunkan ranking Google?

Tidak. Google memetakan token ini ke Google-Extended, dan dokumen Google menyebut Google-Extended tidak mengubah inklusi di Google Search dan bukan sinyal ranking.

Apakah saya perlu memasang token ini sekarang?

Tidak wajib. Per 31 Oktober 2026 belum ada penyedia yang membacanya. Memasangnya sekarang aman bila Anda sudah memilih skenario, karena penyedia membacanya saat dukungan aktif.

Apakah GPTBot dan Google-Extended masih berlaku?

Ya. Google, OpenAI, dan Anthropic menulis bahwa kontrol per penyedia tetap berjalan bersama token bersama. Di Google, grup Google-Extended yang eksplisit menang atas token bersama.

Apakah token ini menghentikan AI membaca halaman saya saat pengguna bertanya?

Tidak. Token ini hanya menyatakan preferensi training, bukan perintah crawl. Untuk jawaban AI di Bing, pakai preferensi ai-grounding. Untuk Gemini Apps, aturannya mengikuti Google-Extended.

Bagaimana dengan situs yang memakai NoArchive atau NoCache?

Bing berhenti membaca NoArchive dan NoCache sebagai preferensi training dan grounding sesudah 1 Maret 2027. Pasang preferensi ai-training dan ai-grounding baru, lalu isi preferensi sementara di Bing Webmaster Tools.