Dalam dunia optimasi mesin pencari (SEO), menjaga kesehatan teknis situs web menjadi salah satu kunci utama dalam mempertahankan visibilitas di hasil pencarian. Salah satu peringatan yang cukup sering muncul di Google Search Console (GSC) adalah pesan “Diindeks, meskipun diblokir oleh robots.txt”.
Meskipun terdengar sepele, peringatan ini sebenarnya cukup penting untuk ditangani segera, karena bisa berdampak pada performa SEO dan keterlihatan halaman di hasil pencarian Google. Artikel ini akan membahas apa arti peringatan tersebut, mengapa hal itu bisa terjadi, dan bagaimana cara menanganinya dengan benar.
Apa Itu File robots.txt?
Sebelum masuk ke inti masalah, mari pahami dulu apa itu file robots.txt.
File robots.txt adalah file teks sederhana yang ditempatkan di direktori utama situs web Anda (biasanya di yourdomain.com/robots.txt). Fungsinya adalah memberikan instruksi kepada bot mesin pencari (seperti Googlebot) tentang bagian mana dari situs yang boleh atau tidak boleh diakses dan diindeks.
Contoh sederhana isi file robots.txt:
Instruksi di atas memberitahu semua crawler (User-agent: *) untuk tidak mengakses folder “/private-folder/”.
Apa Maksud Peringatan "Diindeks, Meskipun Diblokir oleh robots.txt"?
Ketika Anda mendapatkan peringatan “Indexed, though blocked by robots.txt”, artinya Google telah menemukan URL halaman tersebut dan memutuskan untuk mengindeksnya, meskipun halaman tersebut seharusnya tidak diakses karena diblokir oleh file robots.txt.
Dengan kata lain, Google tahu halaman tersebut ada, tetapi tidak dapat merayapi (crawl) isi kontennya. Akibatnya:
-
Google hanya dapat menampilkan judul URL atau metadata yang sangat terbatas.
-
Konten halaman tidak akan ikut dipertimbangkan dalam penilaian SEO.
-
Pengindeksan seperti ini tidak ideal, terutama jika halaman tersebut seharusnya menjadi bagian dari strategi SEO Anda.
Dampaknya Terhadap SEO
Apakah ini masalah besar? Jawabannya: bisa iya, bisa tidak, tergantung pada konteksnya.
Jika halaman yang diblokir memang tidak penting untuk muncul di hasil pencarian (seperti halaman login admin, halaman checkout, atau hasil pencarian internal), maka peringatan ini bisa diabaikan. Namun jika halaman tersebut penting—seperti halaman produk, artikel blog, atau landing page utama—maka masalah ini harus segera diperbaiki.
Langkah 1: Identifikasi URL yang Terpengaruh
Langkah pertama yang harus Anda lakukan setelah menerima peringatan ini di Google Search Console adalah mengidentifikasi halaman yang terdampak.
Berikut caranya:
-
Masuk ke akun Google Search Console Anda.
-
Pilih properti situs web yang relevan.
-
Klik menu “Cakupan” (Coverage).
-
Di bagian “Detail”, cari status “Diindeks, meskipun diblokir oleh robots.txt”.
-
Klik status tersebut untuk melihat daftar URL yang terpengaruh.
Pastikan untuk memeriksa setiap URL satu per satu dan menentukan apakah halaman tersebut memang perlu diindeks atau tidak.
Langkah 2: Identifikasi Penyebabnya
Setelah mengetahui URL yang bermasalah, saatnya mencari tahu mengapa halaman tersebut diblokir oleh robots.txt. Beberapa alasan umum yang sering terjadi antara lain:
1. Pemblokiran Tidak Sengaja
Kadang-kadang, developer atau pemilik situs secara tidak sengaja memasukkan direktori atau halaman penting ke dalam file robots.txt. Misalnya:
Jika baris ini ditulis tanpa tujuan yang jelas, maka seluruh konten blog bisa jadi tidak diindeks, padahal blog adalah elemen penting dari strategi SEO.
2. Format URL Tidak Relevan
Beberapa URL sebenarnya bukan halaman penting, seperti URL hasil pencarian internal atau filter. Contohnya:
Ini adalah halaman hasil pencarian internal dari blog. Biasanya, halaman seperti ini tidak perlu diindeks karena:
-
Kontennya dinamis.
-
Berisiko menimbulkan duplikat konten.
-
Tidak memberikan nilai tambah secara SEO.
Jika GSC memberi peringatan pada URL seperti ini, dan Anda yakin halaman tersebut tidak penting, maka Anda tidak perlu memperbaikinya.
3. Konten Duplikat atau Halaman Versi Alternatif
Terkadang, situs web memiliki versi alternatif dari konten yang sama, seperti halaman kategori atau versi printer-friendly. Dalam beberapa kasus, developer memang sengaja memblokir halaman-halaman tersebut agar tidak menyebabkan masalah duplikat konten.
Namun, jika halaman versi utama (yang seharusnya muncul di Google) justru diblokir, maka itu perlu dikoreksi.
Langkah 3: Cara Memperbaikinya
Setelah Anda menentukan bahwa suatu halaman memang seharusnya diindeks, berikut langkah-langkah yang bisa Anda lakukan:
1. Ubah File robots.txt
Buka file robots.txt di root direktori situs Anda, lalu hapus atau ubah instruksi yang memblokir halaman penting. Misalnya, jika sebelumnya ada:
Dan ternyata Anda ingin agar blog diindeks, ubah menjadi:
Atau hapus baris tersebut sama sekali jika tidak dibutuhkan.
Catatan: Pastikan Anda tidak mengizinkan bot mengakses folder yang benar-benar sensitif atau bersifat pribadi.
2. Periksa dan Perbarui Sitemap
Pastikan URL halaman yang ingin Anda indeks tercantum dalam file sitemap.xml, karena ini membantu Google menemukan halaman dengan lebih mudah setelah dibuka aksesnya.
3. Gunakan Alat “Uji robots.txt” di GSC
Google Search Console menyediakan alat bernama robots.txt Tester, yang bisa Anda gunakan untuk mengecek apakah URL tertentu diblokir atau tidak.
4. Kirim Permintaan Pengindeksan Ulang
Setelah perubahan dilakukan, kembali ke GSC dan lakukan:
-
Buka URL yang bermasalah di menu “Inspeksi URL”.
-
Klik tombol “Minta pengindeksan ulang”.
-
Google akan mencoba merayapi ulang halaman tersebut dalam beberapa hari.
Kesimpulan
Peringatan “Diindeks, meskipun diblokir oleh robots.txt” bukanlah akhir dari dunia, tetapi juga bukan sesuatu yang boleh diabaikan begitu saja. Penting untuk menilai apakah halaman yang diblokir memang perlu diindeks atau tidak.
-
Jika halaman penting, perbaiki secepatnya agar tidak kehilangan traffic organik.
-
Jika halaman tidak penting, Anda bisa membiarkannya selama tidak berdampak pada keseluruhan strategi SEO.
Dengan memahami penyebab dan solusi dari masalah ini, Anda bisa menjaga situs tetap sehat secara teknis dan memastikan bahwa halaman-halaman penting tetap tampil maksimal di hasil pencarian Google.
0 Comments