Ikhtisar Cepat
Jika Anda menerima pemberitahuan peringatan 'Diindeks, meskipun diblokir oleh robots.txt' di Google Search Console, Anda harus memperbaikinya sesegera mungkin, karena dapat memengaruhi kemampuan halaman Anda untuk menentukan peringkat sama sekali di Mesin Pencari Halaman Hasil (SERPS).
File robots.txt adalah file yang berada di dalam direktori situs web Anda, yang menawarkan beberapa instruksi untuk Perayap Mesin Pencari, seperti bot Google, mengenai file mana yang harus dan tidak boleh mereka lihat.
'Diindeks, meskipun diblokir oleh robots.txt' menunjukkan bahwa Google telah menemukan halaman Anda, tetapi juga menemukan instruksi untuk mengabaikannya di file robots Anda (yang berarti tidak akan muncul di hasil).
Terkadang ini disengaja, atau sesuatu yang tidak disengaja, karena sejumlah alasan yang diuraikan di bawah ini, dan dapat diperbaiki. Berikut adalah screenshot dari notifikasi tersebut:
Identifikasi halaman atau URL yang terpengaruh
Jika Anda menerima pemberitahuan dari Google Search Console (GSC), Anda perlu mengidentifikasi halaman atau URL tertentu yang dimaksud.
Anda dapat melihat halaman dengan Indexed, meskipun diblokir oleh masalah robots.txt di Google Search Console >> Cakupan. Jika Anda tidak melihat label peringatan, maka Anda bebas dan jelas.
Identifikasi alasan pemberitahuan
Pemberitahuan dapat terjadi karena beberapa alasan. Berikut adalah yang umum:
Tapi pertama-tama, Tidak masalah jika ada halaman yang diblokir oleh robots.txt., Ini mungkin telah dirancang karena alasan, seperti, pengembang ingin memblokir halaman yang tidak perlu / kategori atau duplikat.
Jadi, apa perbedaannya?
Format URL salah
Terkadang, masalah mungkin muncul dari URL yang sebenarnya bukan halaman. Misalnya, jika URL https://www.seoptimer.com/?s=digital+marketing, Anda perlu mengetahui halaman apa yang dituju oleh URL tersebut. Jika itu adalah halaman yang berisi konten signifikan yang Anda benar-benar ingin dilihat oleh pengguna Anda, maka Anda perlu mengubah URL-nya.
Ini dimungkinkan pada Sistem Manajemen Konten (CMS) seperti WordPress di mana Anda dapat mengedit siput halaman. Jika halaman tidak penting, atau dengan contoh /?s=digital+marketing kami, ini adalah kueri penelusuran dari blog kami, maka kesalahan GSC tidak perlu diperbaiki.
0 Comments: