Cara Memperbaiki “adsense crawler errors”

adsense crawler errors

Beberapa jam yang lalu kami tidak sengaja membuka akun adsense kami dan ternyata kami mendapatkan notifikasi adsense crawler errors. Pesan error yang kami dapatkan seperti ini.

Crawler errors

Our crawler was unable to access the pages listed in the ’Blocked URLs’ column to determine the content and display ads. Click the ’plus’ icon beside each domain to see an expanded list of affected URLs. When our crawler can’t access your content we won’t show ads, resulting in lower revenue and coverage. Follow the link in the ’Error’ column to learn how to correct these errors.

Kesalahan Perayap

Perayap kami tidak dapat mengakses halaman yang tercantum di kolom ‘URL Diblokir’ untuk menentukan konten dan menampilkan iklan. Klik ikon ‘tambah’ di sebelah setiap domain untuk melihat daftar yang diperluas dari URL yang terpengaruh. Ketika perayap kami tidak dapat mengakses konten Anda, kami tidak akan menampilkan iklan, menghasilkan pendapatan dan jangkauan yang lebih rendah. Ikuti tautan di kolom ‘Kesalahan’ untuk mempelajari cara memperbaiki kesalahan ini.

Lanjut Cerita – Lalu kami langsung membuka robot.txt yang telah kami gunakan pada website kami, robot.txt itu seperti berikut.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: https://jasawebsite.ooo/post-sitemap.xml
Sitemap: https://jasawebsite.ooo/page-sitemap.xml

Ternyata apa yang di katakan oleh Google bahwa kami tidak memberikan izin kepada google untuk mengindex halaman kami, karena file robot.txt di atas mengatakan.

Baru kemudian kami sadar bahwa kami telah melarang semua plugin untuk merayapi website kami melalui file robot.txt. Itu berarti semua plugin yang ada pada website kami tidak akan di rayapi Oleh Google salah satunya adalah plugin WP-insert yang kami gunakan untuk memasang dan menampilkan iklan pada website kami.

Apa yang terjadi dengan masalah di atas?

Beberapa hari ini kami merasa bingung karena pengunjung website kami sudah mulai ramai pengunjung namun penghasilan kami tidak bertambah “Oalah ini Toh masalahnya”.

Melalui website resminya Google Mengatakan

Jika Anda telah memodifikasi file robots.txt situs Anda untuk melarang perayap AdSense dari mengindeks halaman Anda, maka kami tidak dapat menayangkan iklan Google di halaman-halaman ini.

Untuk memperbarui file robots.txt Anda untuk memberikan akses crawler kami ke halaman Anda, hapus dua baris teks berikut dari file robots.txt Anda:

User-agent: Mediapartners-Google
Disallow: /

Perubahan ini akan memungkinkan perayap kami untuk mengindeks konten situs Anda dan memberi Anda iklan Google. Harap perhatikan bahwa setiap perubahan yang Anda buat pada file robots.txt Anda mungkin tidak tercermin dalam indeks kami sampai perayap kami mencoba mengunjungi situs Anda lagi.

Lalu bagaimana Mengatasinya ?

Jika anda adalah pengguna blogger dan WordPress yang maka anda harus menghapus

User-agent: Mediapartners-Google
Disallow: /

Karena itu berarti Anda tidak memberikan lampu hijau kepada Google untuk merayapi halaman Anda dan tidak memungkinkan untuk menampilkan Iklan Google Adsense.

Khusus Pengguna WordPress, jika Anda menggunakan Plugin untuk menghubungkan WordPress dengan Google Adsense maka jangan menggunakan,

Disallow: /wp-content/plugins/

Pada file robot.txt Anda, sekali lagi akan menimbulkan “adsense crawler errors” pada dashboard Adsense Anda.

Semoga apa yang kami share bermanfaat bagi Anda, jika masih mempunyai kesalahan yang sama ketika mengikuti artikel ini silahkan tinggalkan komentar kami akan dengan hati membantu Anda.

Leave a Reply

Your email address will not be published. Required fields are marked *