Cara Mengoptimalkan WordPress Robots.txt untuk SEO

apa itu robot.txt

File Robots.txt memberi tahu mesin pencari cara merayapi situs web Anda yang menjadikannya alat SEO yang sangat kuat. Pada artikel ini, kami akan menunjukkan cara membuat file robots.txt 

Robots.txt adalah file teks yang dapat dibuat pemilik situs web untuk memberi tahu bot mesin pencari cara merayapi dan mengindeks halaman di situs mereka.

Secara umum disimpan dalam direktori root yang dikenal sebagai folder utama situs website web. Format dasar untuk file robot.txt seperti dibawah ini.

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]
 
 
Sitemap: [URL of your XML Sitemap]

Anda memiliki hak penuh untuk mengatur bagaimana mesin pencari merayapi website anda, Jika tidak melarang URL, maka bot mesin pencari menganggap bahwa mereka di izinkan untuk menjelajahi semuanya.

Berikut ini contoh file contoh robots.txt:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://example.com/sitemap_index.xml

Pada contoh robots.txt di atas, kami telah mengizinkan mesin pencari untuk merayapi dan mengindeks file dalam folder unggahan WordPress kami. Setelah itu, kami telah melarang bot pencarian untuk merayapi dan mengindeks plugin dan folder admin WordPress.

Berapa penting file Robot.txt untuk situs anda?

Jika Anda tidak memiliki file robots.txt, mesin pencari akan tetap merayapi dan mengindeks situs web Anda. Namun, Anda tidak akan dapat memberi tahu mesin pencari halaman atau folder mana yang tidak boleh mereka jelajahi.

Bagaimana seharusnya Robot.txt yang bagus?

Banyak website yang sangat populer menggunakan robot.txt yang sangat sederhana.

User-agent: *
Disallow:
  
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

File robots.txt ini memungkinkan semua bot untuk mengindeks semua konten dan memberikan mereka tautan ke peta situs XML .

Khusus untuk website WordPress kami sangat menyarankan untuk menggunakan file robot.txt seperti dibawa ini.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

File di atas memberi tahu bot pencarian untuk mengindeks semua gambar dan file WordPress, Tetapi melarang bot pencarian dari pengindeksan file plugin WordPress, area admin WordPress, file readme WordPress, dan tautan afiliasi.

Bagaimana cara membuat file robot.txt pada WordPress?

Membuat robot.txt pada situs WordPress anda sangatlah mudah, anda hanya butuh menginstall plugin Yoast SEO.

Buka halaman SEO » Tools » Klik tautan file editor, lebih detail lihat gambar dibawah dan ikuti petunjuk yang kami beri nomor.

robot.txt pada wordpress

Di halaman berikutnya, halaman SEO Yoast akan menampilkan file robots.txt Anda yang sudah ada. Jika Anda tidak memiliki file robots.txt, maka Yoast SEO akan menghasilkan file robots.txt untuk Anda. Lihat gambar dibawah.

cara mengatur robot.txt pada wordpress

Secara default, file robots.txt Yoast SEO akan menambahkan aturan berikut ke file robots.txt Anda:

User-agent: *
Disallow: /

Ituu berarti anda mengisinkan mesin pencari untuk merayapi semua yang ada pada situs anda.

Hapus file di atas dan ganti dengan file robot.txt yang kami sarankan di atas, dengan menggunakan robot txt yang kami sarankan website anda akan lebih SEO.

Leave a Reply

Your email address will not be published. Required fields are marked *