Fungsi Robots txt untuk SEO website Anda

robots txt seo

Kami akan berbagi fungsi robots txt untuk seo website anda, Tahukah anda bahwa banyak blogger pemula yang belum paham bagaimana penggunaan robots txt yang benar.

Penting untuk memperjelas bahwa robots.txt bukan cara mencegah mesin telusur merayapi situs Anda dan fakta bahwa Anda meletakkan file robots.txt adalah sesuatu seperti meletakkan catatan “Tolong, jangan masukkan” di pintu yang tidak terkunci, Anda tidak dapat mencegah pencuri masuk tetapi orang-orang baik tidak akan membuka pintu dan masuk.

Apa itu Robots.txt

Robots.txt adalah file teks yang Anda letakkan di situs Anda untuk memberi tahu robot pencarian halaman mana yang Anda inginkan agar tidak mereka kunjungi. Robots.txt sama sekali tidak wajib untuk mesin pencari tetapi umumnya mesin pencari mematuhi apa yang diminta untuk tidak dilakukan.

Baca Juga : Cara Mengoptimalkan WordPress Robots.txt untuk SEO

Secara default, robots.txt tidak ada. Dan dalam hal itu, semua bot merayapi semua konten situs Anda. Tetapi, jika Anda membuat file ini dan menyesuaikan sesuai kebutuhan Anda, Anda harus meletakkannya di folder root situs web Anda. 

Bagaimana cara menggunakan file Robots.txt.

Sebelum kami menerangkan bagaimana menggunakan file robot.txt anda terlebih dahulu harus mengetahui sintax yang digunakan.

User-agent

Sebutkan nama robot yang Anda maksudkan (yaitu Google, Yahoo, dll).

Disallow

Jika Anda ingin memblokir akses ke halaman atau bagian situs web Anda, sebutkan jalur URL di sini.

Allow

Jika Anda ingin membuka blokir jalur URL di dalam induk yang diblokir secara langsung, masukkan jalur subdirektori URL di sini.

Format Dasar

User-agent: [nama-agen-pengguna]
Disallow: [URL string tidak dapat dirayapi]

Contoh Robots.txt

Menolak semua perayap web mengakses semua konten

User-agent: *
Disallow: /

Mengizinkan semua perayap web mengakses semua konten

User-agent: *
Disallow:

Memblokir perayap web spesifik dari folder tertentu

User-agent: Googlebot
Disallow: /example-subfolder/

Memblokir perayap web spesifik dari halaman web tertentu

User-agent: Bingbot
Disallow: /example-subfolder/blocked-page.html

Mengizinkan semua perayap web mengakses semua konten kecuali satu file tertentu

User-agent: *
Disallow: /example-subfolder/blocked-page.html

Alasan Anda kenapa Anda harus memiliki file robots.txt pada website anda:

  • Anda memiliki konten yang ingin diblokir dari mesin pencari
  • Anda menggunakan tautan berbayar atau iklan yang membutuhkan instruksi khusus untuk robot
  • Anda ingin menyempurnakan akses ke situs Anda dari robot yang memiliki reputasi baik
  • Anda sedang mengembangkan situs yang aktif, tetapi Anda tidak ingin mesin pencari mengindeksnya
  • Mereka membantu Anda mengikuti beberapa pedoman Google dalam beberapa situasi tertentu
  • Anda memerlukan beberapa atau semua hal di atas, tetapi tidak memiliki akses penuh ke server web Anda dan bagaimana hal itu dikonfigurasi

Setiap situasi di atas dapat di kontrol dengan metode lain, namun file robots.txt adalah tempat sentral yang baik untuk merawatnya dan sebagian besar webmaster memiliki kemampuan dan akses yang diperlukan untuk membuat dan menggunakan file robots.txt. Sebelum mengakhiri ini kami ingin mempertegas bahwa robots txt sangat berpengaruh terhadap seo.

Sekian share kali ini semoga apa yang kami share bermanfaat bagi anda dalam mengolah website untuk lebih SEO, silahkan tinggalkan komentar dan mulai berdiskusi dengan kami.

Leave a Reply

Your email address will not be published. Required fields are marked *