Cara Lengkap Robots.txt: Mengoptimalkan Indeksasi Website Anda

Pelajari cara menggunakan file robots.txt untuk meningkatkan SEO, mengontrol akses bot, dan mengelola crawl budget website Anda.
Mas Okem
Mas Okem
Rabu, 18 Desember 2024

 


robots.txt adalah sebuah file teks sederhana yang digunakan oleh pemilik situs web untuk memberikan instruksi kepada mesin pencari atau web crawler tentang halaman atau bagian mana dari situs mereka yang boleh atau tidak boleh diakses. 

File ini berada di direktori root dari situs web dan dapat diakses melalui URL seperti https://www.contoh.com/robots.txt.

Struktur Dasar File robots.txt

File ini terdiri dari aturan (rules) yang diatur berdasarkan agen pengguna (user-agent), yaitu nama bot mesin pencari. Aturannya meliputi:

  1. User-agent: Menentukan bot yang menerima instruksi (contohnya, Googlebot untuk mesin pencari Google).
  2. Disallow: Menentukan direktori atau halaman yang tidak boleh diakses oleh bot.
  3. Allow: (Opsional) Menentukan halaman yang boleh diakses, meskipun ada larangan yang lebih luas.
  4. Sitemap: (Opsional) Memberikan lokasi file sitemap.xml untuk membantu mesin pencari memahami struktur situs.

Contoh File robots.txt

User-agent: *
Disallow: /private/
Allow: /public/
Sitemap: https://www.contoh.com/sitemap.xml

Penjelasan:

  • User-agent: * berarti aturan ini berlaku untuk semua bot.
  • Disallow: /private/ melarang bot mengakses direktori /private/.
  • Allow: /public/ mengizinkan bot mengakses direktori /public/.
  • Sitemap menunjukkan lokasi file sitemap.

Tujuan Penggunaan robots.txt

  1. Melindungi Data Sensitif: Mencegah akses ke direktori atau halaman tertentu.
  2. Mengoptimalkan Crawling: Mengarahkan mesin pencari untuk hanya mengindeks konten penting.
  3. Pengendalian Beban Server: Menghindari terlalu banyak permintaan dari bot.

Namun, penting untuk diingat bahwa robots.txt hanya memberikan instruksi. Tidak semua bot mematuhinya, terutama bot yang berniat buruk (malicious bots).

Menggunakan file robots.txt pada sebuah website memberikan beberapa manfaat penting, terutama dalam pengelolaan interaksi antara situs web dan mesin pencari. 

Berikut adalah manfaat utamanya:

1. Mengontrol Akses Bot ke Halaman Tertentu

  • Anda dapat menentukan halaman atau direktori mana yang boleh atau tidak boleh diindeks oleh mesin pencari. Hal ini berguna untuk melindungi konten sensitif atau halaman yang tidak perlu diakses oleh publik, seperti:
    • Halaman admin: /admin/, /login/
    • Halaman sementara: /drafts/, /testing/
    • Data pribadi atau file sementara.

2. Meningkatkan Efisiensi Crawling

  • Mesin pencari memiliki batasan sumber daya (crawl budget) untuk setiap situs. Dengan membatasi bot hanya pada halaman yang relevan, Anda memastikan bahwa bot lebih fokus pada konten yang penting dan berharga bagi peringkat pencarian.

3. Mengurangi Beban Server

  • Jika sebuah website memiliki banyak halaman yang tidak perlu diindeks (misalnya, file media, halaman duplikat, atau direktori teknis), file robots.txt dapat mencegah bot mengakses halaman tersebut, sehingga mengurangi beban pada server.

4. Mencegah Duplikasi Konten di Mesin Pencari

  • Jika sebuah situs memiliki konten duplikat (misalnya, versi HTTP dan HTTPS dari halaman yang sama), robots.txt dapat digunakan untuk mencegah pengindeksan salah satu versi. Ini membantu menghindari penalti SEO dari mesin pencari.

5. Meningkatkan SEO

  • Dengan memblokir akses ke halaman yang tidak relevan atau kurang berkualitas, Anda membantu mesin pencari memfokuskan upayanya pada konten yang dapat meningkatkan peringkat situs.

6. Memberi Panduan pada Bot Tertentu

  • Anda dapat memberikan instruksi yang berbeda untuk bot tertentu, seperti Googlebot, Bingbot, atau bot lain yang diizinkan atau dilarang mengakses konten tertentu.

7. Menyediakan Akses ke Sitemap

  • Dalam file robots.txt, Anda dapat mencantumkan lokasi file sitemap. Ini membantu mesin pencari memahami struktur situs Anda lebih cepat dan mengindeksnya dengan lebih baik.

8. Mencegah Indeksasi File atau Media Tidak Penting

  • Jika sebuah situs memiliki banyak file media (seperti gambar, video, atau dokumen PDF) yang tidak relevan untuk pencarian, Anda dapat mencegah pengindeksan file tersebut agar tidak muncul di hasil pencarian.

Contoh Praktis

Misalnya, sebuah situs e-commerce ingin mencegah pengindeksan halaman keranjang belanja dan halaman login:

User-agent: *
Disallow: /cart/
Disallow: /login/
Allow: /products/

Dengan pengaturan ini, mesin pencari hanya mengindeks halaman produk dan mengabaikan halaman lain yang tidak relevan untuk pengguna.

Catatan Penting

  • File robots.txt tidak melindungi data secara penuh. Halaman yang di-"disallow" masih bisa diakses oleh siapa saja yang mengetahui URL-nya. Untuk keamanan, gunakan autentikasi atau pengaturan server tambahan.
  • Beberapa bot, seperti bot spam, mungkin tidak mematuhi file robots.txt.

Penggunaan file ini adalah bagian penting dari strategi SEO dan pengelolaan website yang profesional.

Di mana Mencari File robots.txt?

File robots.txt biasanya terletak di root directory dari sebuah situs web dan dapat diakses dengan mengetikkan URL:

https://www.contoh.com/robots.txt

Jika file ini ada, Anda akan melihat isi file tersebut di browser. Jika tidak, itu berarti situs tersebut belum memiliki file robots.txt.

Cara Memasang File robots.txt di Blogger

Blogger menyediakan opsi untuk mengatur file robots.txt kustom. Berikut langkah-langkahnya:

  1. Masuk ke Blogger Dashboard

    • Buka Blogger dan login ke akun Anda.

  2. Akses Menu Pengaturan

    • Klik "Setelan" (Settings) di dashboard Blogger Anda.

  3. Aktifkan File robots.txt Kustom

    • Gulir ke bagian Crawlers and Indexing.
    • Aktifkan opsi "Aktifkan konten robots.txt kustom".

  4. Tambahkan File robots.txt Anda

    • Masukkan isi file robots.txt Anda. Misalnya: 
      User-agent: *
Disallow: /search
Allow: /
Sitemap: https://www.bloganda.com/sitemap.xml

  5. Simpan Pengaturan

    • Klik "Simpan" untuk mengaktifkan file robots.txt.

Cara Memasang File robots.txt di WordPress

WordPress memiliki beberapa cara untuk mengelola file robots.txt, tergantung apakah Anda menggunakan hosting biasa atau WordPress.com.

1. Menggunakan Plugin SEO (Seperti Yoast SEO atau Rank Math)

  1. Install Plugin SEO

    • Pergi ke dashboard WordPress > Plugins > Add New.
    • Cari plugin seperti Yoast SEO atau Rank Math dan aktifkan.

  2. Akses Pengaturan robots.txt

    • Di Yoast SEO:
      • Masuk ke SEO > Tools > File Editor.
    • Di Rank Math:
      • Masuk ke Rank Math > General Settings > Edit robots.txt.

  3. Edit dan Simpan File robots.txt

    • Tambahkan isi file Anda, misalnya: 
      User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.contoh.com/sitemap.xml
    • Simpan perubahan.

2. Mengedit Secara Manual (Hosting dengan Akses File Manager atau FTP)

  1. Akses File Manager

    • Masuk ke cPanel atau gunakan FTP client seperti FileZilla.

  2. Navigasi ke Root Directory

    • Temukan direktori utama situs Anda (biasanya bernama public_html).

  3. Buat atau Edit File robots.txt

    • Jika file robots.txt belum ada, buat file baru dengan nama robots.txt.
    • Tambahkan isi file dan simpan.

  4. Tes File

    • Akses file di browser Anda melalui https://www.contoh.com/robots.txt.

Tips untuk robots.txt yang Efektif

  • Pastikan Anda tidak memblokir halaman penting yang ingin diindeks mesin pencari.
  • Selalu tambahkan lokasi sitemap di file robots.txt.
  • Tes file robots.txt Anda menggunakan Google Search Console untuk memastikan bot dapat membaca file dengan benar.

Dengan mengikuti langkah-langkah di atas, Anda dapat mengelola robots.txt dengan mudah di Blogger maupun WordPress.

edit Tags: TUTORIAL
LihatTutupKomentar