Apa itu Robots.txt? – Robots.txt istilah yang sangat erat dengan hal optimasi sebuah website. Google search console juga terkadang menampilkan isu masalah tentang file robots ini.
Sudah tahukah Anda tentang file robots satu ini? Sesuai dengan judul besar artikel ini, pembahasan selanjutnya adalah mengenai apa itu file robots.txt. Lalu bagaimana cara membuat dan penerapannya? Simak penjelasan berikut ini.
Apa itu Robots.txt?
Robots.txt adalah sebuah file text yang berisikan instruksi kepada robot search engine. Instruksi tadi yaitu untuk menjalankan web crawling menggunakan spider yang bertujuan untuk pengindexan situs atau URL.
Apa tujuan lainnya? untuk memberi tahu robot mesin pencarian halaman,file ataupun URL mana yang diizinkan untuk mereka crawl (perayapan) dan index. Singkatnya, instruksi pada file robots berisikan tentang izin atau larangan untuk aktifitas bot tertentu atau semua bot.
Baca juga: Gagal Login WordPress Setelah Update URL
Manfaat Robots.txt
Dari pembahasan tentang file robots mungkin sedikit banyak sudah mendapatkan gambaran mengenai fungsi dari file tersebut. Berikut beberapa manfaat dari adanya file robots di sebuah situs:
Kontrol Aktifitas Bot
Salah satu fungsi utama dari file ini adalah untuk mengkontrol aktifitas bot pada suatu situs. Jika suatu situs tidak memiliki file ini, maka bot akan merayapi seluruh halaman situs.
Jika ada beberapa halaman yang tidak diizinkan untuk bot rayapi, maka perlu menambahkan instruksi untuk tidak mengizinkan perayapan. Begitu juga sebaliknya, perlu untuk menambahkan instruksi halaman mana yang boleh untuk dirayapi oleh bot.
Blokir Halaman Duplikat & No-Index
Ada beberapa halaman yang di indikasi duplikat, ini perlu adanya instruksi untuk bot tidak boleh melakukan crawl dan index. Jika ini diizinkan, maka halaman duplikat tadi akan muncul di hasil pencarian mesin pencari. Tentunya, ini akan memperburuk hasil pencarian situs.
Sebagai contoh, halaman yang tidak perlu untuk ditampilkan pada hasil pencarian adalah halaman pencarian internal situs. Selain itu, halaman login dan halaman akun jika situs masuk kategori toko online.
Pada situs yang menggunakan wordpress, secara otomatis halaman /wp-admin/ ini akan dilarang untuk di rayapi oleh bot dengan jenis apapun dan tidak ditampilkan di hasil pencarian search engine.
Perlu untuk diingat meskipun ada larangan secara otomatis, halaman login tetap dapat diakses oleh pengguna atau pemilik situs.
Cara Kerja File Robots.txt
Bagaimana cara kerja dari file robots ini? Robots.txt secara otomatis akan memberitahu kepada bot untuk merayapi atau tidak halaman yang ada sesuai instruksi. Saat bot menemukan sebuah situs, maka hal pertama bot lakukan sebelum merayapi semua halaman situs adalah menemukan file robots.txt.
Selanjutnya bot akan membaca dan mengikuti instruksi yang ada dalam file. Berikut ini contoh instruksi dari file robots.txt
Sintaks atau penulisan kode yang ada sangat mudah, tidak harus menggunakan bahasa pemograman tertentu. Selanjutnya akan dibahas sintaks atau instruksi apa saja yang ada pada file ini:
Kode Instruksi Robots.txt
Jika Anda baru pertama kali ingin membuat file robots, perlu untuk diketahui beberapa kode instruksi yang ada pada file robots. Berikut ini beberapa instruksi standar yang ada:
- Satu instruksi satu baris, jika ada dua perintah maka dibuat dua baris
- Setiap bot hanya satu instruksi, jika ada beberapa target bot maka instruksi juga dibuat beberapa juga
- Berisikan izinkan atau larang
Contoh sederhana:
Anda ingin memberitahu ke bot untuk tidak merayapi atau menampilkan halaman login wordpress di hasil pencariaan google maka kode atau instruksi di file robots seperti ini:
User-agent: Googlebot
Disallow: /wp-admin/
Panduan lengkap penulisan instruksi di file robots.txt untuk wordpress, untuk situs non-wordpress harap menyesuaikan
User-agent: *
Disallow: /comments/feed/
Disallow: /archives/
Disallow: /preview/
Disallow: /profiles/
Disallow: /search
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
User-agent: Mediapartners-Google*
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot
Allow: /
Sitemap: https:/namasitus.com/sitemap_index.xml
Ingat! Sebagian mesin pencarian memiliki banyak bot, seperti image, video, dan lain sebagainya. Bot akan mendahulukan instruksi yang paling spesifik terlebih dahulu untuk dijalankan.
Cara Menemukan dan Membuat File Robots
Pengumuman resmi dari Google pada tanggal 1 Juli 2019, bahwa robots.txt menjadi standar resmi sebuah situs di internet. Dalam artian lain, setiap situs harus dan wajib memiliki file robots.txt.
Lalu bagaimana cara menemukan file robots atau membuatnya ada di sebuah situs? Ikuti langkah berikut ini untuk memastikan file robots sudah ada atau belum:
Baca juga: Apa itu Open Graph (OG), Ketahui Fungsinya
Cara Menemukan File Robots
- Tambahkan robots.txt di akhir domain situs, sebagai contoh: https://domain.com/robots.txt
- Jika tidak ditemukan, maka sudah pasti file robots belum tersedia
Cara Membuat File Robots.txt
Ada banyak cara yang dapat kita gunakan untuk membuat file robots. Berikut ini cara membuat file robots.txt dengan aman dan mudah
- Menggunakan generator, gunakan tautan ini untuk membuat file robots.txt dengan instan [klik disini]
Lalu bagaimana cara membuat file robots dengan manual? apakah bisa? Tentunya bisa, ikuti langkah-langkah berikut ini:
- Buat file robots.txt menggunakan notepad, sublime atau aplikasi web editor lainnya
- Tambahkan instruksi seperti yang sudah dijelaskan diatas
- Simpan dengan nama robots.txt
- Akses situs menggunakan FTP atau menggunakan CPanel
- Upload file robots.txt pada root situs atau di dalam folder public_html
- Uji file robots atau panggil file robots seperti cara menemukannya
Untuk pengguna wordpress, jika situs sudah menggunakan Plugin Yoast tentunya juga dapat membuat file robots. Bagaimana caranya? Berikut cara mudahnya:
- Login dan masuk ke halaman dashboard
- Klik menu Yoast dan pilih menu Tools
- Pilih pada bagian File Editor
- Hapus robots.txt default Yoast, dan tambahkan instruksi sendiri sesuai kebutuhan
- Lalu simpan
Kesimpulan
File robots.txt memiliki fungsi untuk mengizinkan atau tidak boot mesin pencari untuk merayapi hingga melakukan index pada suatu halaman di situs. Sesuai pengumuman google, bahwasannya penting setiap situs memiliki file robots.txt.
Buat dan masukkan instruksi sesuai kebutuhan situs, jangan sampai salah. Jika terjadi kesalahan instruksi tentunya halaman tidak dapat di crawl oleh bot dan di index. Anda dapat membuat file ini dengan beberapa cara, menggunakan generator, manual hingga menggunakan bantuan plugin.
Demikianlah pembahasan mengenai apa itu robots.txt, manfaat, hingga implementasi pada situs. Semoga pembahasan ini dapat membantu, semoga bermanfaat dan terimakasih.
