Google Menyampaikan Telah Berhenti Mendukung Robots.Txt Noindex
Google resmi menyampaikan bila GoogleBot tidak lagi mengikuti arahan Robots.txt mengindeks website. Disampaikan jika direktif no robot robots.txt memiliki waktu hingga september tahun 2019.
Setelah itu akan menggunakan alternatif lain untuk melakukan indeks website.
Robots.Txt Noindex Dinyatakan Tidak Resmi
Direktif memberikan alasan mengapa berhenti mendukung robots.txt. Karena hal tersebut bukan sebuah perintah resmi.
Pada beberapa tahun belakangan Google memang mendukung robots.txt. Namun berita terakhir yang disampaikan bahwa dukungan Google akan dihentikan.
Google Lebih Banyak Mengikuti Semua Instruksi Noindex
StoneTemple membuat sebuah artikel yang membahas keseluruhan Google. Sebelumnya mengikuti semua instruksi dari robot.txt untuk index sebuah website.
Informasi berhenti mendukung robots.txt juga disampaikan melalui tweet resmi Google.
Bagaimana Bisa Mengontrol Perayapan Sebuah Website?
Dari info resmi yang disampaikan Google. Jika perayapan website secara resmi dilakukan sebagai berikut:
- Noindex didalam meta tag robot
- 404 serta 410 merupakan kode dari HTTP
- Sebuah proteksi kata sandi
- Melarang robots.txt
- Mencari console untuk hapus URL
Pengumuman resmi Google sudah disampaikan pada website. Blog Pusat Webmaster.
Serta disampaikan juga melalui akun twitter resmi Google.
Serta disampaikan juga melalui akun twitter resmi Google.
Bukan hanya John Mueller yang memberi tanggapan pada keputusan Google.
Namun tim IMEC juga mencoba membuat tes dan validasi hipotesis pada pemasaran web.
Bahkan hal ini juga sudah disampaikan sejak lama oleh Matt Cutts.
Namun tim IMEC juga mencoba membuat tes dan validasi hipotesis pada pemasaran web.
Bahkan hal ini juga sudah disampaikan sejak lama oleh Matt Cutts.
Dalam tes tersebut tim IMEC mengambil sejumlah 13 situs. Yakni yang setuju untuk menguji laman website mereka. Bahkan mencoba untuk menghapus semua indeks dari Google yang menggunakan robots.txt Noindex.
Apa Bedanya Robot Metatag Serta Robots.Txt Noindex?
Melihat pertanyaan ini jelas akan membingungkan sekali. Terlebih bagi pelaku dan pengguna website. Contohnya, jika ingin website tidak ingin di indeks google. atau berkaitan dengan www.namasitus.com/contact-us maka bisa menggunakan kode berikut.
<META NAME=”ROBOTS’ CONTENT=”NOINDEX, NOFOLLOW’> tepat diatas kode <head>
Kesalahan yang paling sering dilakukan pemilik website. yakni menggunakan Metatag Robots pada sebuah halaman bersamaan dengan memblokir perayapan halaman. Menggunakan Robots.txt. Tindakan ini yang membuat mesin pencari tidak bisa menelusuri seluruh isi website. Yakni tidak akan bisa membaca Metatag Robot.
Ada baiknya menggunakan arahan Noindex pada Robots.txt sedikit berbeda. Bisa saja menggabungkan jenis memblokir perayapan pada halaman serta Noindex-ing secara bersama.
Disallow:/ page1 /
Noindex: / page1 /
Lebih jelasnya bisa melihat video yang disampaikan pakar webmaster John Mueller.
Atau bisa melihat info jelasnya yang ditulis Deepcrawl. Mereka menulis lengkap berkaitan dengan hal ini.
Atau bisa melihat info jelasnya yang ditulis Deepcrawl. Mereka menulis lengkap berkaitan dengan hal ini.
