Cara Memaksimalkan Robot.txt di Blogger

Sebuah file robots.txt membatasi akses ke situs Anda dengan robot mesin pencari yang merangkak web. Bot ini otomatis, dan sebelum mereka mengakses halaman situs, mereka memeriksa untuk melihat apakah file robots.txt ada yang mencegah mereka mengakses halaman tertentu. ( Semua robot akan menghormati arahan dalam file robots.txt, meskipun beberapa mungkin menafsirkannya secara berbeda. Namun, robots.txt tidak berlaku, dan beberapa spammer dan pembuat onar lainnya dapat mengabaikannya. Untuk alasan ini, kami sarankan sandi melindungi informasi rahasia.)

Untuk melihat URL Google telah diblokir dari merangkak, kunjungi halaman URL yang Diblokir dari bagian Crawl dari Webmaster Tools.

Anda perlu file robots.txt hanya jika situs Anda termasuk konten yang Anda tidak ingin mesin pencari untuk mengindeks. Jika Anda ingin mesin pencari untuk mengindeks segala sesuatu di situs Anda, Anda tidak perlu file robots.txt (bahkan juga halaman kosong).

Meskipun Google tidak akan mengindeks konten halaman yang diblokir oleh robots.txt, kita mungkin masih indeks URL jika kita menemukan mereka di halaman lain di web. Akibatnya, URL halaman dan, berpotensi, informasi publik lainnya seperti jangkar teks dalam link ke situs, atau judul dari Open Directory Project (www.dmoz.org), dapat muncul dalam hasil pencarian Google.

Untuk menggunakan file robots.txt, Anda harus memiliki akses ke root domain Anda (jika Anda tidak yakin, periksa dengan hoster web Anda). Jika Anda tidak memiliki akses ke root domain, Anda dapat membatasi akses dengan menggunakan robot tag meta.

Untuk sepenuhnya mencegah isi suatu halaman dari yang tercantum dalam indeks web Google bahkan jika link ke situs lain itu, menggunakan meta tag noindex atau x-robot-tag. Selama Googlebot menjemput halaman, itu akan melihat meta tag noindex dan mencegah laman tersebut ditampilkan di indeks web.   header HTTP x-robot-tag sangat berguna jika Anda ingin membatasi pengindeksan file non-HTML seperti grafis atau jenis lain dari dokumen.
Sumber

Baca Juga Cara Membuat Robot Text Untuk Blogger