Sabtu, 11 Maret 2017

Tabel Daftar User-agent laba-laba mesin pencari

Tabel Daftar User-agent laba-laba mesin pencari

Di bawah ini adalah tabel daftar User-agent  yang dapat Anda gunakan untuk mencocokkan laba-laba mesin pencari (
search engine spiders) yang paling umum digunakan dalam membuat berkas robots.txt  di website Anda :

Search engineFieldUser-agent
BaiduGeneralbaiduspider
BaiduImagesbaiduspider-image
BaiduMobilebaiduspider-mobile
BaiduNewsbaiduspider-news
BaiduVideobaiduspider-video
BingGeneralbingbot
BingGeneralmsnbot
BingImages & Videomsnbot-media
BingAdsadidxbot
GoogleGeneralGooglebot
GoogleImagesGooglebot-Image
GoogleMobileGooglebot-Mobile
GoogleNewsGooglebot-News
GoogleVideoGooglebot-Video
GoogleAdSenseMediapartners-Google
GoogleAdWordsAdsBot-Google
Yahoo!Generalslurp
YandexGeneralyandex
Contoh robot.txt
sitemap: https://hidayahcollection.com/sitemap.xml
# disallow all files in these directories
User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /cgi-bin/
Disallow: /wp-content/
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /archives/
Disallow: /wp-includes/js
Disallow: /trackback
Disallow: /category/*/*
Disallow: */trackback/
Disallow: *?replytocom
Disallow: /author
Disallow: /comments/feed/
Disallow: */trackback/
Disallow: /wp-*
Disallow: /*?*
Disallow: /*?
Disallow: /*~*
Disallow: /*~
User-Agent: Googlebot
Disallow: /deep/
Allow: /deep/*.js
Allow: /deep/*.css

Baris kedua di setiap blok arahan adalah garis Disallow. Anda dapat memiliki satu atau lebih dari garis-garis ini, menentukan bagian dari situs laba-laba yang ditentukan tidak dapat mengakses. Baris Disallow kosong berarti Anda tidak melarang apa-apa, jadi pada dasarnya itu berarti bahwa laba-laba dapat mengakses semua bagian dari situs Anda.

Contoh di bawah ini akan memblokir semua mesin pencari yang "mendengarkan" untuk robots.txt merayapi situs Anda.
User-agent: *
Disallow: /

Contoh di bawah ini memungkinkan semua mesin pencari untuk menjelajah seluruh situs Anda.
User-agent: *
Disallow:

Contoh di bawah ini akan memblokir Google dari merangkak Photo direktori di situs Anda dan segala sesuatu di dalamnya. Ini berarti semua subdirektori dari /Photo direktori juga tidak akan jelajahi. Ini akan  tidak memblokir Google dari merangkak photo direktori, seperti garis-garis ini adalah kasus sensitif.
User-agent: GooglebotDisallow: / Photo



Silahkan berikan komentar Anda di laman ini.
Tautan (live links) spam dalam komentar akan terhapus secara otomatis.
Jika ingin menyisipkan tautan silakan gunakan tag: <i rel="URL">URL ANDA</i>
Untuk menyisipkan judul, gunakan tag <b rel="h3">TEKS JUDUL ANDA DI SINI</b>
Untuk menyisipkan gambar, gunakan tag <i rel="image">Tulis URL GAMBAR Anda di sini </i>
Untuk menyisipkan kode, gunakan tag <i rel="code">Tulis KODE ANDA di sini</i>
Kode yang panjang bisa menggunakan tag <i rel="pre"> KODE PANJANG di sini</i>
Untuk menciptakan efek tebal gunakan tag <b>TEKS TEBAL ANDA DI SINI</b>
Untuk menciptakan efek tulisan miring gunakan tag <i>TEKS MIRING ANDA DI SINI</i>

/* */