Entries Tagged as 'googlebot'

咱们也当一回Google抓取机器人

bethebot

神秘的Google抓取机器人(googlebot),每天都在悄悄的抓取新建网站或者已收录网站的更新,把它们添加到google索引当中。那么抓取机器人看到的网页和我们平常看到的网页有什么不同呢?

Be the bot用了点小伎俩(大概是把自己的访问程序的header也叫做googlebot), 可以让大家用googlebot的眼睛看网站。操作很简单,在地址栏里键入网址,go!

bethebot-1

呵呵,还可以体验一下雅虎的抓取机器人哟。

BeTheBot -Tricks a website’s headers, into thinking that you are google so you can see the content you want.(via simplespark)

  • Partner links