咱们也当一回Google抓取机器人
Posted on March 28th, 2008 by sawyer
神秘的Google抓取机器人（googlebot），每天都在悄悄的抓取新建网站或者已收录网站的更新，把它们添加到google索引当中。那么抓取机器人看到的网页和我们平常看到的网页有什么不同呢？
Be the bot用了点小伎俩（大概是把自己的访问程序的header也叫做googlebot）， 可以让大家用googlebot的眼睛看网站。操作很简单，在地址栏里键入网址，go！
呵呵，还可以体验一下雅虎的抓取机器人哟。
BeTheBot -Tricks a website’s headers, into thinking that you are google so you can see the content you want.(via simplespark)
Discussion Area - Leave a Comment