為什麼老共這麼喜歡做搜尋引擎?

自己的server loading又有點高,看看log,又是老共的搜尋引擎過來抓資料,之前擋了baidu、sogou、yodao,還有一個用larbin library也不講自己是啥公司的,這次是qihoo,怎麼這麼多人在作搜尋引擎啊?而且這些bot都有幾個特點:不講怎麼設robot.txt,也不看robot.txt,然後一天給你存取六七百個page,實在是一整個怒啊~~~qihoo還給我一次抓三頁,被我發現之後只有全部擋掉的份了。

三月 15th, 2007 | Posted in 資訊科技
No comments yet.

Leave a comment

XHTML: You can use these tags: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <pre lang="" line="" escaped="" highlight="">