小創(chuàng):谷歌的網頁抓取機器人, 也叫“爬蟲”,是谷歌主要抓取工具的通用名稱,類似于中國的Baiduspider(百度蜘蛛), Googlebot 會持續(xù)不斷地抓取網頁。
對我們感興趣?
聊一聊~