收錄-搜索引擎蜘蛛的工作原理

收錄的第一個環(huán)節(jié)就是抓取。抓取的過程是搜索引擎應用程序去抓取網(wǎng)站的網(wǎng)頁，這里負責搜索引擎抓取網(wǎng)頁職能的程序俗稱蜘蛛( Spider)，蜘蛛是一個形象的說法，因為互聯(lián)網(wǎng)就是一張巨大的蜘蛛網(wǎng)，搜索引擎的程序通過網(wǎng)絡不斷地進行爬行和探索。每個互聯(lián)網(wǎng)公司都有自己的抓取蜘蛛，比如百度蜘蛛(Baiduspider)、谷歌蜘蛛、搜狗蜘蛛等。
蜘蛛通過網(wǎng)站提交的Sitemap (網(wǎng)頁地圖)或者在互聯(lián)網(wǎng)其他地方留下的頁面URL信息，爬行到網(wǎng)站對應頁面，然后沿著網(wǎng)站頁面其他鏈接一層層往下爬行，發(fā)現(xiàn)更多的頁面。
 
        蜘蛛抓取網(wǎng)頁是收錄頁面工作的上游，通過蜘蛛對網(wǎng)頁的抓取，發(fā)現(xiàn)更多頁面，同時知道哪些頁面已經(jīng)有了更新，從而實現(xiàn)對互聯(lián)網(wǎng)頁面的抓取和持續(xù)更新。
 
        關于蜘蛛抓取系統(tǒng)的工作原理，可以參考百度蜘蛛抓取的說明。
簡而言之，蜘蛛抓取系統(tǒng)包括鏈接存儲系統(tǒng)、鏈接選取系統(tǒng)、DNS解析服務系統(tǒng)、抓取調(diào)度系統(tǒng)、網(wǎng)頁分析系統(tǒng)、鏈接提取系統(tǒng)、鏈接分析系統(tǒng)、網(wǎng)頁存儲系統(tǒng)。Baiduspider 通過這種系統(tǒng)的通力合作完成對互聯(lián)網(wǎng)頁面的抓取工作。