新聞動(dòng)態(tài)News information
您的位置:首頁(yè)>新聞動(dòng)態(tài)
新聞動(dòng)態(tài)
上面介紹了影響B(tài)aidu spider正常抓取的原因,下面介紹Baidu spider的一些判斷原則。在建庫(kù)環(huán)節(jié)前,Baidu spider會(huì)對(duì)頁(yè)面進(jìn)行初步內(nèi)容分析和鏈接分析,通過(guò)內(nèi)容分析決定該網(wǎng)頁(yè)是否需要建索引庫(kù),通過(guò)鏈接分析發(fā)現(xiàn)更多網(wǎng)頁(yè),再對(duì)更多網(wǎng)頁(yè)進(jìn)行抓取—一分析是否建庫(kù)&發(fā)現(xiàn)新鏈接的流程。理論上,Baidu spider會(huì)將新頁(yè)面上所有能“看到”的鏈接都抓取回來(lái)。那么,面對(duì)眾多新鏈接, Bartender根據(jù)以下兩個(gè)方面判斷哪個(gè)更重要。
(1)對(duì)用戶的價(jià)值
①內(nèi)容獨(dú)特,百度搜索引擎喜歡 unigue的內(nèi)容。
②主體突出,切不要出現(xiàn)網(wǎng)站制作主體內(nèi)容不突出而被搜索引擎誤判為空短頁(yè)面不抓取的情況。
③內(nèi)容豐富。
④廣告適當(dāng)。
(2)鏈接的重要程度
①目錄層級(jí)——淺層優(yōu)先。
②鏈接在站內(nèi)的受歡迎程度。
下一篇: Baidu spider抓取異常的原因