對(duì)網(wǎng)站SEO優(yōu)化人員來說，網(wǎng)站的收錄、排名、流量是我們必求的東西，但前提是，我們必須讓搜索引擎蜘蛛來抓我們的網(wǎng)站，否則網(wǎng)站內(nèi)容再有價(jià)值也是徒勞。
互聯(lián)網(wǎng)就像一張大網(wǎng)一樣形成搜索引擎是通過一個(gè)單一的鏈接來抓取網(wǎng)站頁面的，這個(gè)行為就變成了蜘蛛抓取，或者叫做網(wǎng)絡(luò)爬蟲
所謂的蜘蛛就是搜索引擎的一個(gè)程序軟件，它自動(dòng)地抓取頁面，蜘蛛會(huì)持續(xù)地訪問每個(gè)頁面的鏈接，
把html代碼數(shù)據(jù)輸入它自己的數(shù)據(jù)庫，這是搜索引擎的第一項(xiàng)任務(wù)，第二項(xiàng)任務(wù)是通過搜索引擎的排名算法來完成頁面的排名。
搜索引擎蜘蛛抓取原理
想要網(wǎng)站收錄，那么第一件事就是去給更新網(wǎng)站內(nèi)容，但第七城網(wǎng)絡(luò)運(yùn)營表示，有的時(shí)候你在這么更新原創(chuàng)內(nèi)容搜索引擎蜘蛛就是不收錄你的網(wǎng)站，這是什么原因呢？原因很簡單，就是你不了解搜索引擎蜘蛛的爬行原理以及抓取原理，何謂搜索引擎蜘蛛抓取原理？
1)縱向抓取原理: 深度優(yōu)先
當(dāng)搜索引擎蜘蛛進(jìn)入一個(gè)網(wǎng)站第一個(gè)入口之時(shí)，該蜘蛛就會(huì)順著第一個(gè)鏈接一直深入的縱向一個(gè)一個(gè)的頁面抓取，比如進(jìn)入第一個(gè)，在進(jìn)入下一個(gè)，再下下一個(gè)，直到進(jìn)入到無法在進(jìn)入，蜘蛛才會(huì)往返回去。
2)橫向抓取原理:廣度優(yōu)先
當(dāng)搜索引擎進(jìn)入網(wǎng)站的第一個(gè)入口的時(shí)候，該蜘蛛不會(huì)順著網(wǎng)站一個(gè)一個(gè)頁面去抓取，而是一層一層的抓取，也就是說，只有搜索引擎把第一層所有的鏈接抓取完了，才會(huì)進(jìn)入下一個(gè)鏈接去抓取其他頁面。
