網站日志分析spider對網站的爬行情況
發布時間：2025-06-16 點擊：10
前面咱們的網站建設知識庫中講到了spider的用處，介紹了常用spider的稱號和spider在搜索引擎中的工作方式。詳細請閱覽《spider知多少》一文。今日咱們來講講怎么運用spider的匍匐狀況剖析網站的優化狀況。這個能記載spider匍匐狀況的文件即是網站日志文件。
網站日志包含著對網站一切拜訪記載，包含人工閱讀和蜘蛛抓取。這個網站日志能夠自定義生成的項目：比方頁面拜訪來歷、拜訪ip、拜訪時刻、拜訪署理、拜訪者閱讀器版別、拜訪者所用電腦系統、拜訪狀況等等。閱讀量越大的網站，這個日志文件就越大。當然能夠自定義網站日志的生成距離，詳細辦法能夠參照iis日志設置辦法。關于實在訪客的閱讀，咱們沒必要經過網站日志剖析，直接在頁面上增加一個多功能的數據計算代碼，咱們就能很方便地知道用戶拜訪網站的時刻、地址、進口頁、來歷連接、停留時刻、拜訪深度等。如今首要說運用網站日志剖析搜索引擎蜘蛛spider的行動。
要剖析spider，網站日志需求有以下幾項：拜訪時刻、來訪ip、拜訪署理標識、拜訪狀況。其他的就不是有必要的了。因為大多數站長都專心于baidu搜索引擎里的排行，咱們就拿baiduspider為例說說不相同的spider對網站狀況的不相同反映。
baiduspider名叫baiduspider或baiduspider2.0，以及baidu圖像蜘蛛baiduspider-image，從網站日志里能夠經過這兩個姓名來找到baidu蜘蛛。接下來即是讀取baidu蜘蛛的ip和拜訪狀況碼。
123.125.68.*這個蜘蛛經常來,另外來的少,表明網站能夠要進入沙盒了，或被者降權。
220.181.68.*每天這個ip 段只增不減很有能夠進沙盒或k站。
220.181.7.*、123.125.66.* 代表baidu蜘蛛ip拜訪，預備抓取你東西。
121.14.89.*這個ip段作為度過新站考察期。
203.208.60.*這個ip段出如今新站及站點有不正常表象后。
210.72.225.*這個ip段不間斷巡查各站。
125.90.88.* 廣東茂名市電信也歸于baidu蜘蛛ip 首要形成成分，是新上線站較多，還有運用過站長東西，或seo歸納檢測形成的。
220.181.108.95這個是baidu抓取主頁的專用ip，如是220.181.108段的話，根本來說你的網站會每天隔夜快照，肯定錯不了的，我確保。
220.181.108.92 同上98%抓取主頁，能夠還會抓取其他 (不是指內頁)220.181段歸于權重ip段此段爬過的文章或主頁根本24小時放出來。
123.125.71.106 抓取內頁錄入的，權重較低，爬過此段的內頁文章不會很快放出來，因不是自創或收集文章。
220.181.108.91歸于歸納的，首要抓取主頁和內頁或其他，歸于權重ip 段，爬過的文章或主頁根本24小時放出來。
220.181.108.75要點抓取更新文章的內頁到達90%，8%抓取主頁，2%其他。權重ip 段，爬過的文章或主頁根本24小時放出來。
220.181.108.86專用抓取主頁ip 權重段，通常回來代碼是304 0 0 代表未更新。
123.125.71.95 抓取內頁錄入的，權重較低，爬過此段的內頁文章不會很快放出來，因不是自創或收集文章。
123.125.71.97 抓取內頁錄入的，權重較低，爬過此段的內頁文章不會很快放出來，因不是自創或收集文章。
220.181.108.89專用抓取主頁ip 權重段，通常回來代碼是304 0 0 代表未更新。
220.181.108.94專用抓取主頁ip 權重段，通常回來代碼是304 0 0 代表未更新。
220.181.108.97專用抓取主頁ip 權重段，通常回來代碼是304 0 0 代表未更新。
220.181.108.80專用抓取主頁ip 權重段，通常回來代碼是304 0 0 代表未更新。
220.181.108.77 專用抓主頁ip 權重段，通常回來代碼是304 0 0 代表未更新。
123.125.71.117 抓取內頁錄入的，權重較低，爬過此段的內頁文章不會很快放出來，因不是自創或收集文章。
220.181.108.83專用抓取主頁ip 權重段，通常回來代碼是304 0 0 代表未更新。
注：以上ip尾數還有許多，但段位相同的123.125.71.*段ip 代表抓取內頁錄入的權重比較低.能夠因為你收集文章或拼文章暫時被錄入但不放出來.(意思也即是說待定)。
220.181.108.*段ip首要是抓取主頁占80%，內頁占30%，這此爬過的文章或主頁，肯定24小時內放出來和隔夜快照的，這點我能夠確保!
通常成功抓取回來代碼都是 200 0 0回來304 0 0代表網站沒更新，蜘蛛來過，如果是 200 0 64別憂慮這不是k站，能夠是網站是動態的，所以回來即是這個代碼。
125.90.88.96,117.28.255.42能夠是運用站長東西進行seo歸納檢測形成，注意在剖析蜘蛛的時分把此ip除掉。
有了這些ip和狀況碼，咱們能夠簡略判別一下網站的狀況，哪些頁面該準時更新，哪里頁面能夠現已被降權，哪些頁面被蜘蛛頻頻抓取，以及哪些時段baidu蜘蛛活動頻頻。頻頻的時分盡量出現給蜘蛛多一些自創內容，信任蜘蛛不會虧負你的。
外貿網站推廣優化怎么才能做好
如何讓網站形成營銷特征
做網站前，需要掌握哪些基礎建站知識
網站產品詳情頁，改變圖片比例使得圖片顯示完整
廣州營銷型網站建設的特點介紹
怎么進行網站制作才會更容易被百度抓取
為什么黑客從不用鼠標，一直在敲鍵盤？看完長見識了
網絡公司應該側重技術還是銷售？
網站日志包含著對網站一切拜訪記載，包含人工閱讀和蜘蛛抓取。這個網站日志能夠自定義生成的項目：比方頁面拜訪來歷、拜訪ip、拜訪時刻、拜訪署理、拜訪者閱讀器版別、拜訪者所用電腦系統、拜訪狀況等等。閱讀量越大的網站，這個日志文件就越大。當然能夠自定義網站日志的生成距離，詳細辦法能夠參照iis日志設置辦法。關于實在訪客的閱讀，咱們沒必要經過網站日志剖析，直接在頁面上增加一個多功能的數據計算代碼，咱們就能很方便地知道用戶拜訪網站的時刻、地址、進口頁、來歷連接、停留時刻、拜訪深度等。如今首要說運用網站日志剖析搜索引擎蜘蛛spider的行動。
要剖析spider，網站日志需求有以下幾項：拜訪時刻、來訪ip、拜訪署理標識、拜訪狀況。其他的就不是有必要的了。因為大多數站長都專心于baidu搜索引擎里的排行，咱們就拿baiduspider為例說說不相同的spider對網站狀況的不相同反映。
baiduspider名叫baiduspider或baiduspider2.0，以及baidu圖像蜘蛛baiduspider-image，從網站日志里能夠經過這兩個姓名來找到baidu蜘蛛。接下來即是讀取baidu蜘蛛的ip和拜訪狀況碼。
123.125.68.*這個蜘蛛經常來,另外來的少,表明網站能夠要進入沙盒了，或被者降權。
220.181.68.*每天這個ip 段只增不減很有能夠進沙盒或k站。
220.181.7.*、123.125.66.* 代表baidu蜘蛛ip拜訪，預備抓取你東西。
121.14.89.*這個ip段作為度過新站考察期。
203.208.60.*這個ip段出如今新站及站點有不正常表象后。
210.72.225.*這個ip段不間斷巡查各站。
125.90.88.* 廣東茂名市電信也歸于baidu蜘蛛ip 首要形成成分，是新上線站較多，還有運用過站長東西，或seo歸納檢測形成的。
220.181.108.95這個是baidu抓取主頁的專用ip，如是220.181.108段的話，根本來說你的網站會每天隔夜快照，肯定錯不了的，我確保。
220.181.108.92 同上98%抓取主頁，能夠還會抓取其他 (不是指內頁)220.181段歸于權重ip段此段爬過的文章或主頁根本24小時放出來。
123.125.71.106 抓取內頁錄入的，權重較低，爬過此段的內頁文章不會很快放出來，因不是自創或收集文章。
220.181.108.91歸于歸納的，首要抓取主頁和內頁或其他，歸于權重ip 段，爬過的文章或主頁根本24小時放出來。
220.181.108.75要點抓取更新文章的內頁到達90%，8%抓取主頁，2%其他。權重ip 段，爬過的文章或主頁根本24小時放出來。
220.181.108.86專用抓取主頁ip 權重段，通常回來代碼是304 0 0 代表未更新。
123.125.71.95 抓取內頁錄入的，權重較低，爬過此段的內頁文章不會很快放出來，因不是自創或收集文章。
123.125.71.97 抓取內頁錄入的，權重較低，爬過此段的內頁文章不會很快放出來，因不是自創或收集文章。
220.181.108.89專用抓取主頁ip 權重段，通常回來代碼是304 0 0 代表未更新。
220.181.108.94專用抓取主頁ip 權重段，通常回來代碼是304 0 0 代表未更新。
220.181.108.97專用抓取主頁ip 權重段，通常回來代碼是304 0 0 代表未更新。
220.181.108.80專用抓取主頁ip 權重段，通常回來代碼是304 0 0 代表未更新。
220.181.108.77 專用抓主頁ip 權重段，通常回來代碼是304 0 0 代表未更新。
123.125.71.117 抓取內頁錄入的，權重較低，爬過此段的內頁文章不會很快放出來，因不是自創或收集文章。
220.181.108.83專用抓取主頁ip 權重段，通常回來代碼是304 0 0 代表未更新。
注：以上ip尾數還有許多，但段位相同的123.125.71.*段ip 代表抓取內頁錄入的權重比較低.能夠因為你收集文章或拼文章暫時被錄入但不放出來.(意思也即是說待定)。
220.181.108.*段ip首要是抓取主頁占80%，內頁占30%，這此爬過的文章或主頁，肯定24小時內放出來和隔夜快照的，這點我能夠確保!
通常成功抓取回來代碼都是 200 0 0回來304 0 0代表網站沒更新，蜘蛛來過，如果是 200 0 64別憂慮這不是k站，能夠是網站是動態的，所以回來即是這個代碼。
125.90.88.96,117.28.255.42能夠是運用站長東西進行seo歸納檢測形成，注意在剖析蜘蛛的時分把此ip除掉。
有了這些ip和狀況碼，咱們能夠簡略判別一下網站的狀況，哪些頁面該準時更新，哪里頁面能夠現已被降權，哪些頁面被蜘蛛頻頻抓取，以及哪些時段baidu蜘蛛活動頻頻。頻頻的時分盡量出現給蜘蛛多一些自創內容，信任蜘蛛不會虧負你的。
外貿網站推廣優化怎么才能做好
如何讓網站形成營銷特征
做網站前，需要掌握哪些基礎建站知識
網站產品詳情頁，改變圖片比例使得圖片顯示完整
廣州營銷型網站建設的特點介紹
怎么進行網站制作才會更容易被百度抓取
為什么黑客從不用鼠標，一直在敲鍵盤？看完長見識了
網絡公司應該側重技術還是銷售？
下一篇：嘉定做網站如何進行seo優化？