購物車中還沒有商品,趕緊選購吧!

流量異常增多,常見原因查找方法

發布日期:2019-01-28 閱讀:3452


下載日志,再使用工具editplus打開日志

 

一、查看有沒有大量重復訪問的IP

一般這種IP都是搜索引擎抓取IP段,比如谷歌蜘蛛抓取(Googlebot),百度蜘蛛抓取(Baiduspider、Baiduspider-render)。

 

注意:Baiduspider-render是訪問網站的 CSS、Javascript 和圖片信息。

如果查看到這個蜘蛛出現的次數很多,而客戶網站圖片又比較大,則消耗的流量就會增加,建議把圖片處理小。

 

IP段:

image.png

 

谷歌蜘蛛(Googlebot):

image.png

百度蜘蛛(Baiduspider):

image.png

 

百度蜘蛛(Baiduspider-render):

image.png

 

針對以上的異常蜘蛛抓取,處理方法如下:

1、在后臺robots禁止谷歌抓取

User-agent: Googlebot

Disallow: /

參考位置,加在這里:

image.png

2、調低百度蜘蛛抓取頻率。

登陸百度站長調整。

3、還有個方法,就是幫屏蔽這些抓取IP(僅限客戶自有服務器)。

 

二、移動端抓取

思途cms系統,后臺做的robots屏蔽僅針對PC端,手機端沒做。

但可以把robots屏蔽里面的代碼另存為txt文檔,上傳到服務器手機端根目錄下。

 

主要就是1、2點,屏蔽搜索引擎的大量抓取,再觀察后續流量是否降低。

  

其他處理(針對網站優化)

三、屏蔽列表頁抓取

為什么要屏蔽搜索引擎抓取列表頁?

原因:列表頁url很長,收錄也沒內容,對于排名沒作用,還會分散權重

 

看日志里,搜索引擎訪問的頁面鏈接地址,分辨列表頁:

image.png

以上這些就是列表頁,可以看到搜索引擎抓取了很多列表頁。

Disallow: /*-*

Disallow: /*?*

用這段代碼,屏蔽搜索引擎抓取列表頁。

可以加在這個位置:

image.png

四、處理404頁面

訪問日志中如看到大量404頁面,就要去百度站長提交處理死鏈

在HTTP/1.1 后面,是404就表示訪問的頁面已經不在了,死頁面,要處理;

后面顯示200,就表示正常抓取,頁面存在

 

image.png

其他要點:

在網址后面+robots.txt 可以不登錄后臺就看到它的robots設置。


以上內容是否對您有幫助? 您的反饋信息提交成功,謝謝您的反饋!

會員評論

在線客服
微信咨詢
微信咨詢
現在咨詢,獲取演示賬號
企業logo小米
立即掃碼加我微信
電話咨詢
咨詢電話
028-61558715
預約演示
东京热T0KY0综合久久,激情国产片一区二区二区,亚洲最大看欧美片网站,日韩久久久精品中文字幕
日韩按摩在线一区 | 亚洲日韩欧洲不卡在线观看 | 日韩精品网站一区 | 午夜福利性爱片在线播放 | 亚洲AV日韩综合一区尤物 | 亚洲国产高清一区二区三区 |