首頁 > 服務器 > Linux服務器 > 正文

linux下5條提取百度蜘蛛Apache日志的命令

2020-02-09 11:01:36
字體:
來源:轉載
供稿:網友

考慮到平時要做優化,看百度爬蟲到底爬取了哪些目錄,哪些鏈接或目錄被爬取的次數比較少,以便對頁面的鏈接做nofollow,robots.txt等屏蔽處理,引導爬蟲抓取哪些需要被爬取的頁面,提升整體的收錄率。

總結了用的較多幾條命令:

提取Apache日志百度蜘蛛的相關爬行記錄

1. 百度蜘蛛爬行的次數 cat access_log | grep Baiduspider+ | wc 最左面的數值顯示的就是爬行次數。

2. 百度蜘蛛的詳細記錄(Ctrl+C可以終止) cat access_log | grep Baiduspider+ 也可以用下面的命令: cat access_log | grep Baiduspider+ | tail -n 10 cat access_log | grep Baiduspider+ | head -n 10 只看最后10條或最前10條,這用就能知道這個日志文件的開始記錄的時間和日期。

3. 百度蜘蛛抓取首頁的詳細記錄 cat access_log | grep Baiduspider+ | grep “GET / HTTP”

4. 百度蜘蛛派性記錄時間點分布 cat access_log | grep “Baiduspider+” | awk ‘{print $4}’

5. 百度蜘蛛爬行頁面按次數降序列表 cat access_log | grep “Baiduspider+” | awk ‘{print $7}’ | sort | uniq -c | sort

發表評論 共有條評論
用戶名: 密碼:
驗證碼: 匿名發表
金玫玫床戏