User Agent 是什么？
用戶代理（User Agent，簡稱 UA），是一個特殊字符串頭，使得服務器能夠識別客戶使用的操作系統及版本、CPU 類型、瀏覽器及版本、瀏覽器渲染引擎、瀏覽器語言、瀏覽器插件等。
通常情況下這些爬蟲都有固定特征的 User Agent(UA) ，下面的部分將會分享各家搜索引擎的 UA 特征。然而 User Agent 是請求頭中的一個選項設置，是可以偽裝的，這個方法只能告訴我們，這個請求/訪問/IP 不是爬蟲，而無法確切的告訴我們它是，所以通過 User Agent 判斷請求的發起者是否是搜索引擎爬蟲的方式是不靠譜的。
常見搜索引擎 user-agent列表
| 搜索引擎 | user-agent | 備注 |
|---|---|---|
| 百度 | Baiduspider/2.0 Baiduspider-image |
常見百度旗下同類型蜘蛛還有下面這些：Baiduspider-mobile（抓取wap）、Baiduspider-image（抓取圖片）、Baiduspider-video（抓取視頻）、Baiduspider-news（抓取新聞）
百度蜘蛛IP：
|
| Bing | bingbot/2.0 |
Bing蜘蛛IP：
|
| Googlebot/2.1 |
Google蜘蛛IP：
|
|
| 搜狗sogou | Sogou+web+spider/4.0 |
搜狗蜘蛛IP：
|
| 神馬搜索 | Yisouspider | 原屬一搜蜘蛛。
神馬搜索IP：
|
| 360搜索 | 360Spider |
360搜索蜘蛛IP：
|
| 今日頭條 | Bytespider |
今日頭條蜘蛛IP：
|
| Yahoo | Yahoo! |
Yahoo蜘蛛IP：
|
