最近，百度第一次以官方形式公開了識別百度蜘蛛的信息，并且表示百度蜘蛛 UA(爬行渠道)目前分為 PC、移動、小程序三個應(yīng)用場景。還給出了網(wǎng)站識別百度蜘蛛的一些渠道ua示例!
 在小程序沒有出來之前，百度的抓取一般是只針對移動和pc的網(wǎng)頁內(nèi)容，這個一般做網(wǎng)站的都了解，但是在百度最近迷上小程序之后，對小程序的流量傾斜不止一次的在重復(fù)，因此相比原來的的 PC 端和移動端，這次百度蜘蛛的爬行渠道也著重提到了百度寄以厚望百度智能小程序，因?yàn)榘俣刃〕绦蛞彩侵С忠苿佣耍酝瑯右材鼙槐话俣戎┲胱ト〉? 此外百度官網(wǎng)也給出了作為判斷是否是百度蜘蛛的移動、PC、和小程渠道UA示例如圖：
 此外磊哥還了解到，站長們也可以通過 DNS 反查 IP 的方式判斷來你站spider 是否來自百度搜索引擎。百度蜘蛛的 hostname 以*.baidu.com 或*.baidu.jp 的格式命名，非*.baidu.com 或*.baidu.jp 一般就是冒充，大家可以酌情屏蔽自己不需要的蜘蛛和來源訪問。 |
