繼上次頭條搜索暴力爬取網(wǎng)站信息后，華為移動(dòng)搜索AspiegelBot爬蟲(chóng)近日也被站長(zhǎng)發(fā)現(xiàn)開(kāi)始高頻抓爬網(wǎng)站信息，就和站長(zhǎng)頭條差不多。

　　了解到，這個(gè)AspiegelBot爬蟲(chóng)主要模擬安卓機(jī)進(jìn)行抓爬 , UA標(biāo)識(shí)符里也沒(méi)有標(biāo)注爬蟲(chóng)所屬公司信息，顯然不想讓人發(fā)現(xiàn)，后面有站長(zhǎng)深挖才發(fā)現(xiàn)這個(gè)爬蟲(chóng)屬華為搜索旗下的AspiegelBot公司，并且AspiegelBot的爬蟲(chóng)超高頻抓取甚至堪比上次的頭條爬蟲(chóng)的暴力抓取，很多被爬的一些小網(wǎng)站很多直接癱瘓，開(kāi)始屏蔽華為搜索AspiegelBot爬蟲(chóng)的訪問(wèn)。

　　有站長(zhǎng)表示： 這次華為移動(dòng)搜索AspiegelBot爬蟲(chóng)高頻爬取跟就和站長(zhǎng)頭條差不多，也是大量抓取網(wǎng)站信息，一般搜索引擎只有開(kāi)始大量建立索引庫(kù)才會(huì)這么玩，跟剛上線時(shí)的頭條搜索一個(gè)套路，看來(lái)華為搜索也是要準(zhǔn)備進(jìn)場(chǎng)了!