青草久久影院-青草久久伊人-青草久久久-青草久久精品亚洲综合专区-SM双性精跪趴灌憋尿调教H-SM脚奴调教丨踩踏贱奴

17站長網

17站長網 首頁 網站 SEO優化 查看內容

robots是什么?robots mate和robots有什么區別

2023-8-4 14:49| 查看: 6430 |來源: 互聯網

Robots是什么robots是網站跟蜘蛛間的協議,當訪問站點時,它首先檢查機器人是否存在于站點的根目錄中。如果找到,蜘蛛就會按照該文件中的內容來確定訪問的范圍, ...

Robots是什么

robots是網站跟蜘蛛間的協議,當訪問站點時,它首先檢查機器人是否存在于站點的根目錄中。如果找到,蜘蛛就會按照該文件中的內容來確定訪問的范圍,如果該文件不存在,那么搜索機器人就沿著鏈接抓取。一定要注意txt文件必須放在站點的根目錄中,文件名必須為小寫。

robots.txt是一個純文本文件,在這個文件中網站管理者可以聲明該網站中不想被搜索引擎訪問的部分,或者指定搜索引擎只收錄指定的內容。因此,機器人的優化將直接影響到搜索引擎對站點的收錄。

只有在需要禁止抓取某些內容時,才寫robots。一些服務器設置是問題:當機器人文件不存在時,它返回200個狀態代碼和一些錯誤消息,而不是404頁面,這是因為搜索機器人誤讀了robots文件信息。

robots mate是什么

robots meta標簽主要是針對一個個具體的頁面。和其他的META標簽(如使用的語言、頁面的描述、關鍵詞等)一樣, robots meta標簽也是放在頁面的head>中,專門用來告訴搜索引擎機器人如何抓取該頁的內容。

follow指令表示搜索機器人可以沿著該頁面上的鏈接繼續抓取下去;

robots meta標簽的缺省值是index和follow;

index指令告訴搜索機器人抓取該頁面;

robots meta標簽中沒有大小寫之分,name=“robots”表示所有的搜索引擎,可以針對某個具體搜索引擎寫為name=“ baiduspider' content部分有四個指令選項index、noindex、follow、nofollow,指令間以“,”分隔。

Robots和robots mate的區別

目前來說,所有的搜索引擎都支持和遵守robots.txt的規定,但是支持robots mate的卻比較少,大家可以酌情使用。

本文最后更新于 2023-8-4 14:49,某些文章具有時效性,若有錯誤或已失效,請在網站留言或聯系站長:17tui@17tui.com
·END·
站長網微信號:w17tui,關注站長、創業、關注互聯網人 - 互聯網創業者營銷服務中心

免責聲明:本站部分文章和圖片均來自用戶投稿和網絡收集,旨在傳播知識,文章和圖片版權歸原作者及原出處所有,僅供學習與參考,請勿用于商業用途,如果損害了您的權利,請聯系我們及時修正或刪除。謝謝!

17站長網微信二維碼

始終以前瞻性的眼光聚焦站長、創業、互聯網等領域,為您提供最新最全的互聯網資訊,幫助站長轉型升級,為互聯網創業者提供更加優質的創業信息和品牌營銷服務,與站長一起進步!讓互聯網創業者不再孤獨!

掃一掃,關注站長網微信

大家都在看

    熱門排行

      最近更新

        返回頂部
        主站蜘蛛池模板: 美女视频黄色的 | 沙发上小泬12P | 芭乐视频网页版在线观看 | 精品少妇高潮蜜臀涩涩AV | 国产AV电影区二区三区曰曰骚网 | 24小时日本在线观看片 | 美女张开腿露出尿口扒开来摸动漫 | 狠狠色噜噜狠狠狠狠米奇777 | 国产精品久久久久一区二区三区 | 夜夜国产亚洲视频香蕉 | 欧美群交XXXCOM | 国产亚洲精品久久久久久国 | 欧美精品一区二区三区四区 | 在线观看免费视频a | 午夜家庭影院 | 亚洲精品乱码8久久久久久日本 | 十二月综合缴缴情 | 手机观看毛片 | 老女人与小伙子露脸对白 | 国产精品久久人妻无码蜜 | 色久久久综合88一本道 | 国产高清超清在线播放 | 2019午夜福利757视频第12集 | 色戒未删减版在线观看完整 | 亚洲综合国产在不卡在线 | 国产婷婷一区二区在线观看 | 美女诱惑性感揉胸 | 中文日产无乱码AV在线观 | 久久婷五月综合色啪首页 | 久久三级网站 | 亚洲国产精品综合久久一线 | 寂寞夜晚视频高清观看免费 | 欧美丝袜女同 | 熟女久久久久久久久久久 | 亚洲国产精品嫩草影院永久 | 日本欧美久久久久免费播放网 | 国产乱码精品AAAAAAAA | 99综合之综合久久伊人 | 天天看高清影视在线18 | 免费无码一区二区三区蜜桃大 | 20岁αsrian男同志免费 |