青草久久影院-青草久久伊人-青草久久久-青草久久精品亚洲综合专区-SM双性精跪趴灌憋尿调教H-SM脚奴调教丨踩踏贱奴

17站長網

17站長網 首頁 網站 SEO優化 查看內容

robots是什么?robots mate和robots有什么區別

2023-8-4 14:49| 查看: 6430 |來源: 互聯網

Robots是什么robots是網站跟蜘蛛間的協議,當訪問站點時,它首先檢查機器人是否存在于站點的根目錄中。如果找到,蜘蛛就會按照該文件中的內容來確定訪問的范圍, ...

Robots是什么

robots是網站跟蜘蛛間的協議,當訪問站點時,它首先檢查機器人是否存在于站點的根目錄中。如果找到,蜘蛛就會按照該文件中的內容來確定訪問的范圍,如果該文件不存在,那么搜索機器人就沿著鏈接抓取。一定要注意txt文件必須放在站點的根目錄中,文件名必須為小寫。

robots.txt是一個純文本文件,在這個文件中網站管理者可以聲明該網站中不想被搜索引擎訪問的部分,或者指定搜索引擎只收錄指定的內容。因此,機器人的優化將直接影響到搜索引擎對站點的收錄。

只有在需要禁止抓取某些內容時,才寫robots。一些服務器設置是問題:當機器人文件不存在時,它返回200個狀態代碼和一些錯誤消息,而不是404頁面,這是因為搜索機器人誤讀了robots文件信息。

robots mate是什么

robots meta標簽主要是針對一個個具體的頁面。和其他的META標簽(如使用的語言、頁面的描述、關鍵詞等)一樣, robots meta標簽也是放在頁面的head>中,專門用來告訴搜索引擎機器人如何抓取該頁的內容。

follow指令表示搜索機器人可以沿著該頁面上的鏈接繼續抓取下去;

robots meta標簽的缺省值是index和follow;

index指令告訴搜索機器人抓取該頁面;

robots meta標簽中沒有大小寫之分,name=“robots”表示所有的搜索引擎,可以針對某個具體搜索引擎寫為name=“ baiduspider' content部分有四個指令選項index、noindex、follow、nofollow,指令間以“,”分隔。

Robots和robots mate的區別

目前來說,所有的搜索引擎都支持和遵守robots.txt的規定,但是支持robots mate的卻比較少,大家可以酌情使用。

本文最后更新于 2023-8-4 14:49,某些文章具有時效性,若有錯誤或已失效,請在網站留言或聯系站長:17tui@17tui.com
·END·
站長網微信號:w17tui,關注站長、創業、關注互聯網人 - 互聯網創業者營銷服務中心

免責聲明:本站部分文章和圖片均來自用戶投稿和網絡收集,旨在傳播知識,文章和圖片版權歸原作者及原出處所有,僅供學習與參考,請勿用于商業用途,如果損害了您的權利,請聯系我們及時修正或刪除。謝謝!

17站長網微信二維碼

始終以前瞻性的眼光聚焦站長、創業、互聯網等領域,為您提供最新最全的互聯網資訊,幫助站長轉型升級,為互聯網創業者提供更加優質的創業信息和品牌營銷服務,與站長一起進步!讓互聯網創業者不再孤獨!

掃一掃,關注站長網微信

大家都在看

    熱門排行

      最近更新

        返回頂部
        主站蜘蛛池模板: 亚洲日韩欧美国产专区 | 欧美美女论坛 | 红桃视频国产AV | 成人小视频在线观看免费 | 成人国产三级在线播放 | 久久九九精品国产自在现线拍 | 全黄H全肉细节文NP 全黄h全肉细节全文 | 亚洲a免费| 小伙无套内射老女人 | 久久偷拍免费2017 | 少爷被多个暗卫肉高h | 成a人片亚洲日本久久 | 久久免费看少妇高潮A片JA | 亚洲精品不卡在线 | 乱亲女H秽乱长久久久 | 日本污ww视频网站 | 美女被触手注入精子强制受孕漫画 | 亚洲三区视频 | 久久是热频国产在线 | 亚洲日本欧美产综合在线 | 久久精品久久久 | 在线观看免费国产成人软件 | 在线观看视频一区 | 无码人妻丰满熟妇啪啪网不卡 | 成人免费在线视频 | 1313久久国产午夜精品理论片 | 夜夜躁日日躁狠狠 | 伊人影院网 | 果冻传媒MV免费播放在线观看 | 99精品热视频30在线热视频 | 午夜福利免费0948视频 | 久久这里只精品热在线18 | 亚洲乱码国产乱码精品精98 | 午夜快车神马影视 | 好色美女小雅 | 美女脱内衣裸身尿口露出来 | 首页 国产 亚洲 中文字幕 | 国产综合自拍 偷拍在线 | 扒开老师大腿猛进AAA片软件 | 国产成人拍精品免费视频爱情岛 | 伊人青青久 |