圖片動畫
圖片動畫
新聞內容
什么是robots文件
發布時間 2012-07-10

        搜索機器人又叫搜索蜘蛛,在訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt文件。如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,那么搜索機器人就會沿著鏈接抓取。
       
         robots.txt必須放置在一個站點的根目錄下,而且文件名必須全部小寫。如://www.sdxkg.icu/robots.txt
       
        只有在需要禁止抓取某些內容時,寫robots.txt才有意義。有的服務器設置有問題,robots文件不存在時會返回200狀態碼及一些錯誤信息,而不是404狀態碼,這有可能是搜索機器人錯誤解讀robots文件信息,所以建議就算允許抓取所有內容,也要建一個空的robots文件。

[ 點擊數:] [打印本網頁] [關閉本窗口]
相關內容
 
 
 
 
圖片動畫

版權所有 蘭州金石網絡科技有限公司 任何公司及個人不得復制,違者將依法追究責任,特此聲明。
公司地址:蘭州市城關區慶陽路勝利賓館西樓410室
咨詢電話:0931-8454481    13919445350
公司法律顧問:北京高度律師事務所 汪紅梅律師 

中国体育彩票大乐透机选 幸运飞艇是官方开奖走势图 牛牛的4花牛是什么牌型 腾讯分分彩计划软件安卓版 047期稳赚包六肖 赛车北京pk10官方网站 后四一码不定位稳赚 抢庄牌九网站 北京pk10怎么玩 彩票怎么才能稳赚 棋牌赢钱游戏 北京pk10计划微信群 慈善网787920开奖详情 重庆彩五星基本走势图 福老时时 彩票投注单打印软件