<nav id="hvwyy"></nav>

    <rp id="hvwyy"></rp>

    <em id="hvwyy"></em>

    1. <rp id="hvwyy"></rp>

        <em id="hvwyy"><acronym id="hvwyy"></acronym></em>

        <nav id="hvwyy"></nav>
      1. 網站SEO優化中Robots是什么意思,Robots.txt文件怎么寫 | 網站優化公司 | SEO培訓
        帝國網絡 | 網絡整合營銷專家
        網站SEO優化中Robots是什么意思,Robots.txt文件怎么寫

        網站SEO優化中Robots是什么意思,Robots.txt文件怎么寫

        瀏覽: 作者: SEO工程師 發布時間:2020-02-04 21:12:56

        網站優化公司網站SEO優化中Robots是什么意思,Robots.txt文件怎么寫

        Robots在網站SEO優化工作中,是比較重要的一個環節,特別是當你的網站包含不希望被搜索引擎收錄的內容的時候,Robots.txt文件能告訴蜘蛛哪些可以抓取,哪些不能抓取。很多新手和站長朋友對Robots不是很了解,今天,網站SEO優化—梓琳SEO為大家分享的是:網站SEO優化中Robots是什么意思,Robots.txt文件怎么寫


        Robots是什么意思
        網站SEO優化中Robots是什么意思,Robots . txt的定義

        Robots . txt又稱爬蟲協議、機器人協議等。簡單的來說,它告訴搜索引擎哪些頁面可以被抓取,哪些頁面不能被抓取。當蜘蛛訪問站點時,它首先檢查robots.txt是否存在于站點的根目錄中。如果存在,蜘蛛將根據Robots . txt文件內容確定訪問范圍;如果Robots . txt文件不存在,蜘蛛將訪問站點上的所有頁面。

        網站SEO優化中,Robots的作用

        1. 引導搜索引擎蜘蛛抓取特定的內容或者欄目;

        2. 屏蔽對搜索引擎不友好的鏈接,特別是網站版面大幅度修改或URL重寫優化的時候;

        3. 屏蔽死鏈和404錯誤頁面;

        4. 屏蔽無內容、無價值的頁面,比如客戶留言頁面;

        5. 屏蔽重復頁面,如評論頁面,搜索結果頁面;

        6. 屏蔽任何不想被抓取,不想被收錄的頁面;

        7. 引導蜘蛛抓取網站地圖。

        Robots使用說明【百度站長】

        1. robots.txt可以告訴百度您網站的哪些頁面可以被抓取,哪些頁面不可以被抓取。

        2. 您可以通過Robots工具來創建、校驗、更新您的robots.txt文件,或查看您網站robots.txt文件在百度生效的情況。

        3. Robots工具目前支持48k的文件內容檢測,請保證您的robots.txt文件不要過大,目錄最長不超過250個字符。

        4. 如需檢測未驗證站點的robots設置,請在百度站長上進行檢測。


        Robots.txt文件怎么寫,以梓琳SEO為例
        Robots.txt文件怎么寫

        robots.txt文件的寫法,以zilinseo.com 梓琳SEO為例:

        1、User-agent:(定義搜索引擎)

        示例:

        User-agent: *(定義所有搜索引擎)

        User-agent: Googlebot (定義谷歌,只允許谷歌蜘蛛爬取)

        User-agent: Baiduspider (定義百度,只允許百度蜘蛛爬取)

        不同的搜索引擎的搜索機器人有不同的名稱,谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。

        2、Disallow:(用來定義禁止蜘蛛爬取的頁面或目錄)

        示例:

        Disallow: /(禁止蜘蛛爬取網站的所有目錄 "/" 表示根目錄下)

        Disallow: /admin (禁止蜘蛛爬取admin目錄)

        Disallow: /abc.html (禁止蜘蛛爬去abc.html頁面)

        Disallow: /lianxiwomen.html (禁止蜘蛛爬去lianxiwomen.html頁面)

        3、Allow:(用來定義允許蜘蛛爬取的頁面或子目錄)

        示例:

        Allow: /admin/test/(允許蜘蛛爬取admin下的test目錄)

        Allow: /admin/abc.html(允許蜘蛛爬去admin目錄中的abc.html頁面)

        4、匹配符 “$”

        $ 通配符:匹配URL結尾的字符

        5、通配符 “*”

        * 通配符:匹配0個或多個任意字符


        Robots.txt需要注意的問題
        Robots.txt文件需要注意的問題

        1、robots.txt 文件必須放在網站的根目錄中,不可以放在子目錄中。

        比如以梓琳SEO為例,robots.txt 文件放網站根目錄。通過http://www.zilinseo.com/robots.txt 你就可以訪問www.zilinseo.com的robots.txt文件了。

        2、robots.txt 文件命令必須小寫,記得是robots而不是robot。

        3、User-agent、Allow、Disallow的 “:” 后面有一個字符的空格。

        4、路徑后面加斜杠“/” 和不加斜杠的是有區別的

        比如:Disallow: /help

        禁止蜘蛛訪問 /help.html、/help/abc.html、/help/index.html

        Disallow: /help/

        禁止蜘蛛訪問 /help/index.html。 但允許訪問 /help.html、/helpabc.html

        網站SEO優化中Robots是什么意思,Robots.txt文件怎么寫—梓琳SEO的分享到這里就結束了,robots文件相當于給蜘蛛方向指引,減少不必要的抓取任務。特別是當網站改版,有死鏈或者不想收錄的頁面的時候,Robots.txt文件更為重要。

        深圳網站優化公司 網絡營銷網站seo推廣-帝國網絡:www.nbjbdy.com

        網站seo案例展示
        網站seo相關信息