小松SEO,河北保定SEO愛好者,為seoer提供網站建設以及SEO優化教程視頻下載、SEO常見問題解答,為企業網站提供SEO診斷、SEO優化服務!跟我聯系

利于搜索引擎優化的robots.txt文件寫法

SEO優化進階 董小松 33248℃ 0評論

站長們都知道,很多時候搜索引擎收錄的網站頁面都不是我們想讓它收錄的頁面,這一點著實讓人煩惱,尤其是網站后臺地址,一旦被百度收錄,那么網站的安全性就存在很大的隱患,這時候robot.txt文件的作用就可以體現出來了,只要在文件中屏蔽到蜘蛛的訪問,百度就不能收錄你不想被收錄的頁面了,這樣既可以集中網站的權重,對搜索引擎優化十分有利。

在介紹robot.txt寫法之前,先來說說這個東西是干嘛的。從字面意思上來看robots代表的是機器人,從后綴名來看,是個txt文檔,通過這個名字可以看出這個文件是給搜索引擎蜘蛛機器人看的一個文件。所謂roots.txt文件,是Robots協議(也稱為爬蟲協議、機器人協議等),是搜索引擎蜘蛛到你網站后訪問的第一個文件,通過這個文件,搜索引擎蜘蛛可以了解到網站那些內容可以抓取,那些頁面不可以抓取,當然,我們也可以直接屏蔽掉蜘蛛的訪問。了解了這個文件是干嘛的,下面,具體介紹一下robots.txt文件的寫法。

robots.txt語句:

User-agent: * 這里的*代表的所有的搜索引擎種類,*是一個通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網頁和gif格式圖片
Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖

robots.txt寫法舉例:

1、禁止所有搜索引擎訪問網站的所有部分
User-agent: *
Disallow: /
2、禁止百度索引你的網站
User-agent: Baiduspider
Disallow: /
3、禁止Google索引你的網站
User-agent: Googlebot
Disallow: /
4、禁止除Google外的一切搜索引擎索引你的網站
User-agent: Googlebot
Disallow:
User-agent: *
Disallow: /
5、禁止除百度外的一切搜索引擎索引你的網站
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
6、禁止蜘蛛訪問某個目錄
(例如禁止admin\css\images被索引)
User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/
7、允許訪問某個目錄中的某些特定網址
User-agent: *
Allow: /css/my
Allow: /admin/html
Allow: /images/index
Disallow: /css/
Disallow: /admin/
Disallow: /images/

在書寫寫這些語句的時候尤其注意的一點是冒號(:)和( /) 之間要有一個空格符,如果這個空格沒有加的話,是不能起到作用的,robots.txt文件一般放在網站的根目錄下,而且命名必須是robots.txt。rbotts.txt文件

在屏蔽目錄的時候,注意,這里如果是阻止抓取某目錄的話目錄名字一定要注意“/”,不帶“/”表示的是阻止訪問這個目錄頁面和目錄下的頁面,而帶上“/”則表示進阻止目錄下的內容頁面,這兩點要分清楚。
為了讓搜索引擎更快的收錄我們的內頁,我們一般都會做一個百度地圖或者谷歌地圖,那么,Sitemap:+網站地圖,這個命令就可以快速的引導搜索引擎蜘蛛來到你的地圖頁面對網站內頁進行抓取。當網站的死鏈接過多處理非常麻煩的時候,我們可以利用robots來屏蔽這些頁面,這樣就可以避免網站因為死鏈接被百度降權。
SEO優化過程中,對于蜘蛛的了解和控制至關重要,關于robot.txt的寫法,就先說這些吧,希望能夠幫助大家寫出利于搜索引擎優化的robots.txt文件。

轉載請注明:河北保定SEO » 利于搜索引擎優化的robots.txt文件寫法

喜歡 (38)or分享 (0)

您必須 登錄 才能發表評論!

(10)個小伙伴在吐槽
  1. 直到我學會了Ctrl+C和Ctrl+V之后,我的經驗小康啦,一口氣拿3點不費事
    浮選機2014-10-20 21:44
  2. 看完樓主的帖子,我的心情竟是久久不能平復,正如老子所云:大音希聲,大象希形。
    雙槽浮選機2014-10-21 21:56
  3. 這個小站的經營者很溫柔啊真心讓人喜歡
    分級機2014-11-10 22:40
  4. 一次次的拜訪,樓主感受的肯定是幸福甜甜滴........
    磁選機2014-11-11 19:12
  5. 文章構思新穎,題材獨具匠心,段落清晰,情節詭異,跌宕起伏,主線分明,引人入勝,平淡中顯示出不凡的文學功底,可謂是字字珠璣,句句經典,是我輩應當學習之典范。
    球磨機2014-11-13 20:02
  6. 只有樓主這樣具備廣闊胸懷和完整知識體系的人,才能作為這真理的唯一引言者.
    活性石灰回轉窯設備2014-12-21 01:58
  7. robots文件缺失很有用
    arm2015-04-23 22:32
福彩3d中奖号码