User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC 這里定義是禁止爬尋ABC整個目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有的動態(tài)頁面
Disallow: .jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片robots.txt文件用法舉例
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有的動態(tài)頁面
Disallow: .jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片robots.txt文件用法舉例
本站文章均為永諾網(wǎng)站建設(shè)摘自權(quán)威資料，書籍，或網(wǎng)絡(luò)原創(chuàng)文章，如有版權(quán)糾紛或者違規(guī)問題，請即刻聯(lián)系我們刪除，我們歡迎您分享，引用和轉(zhuǎn)載，我們謝絕直接復(fù)制和抄襲！感謝...
猜你喜歡
聯(lián)絡(luò)方式：
電話：15038330582
郵箱：278477169@qq.com
掃描名片 
我們猜你喜歡
-
開發(fā)一個微信小程序需要多少錢
微信小程序發(fā)展到現(xiàn)在已經(jīng)有很多的企業(yè)使用微信小程序推廣自己的產(chǎn)品了，其實小程序的就是方便，微信用戶不需要再安裝APP軟件就能了解購買該企業(yè)的東西，不懂小程序的人如何...
-
SEO網(wǎng)站標題長短對優(yōu)化起到哪些作用
很多的人在做SEO優(yōu)化的時候，對網(wǎng)站的標題有著很大的疑惑，比如標題的長短，它的長短對網(wǎng)站優(yōu)化有沒有什么影響？其實在一定程度上，標題的長度對優(yōu)化并不是很重要，它只要合理是沒有太...
-
智慧校園學校軟件開發(fā)
在眾多的學校管理中，每個學校的管理模式和教育水平都是不同的。但是想要形成自己的特色的教育文化，還需要建立一個智慧校園管理系統(tǒng)，按照教育局的相關(guān)標準實施辦法，智慧校園...
-
人力資源方面APP軟件開發(fā)
公司管理模式如果想朝著智能化的發(fā)展趨勢靠攏，為了公司的發(fā)展對員工和管理體系的完善，人力資源管理APP就是一個標準的起步，讓客戶更好的在網(wǎng)上進行操作。 人力資源管理...
-
同城家政商家入駐服務(wù)app保潔師傅接單軟件開發(fā)
一、家政小程序軟件項目客戶來源介紹 這位是來自神馬搜索平臺過來的老板，老板想做一款家政服務(wù)接單的商家平臺小程序軟件。老板的想法就是家政類的業(yè)務(wù)都做，那就把關(guān)于...
