User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC 這里定義是禁止爬尋ABC整個目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有的動態(tài)頁面
Disallow: .jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片robots.txt文件用法舉例
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有的動態(tài)頁面
Disallow: .jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片robots.txt文件用法舉例
本站文章均為永諾網(wǎng)站建設(shè)摘自權(quán)威資料，書籍，或網(wǎng)絡(luò)原創(chuàng)文章，如有版權(quán)糾紛或者違規(guī)問題，請即刻聯(lián)系我們刪除，我們歡迎您分享，引用和轉(zhuǎn)載，我們謝絕直接復(fù)制和抄襲！感謝...
猜你喜歡
聯(lián)絡(luò)方式：
電話：15038330582
郵箱：278477169@qq.com
掃描名片 
我們猜你喜歡
-
網(wǎng)站打不開導(dǎo)致網(wǎng)站被k怎么處理
一，購買一個.cn的域名，然后制作一個新的頁面。千萬要記住這個頁面要符合自然排名的規(guī)則，代碼要減肥化最好是DIVCSS的代碼。(這樣更有利于百度蜘蛛漫游)整體架構(gòu)要合理化，尤...
-
教育類小程序軟件功能開發(fā)
教育行業(yè)一直以來都是非常重視的行業(yè)，無論是線上還是線下都引起了注意，這里說的就是線上教育，也是線上教育小程序，很多行業(yè)都入住了小程序，包括教育行業(yè)。這里分享的就是教育...
-
婚慶服務(wù)預(yù)訂小程序功能開發(fā)
婚慶小程序開發(fā)的功能開發(fā) 1、在線案例展示：商家可以上傳經(jīng)典案例供用戶瀏覽，用戶也可以在線選擇自己喜歡的策劃方案與策劃師，策劃師也會按照用戶的需求進(jìn)行提供個性化...
-
租車找車APP軟件開發(fā)
自己沒車的人都喜歡租車開，消費者對租車的意識加強(qiáng)后，處于傾向于租車實現(xiàn)自駕游。為了更多的租車體驗，租車公司服務(wù)商開發(fā)一款租車找車APP軟件。通過一系列的營銷手段，在手...
-
上門服務(wù)APP系統(tǒng)軟件開發(fā)
預(yù)約上門按摩也是O2O的一種形式，按照本地服務(wù)的形式運營。該平臺的開發(fā)分為三個端口：用戶端、技師端、商家端，企業(yè)商家的管理后臺。 一、上門預(yù)約的操作 1、技師管...
