五月丁香六月综合缴情基地-无码一区二区三区亚洲人妻-欧洲一二三区免费视频-日韩在线视频一区二区三区-欧美一级久久精品费色a片-欧美一级欧美三级在线观看

如何制作網(wǎng)站地圖并規(guī)范robots協(xié)議內(nèi)容

2020-04-05 11:34:07 編輯:永諾網(wǎng)絡(luò) 來源:本站原創(chuàng)
   網(wǎng)站地圖的制作在seo優(yōu)化中也是占據(jù)很重要一部分的,網(wǎng)站地圖制作好了可以更加有利于蜘蛛對我們網(wǎng)站信息的檢索與抓取,他會對網(wǎng)頁信息進(jìn)行方向引導(dǎo),給搜索引擎蜘蛛的爬行提供一個(gè)路徑,快速準(zhǔn)確的抓取網(wǎng)站內(nèi)容。
如何制作網(wǎng)站地圖并規(guī)范robots協(xié)議內(nèi)容
   我們可以利用小爬蟲工具、愛站工具等來生成網(wǎng)站地圖。我們首先打開愛站工具包,選擇網(wǎng)站地圖,然后左側(cè)選擇添加網(wǎng)站,將網(wǎng)址輸入后選擇xml選項(xiàng),將里面的頂部的所有文件選項(xiàng)勾選之后點(diǎn)擊抓爬,完成后生成xml文件,最后將生成之后的sitemap后綴為html、xml、txt的文件上傳到網(wǎng)站后臺的根目錄中即可。這樣,只要有用戶進(jìn)入就會抓取了。
   robots協(xié)議又是什么?該如何書寫它呢?robot協(xié)議就是給搜索引擎蜘蛛的一個(gè)規(guī)定,我們利用這個(gè)文件來限制搜索引擎的抓取范圍,尊重信息提供者意愿并維護(hù)其隱私權(quán),保護(hù)我們的隱私不被搜索引擎抓取的一份內(nèi)容。這個(gè)有我們自己進(jìn)行編輯規(guī)定。
   robots協(xié)議的編輯會用到三個(gè)標(biāo)簽:1、User-agent: 蜘蛛名稱(這里個(gè)User-agent 指定搜索引擎蜘蛛名稱)2、Disallow: 內(nèi)容名稱(代表要禁止抓取的內(nèi)容)3、Allow:內(nèi)容名稱(代表允許抓取的內(nèi)容)。這些標(biāo)簽后書寫的就是協(xié)議的內(nèi)容,還會用到3個(gè)通配符來編輯:"*"表示涵蓋所有搜索引擎;"$"表示以某字符串結(jié)尾;"/"表示當(dāng)前目錄下的所有內(nèi)容。當(dāng)編輯完協(xié)議內(nèi)容后可在最后添加“Sitemap:網(wǎng)站域名/sitemap.xml”,用地圖讓蜘蛛更快速的抵達(dá)我們的網(wǎng)站。
   SEO的日常工作比較細(xì)致,查看我們網(wǎng)站的日志也是需要關(guān)注的。從網(wǎng)站后臺空間找到文件管理,然后打開logs文件,將最新的日志文件載到桌面,然后使用光年日志分析系統(tǒng)等工具對其進(jìn)行分析,可以看到蜘蛛爬行過的記錄以及一些問題,需要及時(shí)查看并解決掉。
本站文章均為永諾網(wǎng)站建設(shè)摘自權(quán)威資料,書籍,或網(wǎng)絡(luò)原創(chuàng)文章,如有版權(quán)糾紛或者違規(guī)問題,請即刻聯(lián)系我們刪除,我們歡迎您分享,引用和轉(zhuǎn)載,我們謝絕直接復(fù)制和抄襲!感謝...
我們猜你喜歡
五月丁香六月综合缴情基地-无码一区二区三区亚洲人妻-欧洲一二三区免费视频-日韩在线视频一区二区三区-欧美一级久久精品费色a片-欧美一级欧美三级在线观看