網(wǎng)站建設(shè)日志文件的功能有:
1、獲取網(wǎng)站目錄的抓取信息
當(dāng)蜘蛛到你的網(wǎng)站上爬行收錄內(nèi)容時,你的網(wǎng)站日志會對蜘蛛的行為會進行自動的記錄,因此只要你去分析網(wǎng)站的日志,你就會發(fā)現(xiàn)蜘蛛到你的網(wǎng)站上爬取了那些目錄,另外也可以知道蜘蛛是否到那些不會提升網(wǎng)站權(quán)重的目錄(例如:圖標(biāo)目錄,下載目錄,留言目錄,廣告頁面)上進行了爬行。另外對于網(wǎng)站的數(shù)據(jù)庫,后臺目錄也完全不需要被蜘蛛爬行,如果任由蜘蛛爬行,也是一種安全隱患。另外一方面,搜索引擎對于不同的站點都有著抓取配額,無用目錄,更不要占用這樣的配額,以免減少有效配額的抓取量。還有就是能夠有效的規(guī)避百度認為網(wǎng)站是垃圾網(wǎng)站的風(fēng)險。
2、分析網(wǎng)站內(nèi)容抓取情況
頁面是否被蜘蛛抓取是我們分析網(wǎng)站的一個重要內(nèi)容,而通過網(wǎng)站日志我們可以非常容易的分析出來很多對我們有幫助的信息。比如我們的網(wǎng)站上是否有垃圾頁面被抓取,多重url鏈接的抓取,哪些頁面經(jīng)常被抓取,哪些是抓取頻率更高的高價值的頁面,這樣我們就可以把我們想要優(yōu)化但是抓取頻率低的頁面適當(dāng)?shù)脑黾悠毓舛?;要對一些垃圾頁面進行屏蔽,防范因為垃圾頁面被抓取過多導(dǎo)致網(wǎng)站被降權(quán);還可以分析出高質(zhì)量的內(nèi)容頁,并且多撰寫這樣的內(nèi)容,從而吸引蜘蛛前來抓取,抓取越多權(quán)重就會越高。
3、分析網(wǎng)站狀態(tài)碼信息
狀態(tài)碼分為兩種,一種是蜘蛛狀態(tài)碼,另一種是用戶狀態(tài)碼,通過蜘蛛狀態(tài)碼可以準(zhǔn)確的查看到網(wǎng)站是否存在抓取問題。例如:404代表的是錯誤頁,301、302代表的是重定向,還有一些:504、500、等狀態(tài)碼,值得說的是:除去200狀態(tài)碼,出現(xiàn)其他的狀態(tài)碼都是應(yīng)當(dāng)值得注意的,當(dāng)然,如果只是個別幾條則無需理會。但是如果數(shù)量一旦偏多,網(wǎng)站則出現(xiàn)問題了。
聲明:本網(wǎng)頁內(nèi)容旨在傳播知識,若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系,我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com