第一，針對空白的網(wǎng)頁內(nèi)容需要及時的填充。我們在建設(shè)網(wǎng)站時，往往會將框架內(nèi)容搭建好，可是在日常運營期間，這些已經(jīng)搭建的框架內(nèi)容因為疏忽會忘記增添內(nèi)容，此時最好的方法就是通過工具搜索網(wǎng)站是否存在著空白內(nèi)容的網(wǎng)頁，然后再進行手工填充，當然填充的內(nèi)容一定要具有一定的質(zhì)量新，要知道百度蜘蛛在長期爬行到這樣的網(wǎng)頁上時沒有看到內(nèi)容，可是如果你填充的內(nèi)容質(zhì)量很差，那么百度蜘蛛重新抓取內(nèi)容時，發(fā)現(xiàn)原來是垃圾內(nèi)容時，這就很容易給你網(wǎng)站打上負面分，所以重新填充的內(nèi)容一定要具有一定的高質(zhì)量。

　　第二，如果是死鏈接這樣的無效頁面，這時處理的方法就會相對簡單，只需要建設(shè)一個404頁面，并且在該頁面上提供一些內(nèi)容，讓用戶覺得具有親和性，同時也會讓百度認為這個頁面不是簡單的一個404頁面鏈接，同時也包括了一定的內(nèi)容，所以網(wǎng)站也會給百度蜘蛛帶來好印象。

　　第三，針對一些特殊無效頁面的處理。在網(wǎng)站運營時，往往會存在著一些頁面僅僅對用戶存在著一定的用處，可是對百度蜘蛛?yún)s沒有絲毫意義，比如一些注冊頁面，訂單頁面，博客留言以及商城的購物車等。這些頁面的存在不會給網(wǎng)站排名帶來多大利益，而且還會增加網(wǎng)站無效頁面的占比，要知道無效頁面占比越高，那么百度蜘蛛對于網(wǎng)站的認可度就會越低，最終的結(jié)果就會給網(wǎng)站帶來極差的評價。所以對于這些用戶有用，搜索引擎無用的頁面，則可以通過nofollow屬性設(shè)置，規(guī)避百度蜘蛛的抓取，這樣就可以有效減低網(wǎng)站上的無效頁面。

　　第四，對于一些廣告頁面，或者灌水頁面，因為往往內(nèi)容相對較多，可是對于用戶和搜索引擎都具有一定的垃圾屬性，此時完全可以使用Robots命令進行屏蔽，徹底取消百度等搜索引擎的抓取，這么做的好處就是一次處理的量相對較大，在處理效率上能夠適當?shù)母咭稽c。而且畢竟在網(wǎng)站上勢必會出現(xiàn)各種垃圾頁面，我們不可能一一的進行處理，所以直接使用Robots將某個欄目進行屏蔽，處理的效果就會提升很多。