第一:孤島網(wǎng)頁是很難被搜索引擎抓取,孤島網(wǎng)頁指的是沒有任何反向鏈接的網(wǎng)頁,如果新站沒有任何被收錄的網(wǎng)站的鏈接指向新站,那么該新站實際上是互聯(lián)網(wǎng)的一個孤島,搜索引擎無從發(fā)現(xiàn)該網(wǎng)站的存在。
第二:該網(wǎng)站的服務(wù)器IP曾經(jīng)被懲罰
這是一個很重要的方面,這是因為如果該IP下的網(wǎng)站多次作弊,導(dǎo)致該服務(wù)器IP被懲罰,那么,百度很可能不再爬出爬蟲來爬行這個服務(wù)器IP,那么,建立在該服務(wù)器IP下的網(wǎng)站就再也沒有見天日的機(jī)會。
第三:服務(wù)器不穩(wěn)定,或者經(jīng)不起爬蟲采集的壓力
對于新站來說這是致命的,很容易導(dǎo)致蜘蛛放棄了該新站,不再進(jìn)行爬行收錄。
第四:網(wǎng)站中的網(wǎng)頁性質(zhì)及文件類型是搜索引擎無法識別的
很多人為了網(wǎng)站的美觀好看,采用了大量的如flash、JS跳轉(zhuǎn)、某些動態(tài)網(wǎng)頁、frame等,這些東西導(dǎo)致搜索引擎無法識別,自然也不再收錄。
第五:網(wǎng)站用robots協(xié)議拒絕搜索引擎抓取
有時候因為站長的粗心,設(shè)置了錯誤的robots協(xié)議,從而拒絕了搜索引擎的抓取。
第六:作弊和非法的網(wǎng)頁
使用關(guān)鍵詞作弊,網(wǎng)頁的關(guān)鍵詞和內(nèi)容嚴(yán)重不匹配,或者非法內(nèi)容的網(wǎng)頁;網(wǎng)頁的標(biāo)題沒有實際含義的網(wǎng)站等等,也是搜索引擎拒絕的對象。