新浪体育手机新浪网一
【官方說法】頁面長度過長,也會導致不收錄?
技術文檔    發布日期:2017-06-19 10:15   來源:

1-1F30Q33025296.jpg

站點反饋

網站主體內容都是js生成,針對用戶訪問,沒有做優化;但是網站特針對爬蟲抓取做了優化,且將圖片也直接做了base64轉化;然而優化后發現內容卻不被百度收錄。

頁面質量很好,還特意針對爬蟲做了優化,為什么內容反而不收錄了呢?

工程師分析:

1、網站針對爬蟲爬取做的優化,直接將圖片二進制內容放到了html中導致頁面長度過長,網站頁面長度達164k;

2、 站點優化后將主體內容放于最后,圖片卻放于前面;

3、爬蟲抓取內容后,頁面內容過長被截斷,已抓取部分無法識別到主體內容,最終導致頁面被認定為空短而不收錄。

工程師建議:

1、不建議站點使用js生成主體內容,如js渲染出錯,很可能導致頁面內容讀取錯誤,頁面無法抓取

2、 如站點針對爬蟲爬取做優化,建議頁面長度在128k之內,不要過長

3、針對爬蟲爬取做優化,請將主題內容放于前方,避免抓取截斷造成的內容抓取不全

?
地址:深圳市南山區創業路南光商務大廈2-1114    Email:[email protected]    Tel:0755-86176995    中國 · 深圳
Copyright ? 2006 -2020 深圳匯網在線 All Right Reserved.    粵ICP備14062458號-1


咨詢電話:0755-86176995
{ganrao} 手机850game棋牌游戏 江西十一选五如何定胆 排列3开奖历史开奖结果 南昌麻将平胡牌型 全民镇江麻将下载 贵阳捉鸡麻将安全版 微乐捉鸡麻将 幸运28预测大神吧 体彩宁夏11选5 东方61开奖结果 pk10计划软件 配资平台哪个好首荐杨方配资 76人vs尼克斯谁赢 股票发行与上市的区 三中三用7.12.22.9算法 大神娱乐棋牌下载