新站上线后最让人着急的事情,莫过于网站迟迟不被搜索引擎收录。辛辛苦苦搭建好的网站,提交了好几次却发现site结果一片空白,这种挫败感很多站长都体会过。实际上,搜索引擎对新站都有一个考察期,但这个考察期的长短并不是固定的,做得好的网站几天就能被收录,做得差的网站几个月都没动静。想让新站被快速收录,需要在上线前和上线后做好一系列优化工作。

一、上线前把基础工作做扎实
很多站长网站还没配置好就急着上线,结果搜索引擎蜘蛛来了发现一堆问题,自然不愿意收录。上线之前,有几项基础工作必须完成。
首先是域名和服务器的选择。域名尽量选有过建站历史的干净域名,如果买的是老域名,一定要查清楚之前有没有被搜索引擎惩罚的记录,可以用site命令查一下这个域名在搜索引擎里有没有残留的收录页面。服务器则要保证访问速度和稳定性,蜘蛛抓取网站时如果经常打不开或者响应超时,会大大降低抓取频次,收录自然就慢了。
其次是网站内容的填充。新站上线时切忌空壳上线,至少要准备十篇以上高质量的原创内容再上线。搜索引擎对内容空白的网站评价很低,如果一个新站上线后只有几个栏目页和一篇欢迎公告,蜘蛛来了抓不到有价值的东西,收录的意愿就会大打折扣。内容不在多而在精,每一篇都要有实际价值,字数最好在八百字以上,排版清晰,图文并茂。
再者是robots文件的检查。robots文件相当于给蜘蛛看的说明书,告诉它哪些页面可以抓取、哪些不可以。不少新站长因为配置错误,把整站都禁止抓取了,还奇怪为什么一直不收录。上线前务必检查robots文件,确保没有Disallow: /这样的全站禁止规则。同时可以做一个XML格式的网站地图,把网站所有重要页面的链接放进去,方便蜘蛛一次性发现全站页面。
二、站内结构要让蜘蛛爬得顺畅
搜索引擎蜘蛛发现新页面靠的是链接抓取,如果站内结构混乱、层级太深,蜘蛛就很难爬到深层页面。一个对蜘蛛友好的网站结构,应该做到层级扁平、链接畅通。
首页到任何一个内容页的点击距离最好不超过三次点击。也就是说,从首页出发,最多通过三次点击就能到达任意一篇文章。这就要求首页要有到栏目页的入口,栏目页要有到内容页的入口,同时热门内容可以直接在首页展示。对于内容较多的网站,可以设置TAG标签页、相关推荐、最新文章等模块,让页面之间形成密集的链接网络。
导航和链接的使用也有讲究。全站导航要清晰稳定,每个页面都应该能返回首页和上级栏目页。避免使用蜘蛛难以识别的链接形式,比如纯JS渲染的导航、需要登录才能查看的链接等。锚文本链接要使用真实的HTML标签,不要用跳转脚本代替。另外,新站尽量少用框架和大量Ajax动态加载内容,这些技术蜘蛛抓取起来有困难,重要内容最好直接输出在HTML源代码里。
页面加载速度也是影响抓取的重要因素。可以用工具压缩图片、开启GZIP压缩、合并CSS和JS文件,把页面加载时间控制在两秒以内。速度快的网站不仅蜘蛛喜欢,用户留存率也会明显提高,这对新站积累初始权重很有帮助。
三、主动出击引导蜘蛛来抓取
蜘蛛不会自动知道你的新站存在,主动把网站推到搜索引擎面前,能大幅缩短被发现的时间。目前主流搜索引擎都提供了官方的站长平台,这是新站必须利用的工具。
以百度为例,可以先去百度搜索资源平台验证网站所有权,验证通过后就能使用链接提交功能。提交方式有主动推送、自动推送、sitemap提交和手动提交几种。主动推送是最快的方式,网站每发布一篇新内容,就通过接口把URL推送给百度,蜘蛛往往几分钟内就会来抓取。sitemap提交适合批量提交全站链接,配合主动推送使用效果最好。谷歌也有类似的Search Console,注册验证后提交sitemap即可,谷歌对新站的收录通常比较快。
除了官方渠道,外链引蜘蛛也是经典方法。蜘蛛在抓取别的页面时,会顺着页面上的链接发现新网站。可以去一些收录快、权重高的平台发布内容并带上自己网站的链接,比如行业论坛、博客平台、分类信息网站等。需要注意的是,外链重在质量而非数量,几条来自正规网站的外链,比几十条垃圾外链有用得多,垃圾外链甚至可能连累新站被降权。
社交平台的分享也能起到引蜘蛛的作用。把网站内容分享到微博、知乎、微信公众号等平台,这些平台被蜘蛛抓取的频率很高,间接增加了网站被发现的几率。
四、新站收录后的持续维护
网站被收录只是第一步,收录之后如何保持抓取频率和页面释放速度,同样需要用心经营。新站普遍存在收录慢、先收录后删除的现象,这其实是搜索引擎还在观察期的正常表现,不必过度惊慌。
保持稳定的内容更新节奏非常关键。固定更新频率,比如每天或者隔天更新一篇内容,让蜘蛛养成定期来访的习惯。切忌三天打鱼两天晒网,更不要一次性采集大量内容填充网站,采集内容是搜索引擎重点打击的对象,新站一旦被判定为采集站,恢复起来非常困难。
同时要做好网站日志分析。通过服务器日志可以看到蜘蛛的来访时间、抓取了哪些页面、返回了什么状态码。如果发现蜘蛛频繁来访但不收录,检查页面是否存在质量问题;如果出现大量404、503等错误状态码,说明网站存在死链或服务器问题,要及时处理并提交死链。发现蜘蛛抓取的是无效参数页面,可以在robots文件里屏蔽,把抓取资源集中到有价值的内容上。
最后要提醒的是,新站优化要有耐心。搜索引擎对新站的信任度需要时间积累,一般一到三个月是正常的观察期。只要坚持白帽优化手法,持续输出优质内容,规范网站技术细节,收录和排名都会水到渠成。切忌使用快排、黑链等违规手段追求速成,那样只会得不偿失。