网站建设>圈子>网络学堂>如何打造符合搜索引擎抓取的网站制作?

如何打造符合搜索引擎抓取的网站制作?

mcadmin / 2021-06-20 / 深圳网站建设 / 技术分享

企业营销型网站符合搜索引擎规则的话就需要从网站的站点结构,网站页面机构去出发,同时还要做好网站的一些设置,比如我们最为熟悉的401,301设置等,还有最常见的屏蔽百度蜘蛛抓取的是robots屏蔽设置都是需要去好好处理的。那么具体如何打造符合搜索引擎抓取的网站制作


网站制作


1、逻辑清晰的链接层次结构

比较好的站点结构还是树状结构,以首页为节点的树状连通,可以通过首页的链接访问到网站的任意页面。在建立站点树状结构的时候要注意避免过于扁平化的结构,所有的内容页面全部放在根目录也不利于网站的目录权重传递。在建站的时候还需要注意的是要避免孤岛链接,所谓孤岛链接就是一个页面通过站内的正常访问是不能找到页面的,只有通过直接输入网址或地图提交才能找到的页面。这样的页面搜索引擎不容易抓取也不利于用户对内容的浏览和访问影响用户体验。

2、PC/移动适配

现在移动搜索的流量越来越大,通过建立适配,使PC端URL和移动端URL,有规则级的对应关系,且相互关联。这样在移动搜索的时候网站才有机会进入移动索引库中。对于网站在建立适配的时候推荐建立规则级对应关系,符合一定的正则表达式映射规则。

3、主动提交

目前百度在站长工具中有主动推送、自动推送、sitemap三种方式供站长对新产出资源,更新资源及时提交,在对内容提交的时候站长要注意避免死链和低质内容被搜索引擎抓取。在出现死链接的时候可以通过死链接提交工具进行死链和失效资源及时提交。

4、robots屏蔽正确

常见的预期意外的封禁有:建站模板中的封禁信息,服务器自动封禁策略,网站所在空间服务商封禁IP导致,在网站内容抓取异常时候可以考虑以上因素进行逐一排查。还有最常见的屏蔽百度蜘蛛抓取的是robots屏蔽,这种情况多是站长失误导致希望抓取的目录被屏蔽了抓取。

5、使用标准重定向

在对网站改版的时候经常会出现页面的重定向跳转,在使用重定向的时候建议使用,不建议使用JS冲定性。

6、死链反馈

对于网站中出现死链接的时候,要设置百度蜘蛛抓取返回404的状态码以便百度蜘蛛能得到正确的反馈。如果出现的死链接较多的时候可以参考上文中的死链接提交工具。