网站正常的蜘蛛爬行次数,这个跟网站的体量有关系,这里的体量是你平时网站的流量和你内容的新增数量。这些总结和接下来的数据都是你GPT问不到的东西。
站点分析数据一
拿一个我的站点距离,数据:流量平均每天1500UV左右,IP1300上下,每日新增文章数量约20篇上下,多的时候不超过30篇。
这样的网站各大搜索引擎蜘蛛分析,先看截图
这里bingbot的量3542个页面,google是2892个页面,yisou:729,百度:721个界面,这里百度是恢复了正常收录的状态,很少的站长现在起站能做到这一点,所以百度可以忽略。
由于我的做法是完全围绕bing的算法来优化的,所以每天的抓取次数较比其他搜索引擎较高,3千多对于这个体量的网站属于正常值,但是每天的新增量其实还是稍微有点少。
下面是截止半天的蜘蛛爬取量,也可以作为参考,可以看到上午和下午半天的对比,然后再分析文章发布时间,和流量分布时间去分析与蜘蛛的来量关系,从这方面去调整发布时间和发布量,也是有微妙的影响额,所以做推广是及其细微的工作。
站点分析数据二
再来看看新站的蜘蛛数据,这个站点的基本体量:流量100UV/天,一条新增文章数量在50篇左右,多的可能是80-100篇,上线时间大概在30天左右。收录量大概5600条数据,这个是bing的。百度仅收录首页,谷歌收录大概3000条+左右。
这里bing属于正常,claudebot和chatbot或者其他类型的gpt爬虫这类不用去分析,因为也测试了很多数据,对于gpt这类是为了丰富他的知识库,gpt类型的蜘蛛爬取至今未看到固定的规律,如果要做GPT检索的话可以深度研究一下。
李辉原创内容
2025-4-7
想找我就搜索”辉哥个人主页“