Python爬虫理解：累计式爬虫和增量式爬虫

更新时间:2023年07月10日14时44分来源:传智教育浏览次数:

1.累积式爬虫

累积式爬虫是指从某一个时间点开始，通过遍历的方式爬取系统所允许存储和处理的所有网页。在理想的软硬件环境下，经过足够的运行时间，采用累积式爬取的策略可以保证爬取到相当规模的网页集合。但由于We小数据的动态特性，集合中网页的被爬取时间点是不同的，页面被更新的情况也不同，因此累积式爬取到的网页集合事实上并无法与真实环境中的网络数据保持一致。

2.增量式爬虫

增量式爬虫是指在具有一定量规模的网络页面集合的基础上，采用更新数据的方式选取已有集合中的过时网页进行爬取，以保证所爬取到的数据与真实网络数据足够接近。进行增量式爬取的前提是，系统已经爬取了足够数量的网络页面，并具有这些页面被爬取的时间信息。

与周期性爬行和刷新页面的网络爬虫相比，增量式爬虫只会在需要时爬行新产生或发生更新的页面，并不重新下载没有发生变化的页面，可有效减少数据下载量，及时更新已爬行的网页，减小时间和空间上的耗费，但是增加了爬行算法的复杂度和实现难度。

面向实际应用环境的网络蜘蛛设计中，通常既包括累积式爬取，也包括增量式爬取。累积式爬取一般用于数据集合的整体建立或大规模更新阶段;而增量式爬取则主要针对数据集合的日常维护与即时更新。

上一篇：假如Namenode中没有数据会怎么样? 下一篇：Python怎样导入和安装第三方模块？