一、使用背景
个人或团队对于数据时效性、准确性以及安全性有一定要求或标准。如:
企业需定期采集行业政策、竞品动态、客户评价等数据(如医药行业的兽药公示、电商行业的产品评论),支撑市场分析与决策。
需定时采集各级政府网站的政策文件、土地交易、采购公告等信息,确保公共服务数据的及时更新与公开。
企业需每日定时从数百个招投标网站(如国家级平台、行业垂直站点)采集新增标讯,及时同步销售团队,避免错过投标窗口期。 对于以上类似需求,定时任务可以完美适配场景并解决问题。
二、功能介绍
1、定时采集概述
定时采集是八爪鱼采集器支持的自动化功能,可设置任务按指定时间(每天、每周、每月或间隔分钟级)自动启动采集,适用于监控网站数据更新、避免重复劳动等场景。
2、适用版本与差异
版本支持:个人版及以上支持本地定时采集;团队版及以上支持定时云采集。
核心特点 :
本地定时:需保持电脑开机,适合日常办公场景;
云定时:使用八爪鱼5000+云服务器7*24小时运行,可关机操作,支持自动导出数据库,实现无人值守。
三、配置定时
1、本地定时采集配置
任务配置
在八爪鱼客户端完成任务规则配置(如设置采集网址、提取字段等),测试无误后保存任务。
进入定时设置
方式一:在【我的任务】列表中,找到目标任务,点击【定时采集】列本地采集的【设置】按钮。

方式二:任务编辑界面,定时配置模块,选中本地采集-编辑。

方式三:选中任务后,点击顶部导航栏【定时采集】-【设置本地采集定时】。
方式四:在【我的任务】列表中,点击任务操作-更多,选择云采集-设置定时。

特别说明:a. 本地定时采集更适用的场景:需每日/定期在本地电脑运行采集任务(如监控本地网站数据更新)。b.本地定时采集依赖本地电脑运行环境,若电脑关机或断网,任务将无法执行。
配置定时方式
编辑配置:输入配置名称,保存该配置名称下具体定时方案,保存后下次使用可直接通过选择配置名称一键部署。 例如编辑配置“测试1”为“重复每月1号10点启动采集”。
特别说明:a. 在配置名称下进行修改,点击保存后即可修改方案。
定时方案:支持“只采集一次”“每周采集”“每月采集”“间隔时间采集”(最小间隔1分钟),根据需求选择并设置具体时间(如“每天23:00”“每30分钟一次”)。可按需要自行配置 。

其他设置:可按需进行其他设置的选配。

特别说明:a. 若选择周期性采集,下端还会显示计划采集时间。
2、云定时采集配置
任务配置
在八爪鱼客户端完成任务规则配置(如设置采集网址、提取字段等),测试无误后保存任务。
进入定时设置
方式一:在【我的任务】列表中,找到目标任务,点击【定时采集】列云采集的【设置】按钮。

方式二:任务编辑界面,定时配置模块,选中云采集-编辑。

方式三:选中任务后,点击顶部导航栏【定时采集】-【设置云采集定时】。

方式四:在【我的任务】列表中,点击任务操作-更多,选择云采集-设置定时。

方式五:多任务组云采集配置,点击右上角任务组,选择需要配置的任务组,点击
即可。
即可。配置定时方式
具体配置方式与本地配置相同,此处不再赘述。
特别说明:a. 云采集数据仅保留90天,需及时导出;若采集涉及翻墙网站,需单独购买海外服务器。
3、停止/清除定时设置
单个任务
方式一:任务列表,点击定时采集(云/本地)设置,进入设置页后下方关闭定时采集即可。
方式二:在【我的任务】列表中,点击任务操作-更多,选择本地采集-停止定时。

方式四:选中任务后,点击顶部导航栏【定时采集】-【清除本地采集定时设置】或【清除云采集定时设置】。
多个任务/任务组
勾选目标任务或任务组,选择【清除本地/云采集定时设置】。
四、案例与效果展示
1、采集案例
案例需求:定时采集该网址前五页招投标公告。(每次采集50条数据)

采集字段:公告标题以及详情页链接。

特别说明:a. 本教程仅作定时任务演示,具体任务配置不做详细阐述。任务案例提供如下,搭建方式请关注教程:列表进入详情页采集b.案例任务分享
2、定时设置
这里案例采用方式一进入设置。配置为每10分钟便采集一次。
3、采集效果
本地定时采集
特别说明:a. 本地定时采集在任务开始时会自动跳出采集任务页。
云定时采集
特别说明(高阶应用):a. 定时+循环次数控制 :若目标网站每日新增数据集中在前几页,可设置循环翻页次数(如“循环执行2次”),结合定时采集(如“每天12:00”),仅采集新增部分。b. 定时+字段去重 :在云采集任务中,设置按字段(如“发布时间”“商品ID”)去重,避免重复数据入库。新采集数据若与历史字段值重复将自动删除。c.具体可关注:采集新增数据d.云采集会自动去重数据,若是不想去重,则需要配置采集时间字段。具体可关注:添加特殊字段
作者:YfY