批量采集:一次跑一批网址
批量采集是指:使用同一个自动化工作流,对一份网址清单中的所有网页逐一进行采集。
例如:采集 200 个商品详情页的标题与价格,你无需手动逐一打开,系统会自动依次拉起并提取。
将批量采集集成在「定时任务」模块中——你可以让它按时间定时批量跑,也可以在需要时点击「立即执行」实现随时随地批量抓取。
一、配置网址清单
- 打开侧栏进入「定时任务」,点击「新建任务」。
- 在「工作流」下拉框中选中已经针对该类页面调试好的工作流。
- 在「目标网址」输入区域添加待采集的链接:
- 手动粘贴:一行一个网址,支持直接从 Excel 表格复制整列粘贴。
- 文件导入:点击「导入 TXT / CSV」直接载入本地整理好的网址文件。
- 确认输入的总数(单任务最高支持 5,000 条)。
- 点击底部的「保存任务」。新建任务默认启用,默认每天触发;如果只想手动运行,保存后回到列表,关闭任务卡片右上角的开关。关闭后仍可点击「立即执行」。
⚠️ 跑批前的重要提醒
批量处理大量网页需要一定时间。在此期间请保持电脑连接电源,切勿将浏览器窗口最小化。被休眠的标签页数据会采空且不一定报错。详见长时间采集防休眠。
二、手动启动批量采集
保存完成后,在对应的任务卡片上点击「立即执行」按钮即可即刻开始处理整份清单。
需要注意的三点规则:
- 会员权限校验:批量采集底层调用了任务调度引擎,需持有 VIP1 或更高会员(点击时会即时校验)。
- 独立于定时开关:即使卡片右上角的定时开关关闭,也可以点击「立即执行」启动;运行是否完成还取决于页面、网络和任务状态。
- 按钮防重保护:任务开始后,「立即执行」按钮会暂时隐去,防止短时间内二次误触导致重复抓取。
三、运行时的浏览器内部表现
批量运行开启后,浏览器会自动按流水线进行以下操作,均属于正常行为,请勿惊慌:
- 开启承载首屏:系统会自动新开一个前台标签页加载清单里的第一个网址并执行采集(不会占用你正在看的工作标签页)。
- 逐个处理网址:随后依次打开其他目标网页。每条处理完后通常会等待约 3 秒,再关闭该页面并继续。
- 结束后关闭页面:整批正常结束后,扩展会关闭初始打开的标签页;异常时请检查页面和运行日志。
运行期间请勿干预标签页
- 请勿手动关闭系统自动打开的采集标签页,否则会导致当前网址采集强行中断。
- 如果需要紧急叫停整批任务,在侧边栏的运行卡上点击红色「结束」即可。详见启动、中断与结束。
四、容错机制:单条网址出错会怎样?
批量处理中,难免遇到个别失效链接或打不开的页面。系统遵循以下容错原则:
- 局部失败可能跳过: 某条网址打不开或采集步骤失败时,任务可能跳过该条并继续。连续多次失败也可能挂起,请查看运行状态和日志。
- 需要人工处理时可能挂起: 如果识别到需要登录或验证码,任务会挂起等待处理。手动完成验证后,回侧边栏点「恢复」;运行后检查日志与结果。
五、启动异常阻断对照
若点击「立即执行」后任务完全没跑起来,常见提示如下:
| 界面提示信息 | 根本原因 | 对应解决办法 |
|---|---|---|
| 执行体缺失(包装工作流不存在) | 任务的执行配置缺失 | 点击编辑该任务,检查关联工作流后重新保存 |
| 任务未配置目标网址 | 网址输入框完全为空 | 编辑任务补充网址列表 |
| 无法打开任务页面 | 列表里第一个网址格式有误或网络不通 | 核对首个网址拼写是否完整(带 https://) |
| 该页面已有采集在执行 | 浏览器当前已有正在执行中的采集任务 | 等待前序任务结束,或在侧边栏手动点击结束 |
六、批量数据沉淀与查看
- 数据去向:批量任务会在各网址执行所选工作流,结果保存到该工作流指定的数据集。若工作流本身使用多个数据集,结果也可能分布在多张表里。
- 出处追溯列:在「数据存储」打开数据预览时,表格最后一列会系统内置
数据来源页,方便你明确分辨每一行数据采自哪个具体的 URL。 - 跑完后切到「数据存储」,点击「下载此数据集」即可整体导出为完整的 Excel 或 CSV。