读取已有数据集
历史采集到的数据资产可以在新的采集任务中被二次调用——例如:对比前天采集的商品价格,只筛选降价商品,或者过滤已抓取过的历史文章 ID 实现增量更新。
你不需要手动导出文件再重新上传,直接在采集需求里用自然语言指定即可。
一、需求编写方式与业务场景
在写采集需求时,像平常说话一样指出要引用的数据集:
读取上次采集的「数码商品列表」数据集,与本次抓取的价格比对,只保留价格下降的商品。
参考之前保存的「文章库」,跳过已经采集过的文章链接,只抓取今天的新增文章。
AI 在编译期会自动调用系统工具在你的本地存储中检索该数据集。
如何准确指称数据集
直接使用你在「数据存储」卡片上看到的主标题(即采集它的工作流名称)。命名越具体(如「数码新品比价」优于「比价」),AI 检索的准确度越高。
数据不一定都是「采」来的
「数据存储」里除了网页采集的结果,还会有你在对话里直接上传的文件——它的主标题是文件名, 同样可以这样点名引用。
反过来要留意:下面两种数据不在「数据存储」里,所以这里读不到,要换一种说法:
| 数据在哪 | 怎么用 | 看哪篇 |
|---|---|---|
| 电脑上的文件 | 在需求里给完整路径,运行时现读 | 读取本地文件 |
| 飞书多维表格 | 在需求里给出表格链接,运行时现读 | 读取飞书多维表格 |
二、认清卡片上的两行名称
在「数据存储」页面的每个卡片上,均展示了两个层级的名称,其定位完全不同:
| 显示位置 | 名称属性 | 作用与使用场景 |
|---|---|---|
| 卡片粗体主标题 | 工作流名称 | 供人辨识。日常在需求中点名、查看预览时,直接指称这个名字即可。 |
| 标题下方等宽小字 | 数据集系统标识 | 供机器唯一寻址。这是本机的唯一底层 ID。平时无需手动记忆,仅在出现名称歧义、需要精确核对时参考。 |
三、费用与额度说明
本地读取完全免费
- 读取本地历史数据集完全在浏览器本地完成,不消耗任何 AI 额度,也不计入任何导出条数。
- 无论是免费用户还是会员,均可不受限制地读取任意已有数据用于对比和二次处理。
四、执行日志说明
工作流按页读取数据集时,执行日志可能显示分页进度。页号从 0 开始,例如每页 500 行、共 1200 行时,页号 1 是第二页:
已读取数据集「数码商品列表」页号 1:500 行(共 1200 行)
继续读取到没有更多数据时,日志会打印:
已读取数据集「数码商品列表」页号 3:已到末尾,没有更多行(共 1200 行)
「已到末尾」代表正常完成
这条日志表示当前读取已经到末尾,属于正常信号。不同工作流也可能逐条读取,显示的进度不同。
五、读取异常与排查对策
1. 运行中报错:“读数据集失败:本机没有叫「某某」的数据集”
- 原因:AI 未能在本机数据库中找到指定名称的数据集,可能名称已被修改或记忆有误。
- 解决方式:打开「数据存储」,核对该数据集卡片下方的等宽小字标识,然后修改工作流并指定正确标识。修改后结束原运行,再重新启动工作流。
2. 编译时提示:“目标数据集未在当前环境中检索到”
- 情况 A(确实没采过):这是个全新的任务,依赖的数据源尚未真正采集过,先跑一遍前置任务生成数据。
- 情况 B(稍后才生成):如果工作流的前面步骤负责生成该数据集,确认前面步骤确实会成功保存到同一数据集,再用少量数据试跑并核对结果。不要仅因为流程里有采集步骤就忽略提示。
相关文档
- 数据存储与数据预览 —— 了解卡片主标题与底层标识的位置
- 上传表格,按清单采集 —— 把自己电脑上的表格变成可引用的数据集
- 执行日志 —— 深入了解数据流转日志
- 导出数据 —— 数据核对完毕后导出本地文件