从接口采集数据
有些网页显示列表前,会先从网站获取一份数据。扩展可以尝试从网页已经加载的数据中提取内容;适用时,这种方式可能比逐个读取页面更方便。
是否能够使用,取决于网站实际发送了什么数据,以及扩展能否识别。不同网站返回的字段和数据范围不同,不保证一次就能取到全部结果,也不保证比其他方式更快。
如何尝试
打开目标网页并按需要登录,等列表显示出来。
打开侧边栏,切到「AI 编译生成」。可以点击「试试这样说」里的「接口采集商品列表」,也可以直接输入需求,例如:
尝试通过接口采集当前商品列表的标题和价格,先采集 2 页。
发送需求。如果 AI 提出问题,请根据页面和需求回答;如果它无法识别目标数据,可尝试普通的列表与翻页采集。
工作流保存后,在「主工作台」点击「手动启动」。先用少量数据试跑,再到「数据存储」核对字段、条数和内容。
没有采到数据怎么办
- 页面还没发出数据请求:可以先在网页上手动翻页或操作筛选,再尝试编译;运行时也要让工作流执行必要的网页操作。
- 结果不完整:对照网页检查缺少的是哪些字段或页数,在修改已有工作流中说清楚;必要时改用页面采集。
- 网站改版或登录失效:先确认网页能正常显示数据,再检查执行日志或参考采不到数据怎么办。
接口采集依赖网页实际加载的数据,不应假设页面上没有展示的字段一定存在或可以获取。