列表 + 详情页采集
列表页上的信息不一定完整。有时需要点开每一条,才能看到商品介绍或文章正文。
下面用书籍练习网站做一个例子:从列表中找到前两本书,分别打开详情页,采集书名和简介,最后检查它们是否对应。
1. 打开练习网页
打开书籍练习网站,停留在书籍列表页面。网站是英文的,本次练习不需要登录。
可以先点开一本书看看:书名在页面上方,往下找到 Product Description,下面就是这本书的简介。看完后返回列表页面。
2. 写下需求
点击浏览器工具栏上的九头虫图标,进入「AI 编译生成」,复制并发送下面这段话:
在当前列表中只处理前两本书,不翻页。依次打开每本书的详情页,采集书名和 Product Description 下方的简介。把每本书的书名和对应的简介保存在同一行,保存到数据存储。
等待 AI 分析编译。如果它询问你的需求,请根据上面的练习目标回答。编译期间网页可能会自动打开详情页或切换标签,先不要手动操作网页。
3. 启动工作流
工作流保存完成后,先回到书籍练习网站的列表首页,并停留在这个页面。然后打开「主工作台」,找到刚生成的工作流,点击「手动启动」。运行过程中,扩展可能会依次打开书籍详情页。
如果运行暂停,按页面或侧边栏的提示处理后再继续。
4. 查看并核对结果
运行结束后,打开「数据存储」,点击刚生成的数据集标题,进入预览。找到「书名」和「简介」两列,检查每本书的简介是否与书名在同一行。
练习网站目前的前两本书可以这样核对:
| 书名 | 简介开头 |
|---|---|
| A Light in the Attic | It's hard to imagine a world without A Light in the Attic. |
| Tipping the Velvet | Erotic and absorbing... |
网站内容可能变化,以网页实际显示为准。练习网站中有些简介本身包含重复的文字;如果需要整理,或者书名与简介没有对应上,可以修改已有工作流,告诉 AI 要如何调整,再用少量数据重试。
确认结果正确后,可以点击「下载此数据集」,选择 Excel 或 CSV 保存。
换成自己的网页
在自己的列表页面写需求时,说清楚处理哪些条目、打开详情页后采集什么、哪些信息要放在同一行。建议先采集两三条,确认对应关系正确,再扩大采集范围。
如果详情页还没加载完就开始采集,可以在需求中加上“等详情内容出现后再采集”。如果列表还需要翻页,可以参考列表与翻页采集。
如果要采集的内容在页面嵌入的区域里,可以先做嵌入页面练习。