【政府网站】采集正文及下载文中附件

步骤一、打开网页

特别说明：

a. 打开网页后，如果开始开始【自动识别】，请等待自动识别完成。八爪鱼支持自动识别网页上的列表、滚动和翻页，识别成功后直接启动采集即可获取数据。如果【自动识别】的结果不是我们需要的，可点击【取消】关闭智能识别，自行配置采集流程。详情点击查看 【自动识别】

说明：

循环打开网址可参考教程：URL循环：批量采集同类网页

 

步骤二、提取标题与正文

特别说明：

a. 本教程主要展示附件下载，所以正文处没有规范字段，具体规范请结合xpath过滤和合并同一字段处理。

步骤三、确定附件xpath，采集并下载

特别说明：

a. xpath定位原则就是准确且不同网址可复制定位，具体思路是先在网页定位所需元素，找相应有代表性的父标签以及其独特属性。具体指南：xpath基础学习

b.应用完配置之后，可以点到流程空白处，再点击循环，即可看到其xpath定位到的具体列表。

特别说明：

a.设置提取数据直接拼接循环项目的是什么？主要是循环项已经是标准的附件定位xpath，不需要再写相对xpath拼接。具体相对/绝对xpath解析：绝对xpath、相对XPath学习

步骤四、字段格式化处理（设置多个URL分开下载）

特别说明：

a.由于给“提取数据1-字段1设置过下载文件选项，则更改相关的字段名称，后面下载路径名称自己会变。

特别说明：

a. 由于此前我们一个网址只采集了标题和正文（并非循环），遇到网页多附件时，循环采集附件会导致正文和标题字段重复显示，为后续数据处理造成难度（尤其是多网址循环时），现在通过合并字段解决非附件重复问题：合并同一字段。

b.由于字段合并，所以文件链接多条无法下载，这时开启包含多个URL（当字段单元格内容包含多个文件下载URL链接时，需要把链接分隔符设置一致否则链接拆分出错会导致下载失败。同时对应的“文件位置“字段内容也会同步使用相应的分隔符划分），同时合并字段就是换行符连接字段，这里不用更改。

步骤五、启动采集与下载

特别说明：

a. 【本地采集】是使用自己的电脑进行采集，【云采集】是使用八爪鱼提供的云服务器采集，点击查看 本地采集与云采集详解，文件下载不支持云采集。