八爪鱼采集器 V8.2.2 官方电脑版

八爪鱼采集器最新版是一款电脑网页采集软件，该工具支持对所有页面内容进行采集，适用于电商、营销等多种行业和人群，操作简单，运行稳定，采集目标提取非常精准。并且能对不同类型页面进行采集，尤其是电商页面的商品图或是评论内容，都能进行抓取。

软件特色

满足多种业务场景

适合产品、运营、销售、数据分析、政府机关、电商从业者、学术研究等多种身份职业

舆情监控

全方位监测公开信息，抢先获取舆论趋势

市场分析

获取用户真实行为数据，全面把握顾客真实需求

产品研发

强力支撑用户调研，准确获取用户反馈和偏好

风险预测

高效信息采集和数据清洗，及时应对系统风险

软件功能

简易采集

简易采集模式内置上百种主流网站数据源，如京东、天猫、大众点评等热门采集网站，只需参照模板简单设置参数，就可以快速获取网站公开数据。

智能采集

八爪鱼采集可根据不同网站，提供多种网页采集策略与配套资源，可自定义配置，组合运用，自动化处理。从而帮助整个采集过程实现数据的完整性与稳定性。

云采集

由5000多台云服务器支撑的云采集，7*24小时不间断运行，可实现定时采集，无需人员值守，灵活契合业务场景，帮你提升采集效率，保障数据时效性。

API接口

通过八爪鱼API，可以轻松获取八爪鱼任务信息和采集到的数据，灵活调度任务，比如远程控制任务启动与停止，高效实现数据采集与归档。基于强大的API体系，还可以无缝对接公司内部各类管理平台，实现各类业务自动化。

自定义采集

针对不同用户的采集需求，八爪鱼可提供自动生成爬虫的自定义模式，可准确批量识别各种网页元素，还有翻页、下拉、ajax、页面滚动、条件判断等多种功能，支持不同网页结构的复杂网站采集，满足多种采集应用场景。

便捷定时功能

简单几步点击设置，即可实现采集任务的定时控制，不论是单次采集的定时设置，还是预设某一天或是每周每月的定时采集，都可以同时对多个任务自由进行设置，根据需要对选择时间进行多重组合，灵活调配自己的采集任务。

全自动数据格式化

八爪鱼内置了强大的数据格式化引擎，支持字符串替换、正则表达式替换或匹配、去除空格、添加前缀或后缀、日期时间格式化、HTML转码等多项功能，采集过程中全自动处理，无需人工干预，即可得到所需格式数据。

多层级采集

很多主流新闻、电商类的网站，里面包含一级商品列表页，也包含二级商品详情页，还有三级评论详情页面；不论网站有多少层级，八爪鱼都可以不限制层级的采集数据，满足各类业务采集需求。

支持网站登录后采集

八爪鱼内置了采集登录模块，只需配置目标网站的账号密码，即可用该模块采集到登录后的数据；同时八爪鱼还具备采集Cookie自定义功能，首次登录以后，可以自动记住cookie，免去多次输入密码的繁琐，支持更多网站的采集。

软件亮点

简单来讲，使用八爪鱼可以非常容易的从任何网页精确采集你需要的数据，生成自定义的、规整的数据格式。八爪鱼数据采集系统能做的包括但并不局限于以下内容：

1. 金融数据，如季报，年报，财务报告, 包括每日最新净值自动采集；

2. 各大新闻门户网站实时监控，自动更新及上传最新发布的新闻；

3. 监控竞争对手最新信息，包括商品价格及库存；

4. 监控各大社交网站，博客，自动抓取企业产品的相关评论；

5. 收集最新最全的职场招聘信息；

6. 监控各大地产相关网站，采集新房二手房最新行情；

7. 采集各大汽车网站具体的新车二手车信息；

8. 发现和收集潜在客户信息；

9. 采集行业网站的产品目录及产品信息；

10. 在各大电商平台之间同步商品信息，做到在一个平台发布，其他平台自动更新。

怎么用

八爪鱼采集器能为页面抓取带来极大的时间节省，只需要前期设置好功能就能自动进行采集，大大提升效率。不过初次使用的用户会比较难上手，有非常多的选项框需要填写，不过下面的教程能让用户快速入门，一起看看吧：

先我们新建一个任务-->进入流程设计页面-->添加一个循环步骤到流程中-->选中循环步骤-->勾选上软件右方的URL 列表勾选框-->打开URL列表文本框-->将准备好的URL列表填写到文本框中

接下来往循环中拖入一个打开网页的步骤-->选中打开网页步骤-->勾选上使用当前循环里的URL作为导航地址-->点击保存。系统会在界面下方的浏览器中打开循环中选中的URL对应的网页

到这里，循环打开网页的流程就配置完成了，运行流程的时候，系统会逐个的打开循环中设置的URL。最后我们不需要配置一个采集数据的步骤，这里就不在多讲，大家可以参考从入门到精通系列1：采集单个网页 这篇文章。下图就是最终和流程

下面是流程最终的运行结果

循环翻页教程

步骤一、先创建1个任务

经过前几课的学习，我们已经学会了如何采集单个页面上的列表、表格、点击链接进入详情的数据。根据需求，先配置好1个采集1页数据的任务。

在这里，我以 采集列表数据 为例。先建立一个【循环-提取数据】步骤。

现在，第1页上的列表数据就全被采集下来了。接下来，我们想让八爪鱼自动翻页，去采第2页、第3页.....直到最后1页的数据。这就需要建立一个【翻页循环】。

步骤二、建立【翻页循环】

找到并点击页面中的【下一页】按钮，在自动弹出的【黄色操作提示框】中点击【循环点击下一页】。这样，用【下一页】按钮创建【循环翻页】的步骤就完成了。可以看到流程图中出现一个【循环翻页】的步骤，这就表明我们已经成功创建好了【循环翻页】，八爪鱼就能自动完成翻页了。

为什么要【循环点击下一页】？它的意思就是，让八爪鱼不断的多次点击 【下一页】进行翻页，以实现采集第2页，第3页......直到最后一页数据。这跟我们在浏览器中，不断点击【下一页】按钮翻页，逻辑是相同的。

特别说明：

a. 如果出现的不是【循环点击下一页】，而是【循环点击单个XXX】怎么办？【循环点击下一页】的本质是，循环点击页面上用来翻页的按钮。不同网页上用来点击翻页的按钮，展示方式可能不同。常见的有：【下一页】【>】【后页>】，对应的八爪鱼操作提示框中出现的可能是【循环点击下一页】【循环点击单个链接】【循环点击单个元素】【循环点击单个图片】，本质上都是一样的，都用于创建循环翻页。

步骤三、启动采集

1、点击【保存并启动】，选择【启动本地采集】。启动后八爪鱼开始全自动采集数据。（本地采集是使用自己的电脑进行采集，云采集是使用八爪鱼提供的云服务器采集）

2、采集完成后，选择合适的导出方式导出数据。支持导出为Excel、CSV、HTML。这里导出为Excel。

示例数据：

关于【循环翻页】的几个技巧分享：

1、可以先建【循环翻页】，也可先建【循环-提取数据】。

八爪鱼会自动判断并调整步骤在流程中的位置。对于点击【下一页】翻页，标准流程如下图所示，它的执行逻辑是：【打开网页】→【采集第1页列表数据】→【翻到第2页】→【采集第2页列表数据】......【翻到最后1页】→【采集最后1页列表数据】→【所有页数据采完，自动结束采集任务】。

2、可通过【限制翻页次数】，控制翻页的次数。

如果只需要采集前3页数据，则设置翻页次数为【3】。

怎么采集评论

步骤1：创建淘宝商品评论采集任务

1）进入八爪鱼采集器主界面，选择自定义模式

2）将上面网址的网址复制粘贴到网站输入框中，点击“保存网址”，就创建了一个淘宝商品评论采集的任务。

3）淘宝商品评论位于页面中部的累计评价中，所以最好设置一个滚动页面。设置方法为点击右上角流程按钮，然后点流程图中打开网页，勾上页面加载完成后向下滚动这个选项，设置如下图步骤3所示。

4）滚动页面至可以看到累计评价这个选项，然后点击，选择点击该链接，并设置ajax加载时间为2秒。

 

步骤2：创建淘宝评论翻页循环

l 找到翻页按钮，设置翻页循环

l 设置ajax翻页时间

l 设置滚动页面

1）将页面下拉淘宝商品评论到底部，找到下一页按钮，鼠标点击，在右侧操作提示框中，选择“循环点击下一页”这个选项。

2）选择右上角的流程按钮，点击流程图中的点击翻页按钮，然后选中ajax加载数据，时间选择4秒。并且页面加载加载完成后向下滚动这个选项也要勾上，参数根据自己实际情况选择。

步骤3：淘宝商品评论采集

l 选中采集的淘宝商品评论内容，创建评论采集列表

l 提取评论数据

1）点击要采集的淘宝商品评论内容，点击“选中全部”。

2）当前页面中所有的淘宝商品的内容将会被选中，点击“采集数据”

注意： 在提示框中的字段上会出现一个“X”标识，点击即可删除该字段。

3）修改采集任务名、字段名，并点击下方提示中的“保存并开始采集”

4）根据采集的情况选择合适的采集方式，这里选择“启动本地采集”

说明：本地采集占用当前电脑资源进行采集，如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能，云采集在网络中进行采集，无需当前电脑支持，电脑可以关机，可以设置多个云节点分摊任务，10个节点相当于10台电脑分配任务帮你采集，速度降低为原来的十分之一；采集到的数据可以在云上保存三个月，可以随时进行导出操作。

步骤4：淘宝商品评论数据采集及导出

1）采集完成后，会跳出提示，选择导出数据

2）选择合适的导出方式，将采集好的数据导出

如何设置字段

步骤1：首先打开八爪鱼采集器→找到自定义采集→点击立即使用

步骤2：输入网址→设置翻页循环→设置字段提取→修改字段名→对规则进行手动检查→选择采集类型启动采集

注意点：

设置翻页循环：观察网页底部有没有翻页图标，如果有并且需要翻页则点击翻页图标，操作提示中循环点击下一页表示循环翻页，可以在循环中设置翻页次数，设置几次则采集网页最新内容几页。采集该链接的文本选项则会出现提取数据步骤，提取下一页对应的文本；点击采集该链接地址步骤选项会出现提取数据步骤，提取当前字段对应的链接地址。点击该链接则会出现点击元素步骤，点击该元素一次。

设置字段提取：先对网页内容进行分区块，思路为循环各区块，再从循环到的区块中提取每个字段内容，所以设置时先点击2-3个区块，八爪鱼会自动选中剩余所有区块，点击采集以下元素文本会出现循环提取数据步骤，实现对区块的循环采集，但是此时每个区块循环时只会将区块内文字合并为一条提取，此时我们删除该字段并手动添加需要提取的所有字段；点击循环点击每个元素则会出现循环点击元素步骤，对每个区块进行一次点击，该示例中区块点击没有效果，所以该示例中循环点击不存在效果。如果选择错误，或者出现的内容列表不是你需要的，可以在操作提示中点击区块后的垃圾桶图标进行删除操作，或者点击取消选择，重新设置。循环之下的第一个元素要勾选采集当前循环中设置的元素，相关操作才会根据循环设定循环。

修改字段名：修改字段名可以点击选择系统内置的字段名，或者手动输入字段名，按回车键可以切换到下一个。

选择采集类型启动采集：本地采集占用当前电脑资源进行采集，如果存在采集时间要求或当前电脑无法长时间进行采集可以使用云采集功能，云采集在网络中进行采集，无需当前电脑支持，电脑可以关机，可以设置多个云节点分摊任务，10个节点相当于10台电脑分配任务帮你采集，速度降低为原来的十分之一；采集到的数据可以在云上保存三个月，可以随时进行导出操作。

步骤3：确认数据无误→点击导出数据→免费版用户支付积分→选择导出方式→查看数据

怎么采集视频

八爪鱼可以批量采集网页中视频的下载地址；再使用网页视频下载器下载视频。

网页中视频url采集

创建翻页循环

进入采集规则设置界面，将视频网站的URL输入到地址栏，如图点击右侧的按钮，

在八爪鱼采集器的内置浏览器中打开该网页

找到采集的视频站中的翻页按钮，移动鼠标选中，点击右键，

执行红色方框中的“循环点击下一页”选项。

完成后上述操作后，左侧的流程设计器中显示出一个翻页循环框，翻页循环创建完成，如图所示

创建循环点击列表

移动鼠标选中视频列表中的标题，点击鼠标右键，选择红色方框中的“创建元素列表”

选择添加到列表

这个元素就会添加到上方的列表中，在执行“继续编辑列表”

选中视频列表中的第二个视频，同样的方法将其添加到元素列表中

视频列表中的其他视频标题将被抓取到元素列表，这是因为我们添加的是具有两个相似特征的元素，

八爪鱼采集器会智能的将页面中其他具有相似特征的元素都添加进来。点击“创建列表完成”

如图，点击“循环”

左上方的流程设计器会显示一个点击元素的循环框。完成循环点击列表的创建

抓取视频URL

移动鼠标到视频标题处，右键点击，选择执行红色方框中的“抓取这个元素的文本”，对视频的标题进行抓取

抓取到的标题会显示在右上方的操作框中，点击“添加其他特殊字段”，选中“添加当前页面的网址”

这个视屏的URL就被提取出来了，接着点击右下角的保存按钮

完成视频URL提取步骤

由于每一页都需要循环采集数据，所以我们需要将这个循环列表拖入到翻页循环里。

注意：流程是从上网页执行的，所以这个循环列表需要放到点击翻页的前面，否则会漏掉第一页的数据。

完成后的采集规则就如图中红色方框，点击右下方的保存后，就可以点击“下一步”，开始视频URL的采集

开始采集

选择单机采集，开始视频URL的提取

采集完成，将视频的URL导出

将视频URL导出后，使用视频URL批量下载工具将视频下载出来就完成了。

更新内容

迭代功能

【定时本地采集】设置定时任务，在本地设备上运行本地采集。

Bug修复

修复自动识别生成的采集配置未包含高级选项（滚动和点击加载更多）的问题；

修复步骤重试在本地采集不生效的问题；

修复部分网址采集失败的问题（如Booking）；

修复使用模板时，版本限制有误的问题；

修复修改任务名，未弹出同名提示的问题；

修复本地采集完成后采集状态错误的问题；

修复设置去重字段，去重状态显示错误的问题。