SysNucleus WebHarvy(网页数据抓取工具)

WebHarvy 是一款专业的网页数据抓取工具，功能强大且操作相对简单。它能从多个页面中自动提取文本、图片、网址和电子邮件等信息，用户只需点击即可完成抓取，甚至可以保存整个页面为HTML格式。软件能够智能识别网页中的数据模式，并支持将数据导出为Excel、CSV、JSON等多种格式。对于需要处理分页的网站，WebHarvy还能通过“下一页”链接自动遍历和采集内容。

WebHarvy适用于多种类型的网站，比如电商、房地产、学术资料等，满足研究、分析或商业整合的需求。它的一大亮点是无需编程即可完成抓取任务，内置浏览器让用户可以直接在界面上操作。此外，软件还支持通过代理服务器或VPN匿名抓取数据，保护隐私。

WebHarvy的功能还包括处理分页、提交关键词搜索、使用正则表达式和JavaScript脚本进行复杂操作，甚至可以自动执行浏览器任务如点击链接或输入文本。不过，它目前只支持Windows系统，Mac用户需要借助虚拟机运行。

总的来说，WebHarvy 是一个非常实用的工具，尤其适合需要从网站批量抓取数据的人群。虽然功能强大，但对非技术人员来说可能需要一些时间来熟悉操作流程。对于电商数据分析、学术研究或自动化任务，WebHarvy确实能节省不少时间和精力。

功能特点

1、简单的网页抓取

通过 WebHarvy 的点击界面，网页抓取变得非常简单。无需编写代码或脚本来抓取数据。您将使用 WebHarvy 的内置浏览器加载和导航网站，并且可以通过单击鼠标选择要抓取的数据。

2、智能模式检测

WebHarvy 自动识别网页中出现的数据模式。要从网页中抓取项目列表或表格（名称、地址、电子邮件、价格等），不需要额外的配置。如果数据重复，WebHarvy 会自动抓取它。

3、保存到文件或数据库

抓取的数据可以以多种格式保存。当前版本的 WebHarvy 网页抓取软件允许您将抓取的数据保存为 Excel、XML、CSV、JSON 或 TSV 文件。您还可以将数据导出到 SQL 数据库。

4、处理分页

网站通常会在多个页面中显示产品列表或搜索结果等数据。WebHarvy 可以自动从多个页面爬行和抓取数据。只需指出“下一页的链接”，WebHarvy 就会自动从所有页面中抓取数据。

5、提交关键词

通过自动向搜索表单提交输入关键字列表来抓取数据。可以将任意数量的输入关键字提交到多个输入文本字段来执行搜索。可以从输入关键字的所有组合的搜索结果中抓取数据。

6、保护隐私

为了匿名抓取数据并防止网络抓取软件被网络服务器阻止，您可以选择通过代理服务器或 VPN 访问目标网站。可以使用单个代理服务器或代理服务器列表。

7、类别抓取

WebHarvy 允许您从指向网站内类似页面/列表的链接列表中抓取数据。这允许您使用单一配置来抓取网站内的类别和子类别。

8、常用表达

正则表达式 (RegEx) 可以应用于网页的文本或 HTML 源来抓取匹配部分。这种强大的技术为您在抓取数据时提供了更大的灵活性和控制力。

9、JavaScript 支持

在抓取数据之前，在浏览器中运行您自己的 JavaScript 代码。这可用于与页面元素交互、修改 DOM 或调用目标页面中已实现的 JavaScript 函数。

10、图像抓取

可以下载图像或抓取图像 URL。WebHarvy 可以自动抓取电子商务网站产品详细信息页面中显示的多张图像。

11、自动执行浏览器任务

WebHarvy 可以轻松配置为执行诸如 单击链接、 选择列表/下拉选项、在字段中输入文本、 滚动页面、 打开弹出窗口等任务。

软件优势

1、需要 Windows

WebHarvy 需要 Windows 操作系统才能运行。如果您想在 Mac 上运行 WebHarvy，您应该通过 BootCamp 安装 Windows 或通过 Parallels 运行 WebHarvy。目前不支持 OS X / macOS。

2、基于 Chrome 构建

最新版本的 WebHarvy 是使用 Google 的开源 Chrome 浏览器项目构建的，这使得它更加安全、稳定和更快。

3、从云运行

WebHarvy 可以在 Amazon AWS EC2 Windows 实例中运行。