Web Scraper：如何设置和管理数据质量控制

数据质量控制 是Web Scraper中的一项功能，用于确保抓取的数据符合预期的标准。你可以根据特定的条件为每个Sitemap设置数据质量控制，确保抓取的数据完整且符合要求。如果数据质量不达标，Web Scraper会发出通知，提示你检查并调整抓取配置。

数据质量控制的设置选项

你可以根据多个标准来设定数据质量控制，这些标准包括：

1. 最小记录数

• 设定抓取任务至少要提取的记录数量。例如，某个Sitemap任务的目标是抓取1000个产品记录，你可以设置最小记录数为1000，以确保抓取到足够的数据。

2. 最大失败页面百分比

• 设定在抓取过程中允许的最大失败页面比例。例如，如果你希望抓取任务中失败页面的比例不超过5%，可以将此值设置为5%。

3. 最大空白页面百分比

• 设定抓取过程中允许的最大空白页面比例。例如，某个Sitemap任务中空白页面的比例不能超过10%，你可以设置此项为10%。

4. 必须填写的最小字段百分比

• 设定抓取到的数据中必须填写的最小字段比例。例如，你希望至少80%的字段在抓取数据中有值，可以将此比例设置为80%。

  

如何检测数据质量控制是否失败

数据质量控制在以下情况会被判定为失败：

• 抓取的记录数低于设定的最小记录数
• 失败页面的百分比高于设定的最大值
• 空白页面的比例超出设定限制
• 填写的字段比例低于最低要求

在Sitemap详情页面的数据质量控制标签中，可以看到每个标准的状态。如果最后一次抓取任务的结果未达到某个标准，对应的滑动指示器将变为红色，表示数据质量控制失败。

通知

当数据质量控制失败时，Web Scraper会通过电子邮件或Web Scraper Cloud通知向你发出警告，提示你检查抓取任务的配置或数据质量问题。你可以在通知设置中选择接收这些通知的方式和频率。

自动填充建议值

如果某个Sitemap已经完成了至少一次抓取任务，你可以使用“Fill with suggested values”选项，自动根据之前的抓取任务数据配置数据质量控制设置。这些建议值会根据上一次抓取任务的表现自动调整，帮助你轻松设定适合当前任务的标准。

保存时删除相关通知

当你调整并保存新的数据质量控制设置时，你可以选择Delete related data quality notifications on save，删除与该Sitemap相关的所有之前的失败通知。这样可以避免重复收到旧通知。

使用场景

1. 保障抓取任务数据的完整性

在大规模抓取任务中，确保数据的完整性非常重要。通过设置最小记录数和字段填充比例，Web Scraper可以帮助你及时发现抓取数据中的缺漏问题，确保最终结果符合预期。

2. 监控抓取任务的成功率

通过设置最大失败页面和空白页面比例，你可以监控抓取任务的稳定性。如果发现抓取任务中失败页面或空白页面过多，Web Scraper会发出通知，帮助你调整任务配置或重新尝试抓取。

3. 自动调整数据质量标准

当你不确定如何配置数据质量控制时，可以使用自动填充建议值功能，基于之前的抓取数据快速配置合理的质量标准，避免手动调整的繁琐。

最后感受

数据质量控制 是Web Scraper中的一个非常有用的工具，帮助你确保抓取的数据准确、完整，并且符合预期的标准。通过配置合理的标准并结合通知功能，你可以更高效地管理和监控抓取任务，避免数据缺失或错误。如果你需要处理大规模或关键任务的数据抓取，确保启用数据质量控制功能，它将帮助你提升数据抓取的稳定性和准确性！

想了解如何利用RPA+AI打造图文工厂 扫描下方二维码加入星球