Web Scraper: 如何设置网站状态及登录配置

在使用Web Scraper抓取数据时，有时我们需要确保一些网站状态是满足特定条件的，才能进行有效的数据采集。比如，你想要抓取一个登录后的数据页面，或者希望先切换语言或货币再开始抓取。针对这些需求，Web Scraper 提供了“网站状态设置”功能，允许你结合导航、输入、点击等操作，确保页面进入理想状态，再执行抓取任务。

常见使用场景

网站状态设置功能可以应用于多种场景，包括：

1. 切换位置：你可以先选择一个特定的地理位置，如“纽约”或“上海”，确保抓取时内容是基于该地的信息。
2. 切换货币：在一些电商网站上，你可以切换默认货币，如从美元切换到欧元。
3. 登录网站：如果网站需要用户登录才能访问数据，那么你可以配置登录操作并在登录成功后开始抓取。

配置步骤

1. 启用网站状态设置

在创建或编辑Sitemap时，你可以通过启用“Website State Setup”来进行相关配置。确保你已经启用了此功能，否则状态检测和相应的操作将不会执行。

2. 设置触发条件

一个重要的配置项是“Perform when not found selector”，它用于定义一个页面元素，若该元素未找到或未包含指定内容，网站状态设置流程将触发。例如，如果你在一个电商网站的导航栏中找到用户名“John Doe”，则表示用户已经登录，无需再次执行登录操作。否则，登录流程将启动。

使用案例：检查登录状态

假设你正在抓取一个需要登录的网站，你可以配置导航栏上的用户名检查。如下配置：

• 如果导航栏包含用户名“John Doe”，则无需登录，抓取操作直接开始。
• 如果未找到或不包含“John Doe”，触发登录操作。

    
复制
    
div.nav-bar:contains('John Doe')

    

测试配置是否正确

为了测试你配置的“Perform when not found selector”，可以使用“Element Preview”功能来预览页面上的元素：

• 0 个匹配元素：表示页面上没有找到该元素，网站状态设置流程将触发。
• 1+ 个匹配元素：表示元素已存在，状态设置流程不会触发。

通过这种方式，你可以在执行实际抓取之前检查配置是否正确。

手动添加jQuery选择器

有时候，自动选择的元素可能不完全符合预期，这时你可以手动添加jQuery选择器来优化选择条件。举个例子，如果你想抓取纽约的商店位置，可以结合jQuery的 :contains() 选择器：

    
复制
    
div.store-location:contains('New York')

    

反过来，你也可以通过 :not(:contains('')) 选择器来反向检查某些元素的不存在。例如，当导航栏中不包含“Log In”时，表示用户已登录：

    
复制
    
div.nav-bar:not(:contains('Log In'))

    

动作配置

在设置状态的过程中，你可以使用以下几种常见的动作：

1. 打开URL：如果需要导航到一个特定的URL页面，你可以使用“Open Url”动作。不过，如果无需跳转到新的页面，该动作就不是必需的。
2. 点击：执行页面上的点击动作，通常用于按钮或链接。
3. 文本输入：填写输入框内容，比如登录表单中的用户名或邮箱。
4. 密码输入：安全地输入密码。注意，Web Scraper在同步或导入密码到云端时是加密的，密码不会导出，只有在实际抓取时才会解密。

注意事项

请注意，使用登录功能时，务必确保网站允许在登录后抓取数据，并且你已获得明确的书面许可，避免违反网站的使用条款。

最后感受

在我看来，Web Scraper 的网站状态设置功能真的非常灵活且强大，特别适合那些需要处理登录、切换语言、选择货币等复杂情况的网站抓取任务。通过简单的配置和测试，你可以让整个抓取流程变得更加智能，省去了很多手动操作的麻烦。如果你需要从登录后才能访问的数据页面抓取信息，Web Scraper无疑是你的理想选择。

通过上面的步骤，结合一些jQuery选择器的灵活应用，你可以更加有效地控制网站的状态，确保抓取的准确性。

想了解如何利用RPA+AI打造图文工厂 扫描下方二维码加入星球