EasySpider Ebay样例博客
EasySpider是一款开源的网络爬虫工具,支持在Windows、MacOS和Linux系统上安装。通过它,用户可以轻松设计并执行网络数据抓取任务。
一、下载地址
可以从EasySpider的GitHub发布页面下载适合您操作系统的版本。
https://github.com/NaiboWang/EasySpider/releases
下载完成后,解压并进行安装。下面以macOS为例,展示安装完成的界面:
二、体验初探
现在,我们来体验如何通过EasySpider获取ebay网站上的商品数据。
1. 设计任务
1)打开EasySpider主程序
启动EasySpider后,您会看到以下界面:
2)点击【中文】
选择中文作为操作语言。
3)点击【设计任务】
进入设计任务界面,并选择【使用纯净版浏览器设计】以便无需用户登录信息。
4)设计任务界面
大约5秒钟后,EasySpider将会同时打开设计任务窗口和一个浏览器窗口。
5)新建任务
点击【新建任务】,在任务输入框中输入ebay的网址 https://www.ebay.com
,点击【开始设计】以打开ebay官网。
浏览器将会加载ebay官网页面:
6)输入搜索关键字
右击搜索框,点击【输入文字】按钮。在弹出的对话框中输入搜索关键字(例如“手机”),然后点击【确定】。
7)点击搜索
右击搜索按钮,选择【点击该按钮】。此操作将会执行搜索并展示与“手机”相关的所有商品。
在EasySpider主窗口的设计面板中,您会看到【输入文字】和【点击元素】的操作被加入到任务队列中,表示刚刚的操作成功录制。
8)采集商品标题
右击一个商品的标题,选择【选择全部】,此时所有商品的标题都会被选中。点击【采集数据】,此任务将会加入队列。
在EasySpider主窗口的设计面板中,新的任务被添加到队列中:
9)循环点击下一页
在页面底部找到分页按钮,右击【下一页】按钮并选择【循环点击该链接】。
10)调整任务顺序
通过【剪切元素】功能调整任务顺序,实现循环点击下一页并自动抓取每页的所有商品标题。
提示: 在执行步骤6至10时,个别操作可能会失败,建议多次重复执行该步骤直至成功。
11)保存任务
设计任务完成后,保存任务并关闭设计窗口,返回EasySpider的主界面。
2. 执行任务
1)查看任务
回到EasySpider首页,点击【查看执行任务】。
2)查看任务信息
点击【任务信息】查看已保存的任务详情。
3)调用任务
点击【调用任务】以准备执行任务。
4)修改执行条件
在弹出的窗口中,选择【本地直接执行】。复制生成的执行脚本以备后续使用。
5)执行任务
打开easyspider_executestage
程序,粘贴上一步生成的脚本,并执行。稍等片刻,等待任务完成。
6)查看结果
任务执行完成后,采集到的数据文件会保存在Data
目录下。