EasySpider如何使用命令行执行任务
在Windows系统下,我们可以通过命令行来执行EasySpider任务。这种方法特别适用于批量任务处理或自动化操作。在V0.3.0及以上版本的EasySpider中,用户可以通过图形界面直接获取任务的命令行指令,并复制到PowerShell执行。
获得任务执行ID
获取任务ID
当你在EasySpider的图形界面中设计并保存了任务后,任务会生成一个执行ID。在任务的执行界面,可以在页面下方看到该任务的执行ID。
注意: 记住这个执行ID,它将在后续命令行操作中使用。
获取命令行指令
1. 通过EasySpider界面获取命令行指令
从V0.3.0版本开始,EasySpider新增了一个功能,用户可以点击“使用命令行执行任务”按钮,来直接获得完整的命令行指令。点击该按钮后,会出现一条包含所有参数的命令行指令。
2. 复制命令到PowerShell
获取到命令后,打开Windows PowerShell,将该命令粘贴进去。
命令行参数说明
以下是常用命令行参数的简要说明。完整参数说明请参考命令行参数文档。
--id
:任务执行ID,指定要执行的任务ID。--user_data
:是否使用用户配置执行任务,1
为使用用户配置,0
为纯净版浏览器。--server_address
:服务器地址,默认是http://localhost:8074
,如果需要远程执行,请更改此地址。--config_folder
:配置文件路径,用于指定config.json
所在的文件夹。--headless
:是否以无头模式运行,1
为无头模式(不显示浏览器界面),0
为正常模式。
命令行示例
以下是一个通过PowerShell运行EasySpider任务的示例命令,假设任务ID为4
,不使用用户配置,任务在本地执行,以下是示例命令:
bash
./EasySpider/resources/app/chrome_win64/easyspider_executestage.exe --id 4 --user_data 0 --server_address http://localhost:8074 --config_folder "D:/Documents/Projects/EasySpider/ElectronJS/" --headless 1 --read_type remote
如果你在32位Windows系统下执行,只需要将路径中的chrome_win64
替换为chrome_win32
:
bash
./EasySpider/resources/app/chrome_win32/easyspider_executestage.exe --id 4 --user_data 0 --server_address http://localhost:8074 --config_folder "D:/Documents/Projects/EasySpider/ElectronJS/" --headless 1 --read_type remote
通过EasySpider的图形界面获取命令行指令,并在Windows PowerShell中执行,能够极大提高任务的执行效率,尤其是在需要批量处理数据抓取任务时。对于Windows x64和x32位系统,操作基本一致,只需调整程序路径即可。