下⾯我就简单跟⼤家讲讲Web Scraper爬⾍环境的搭建和在配置过程中遇到的问题。
Web Scrapter是⼀款基于Chrome内核的浏览器插件,所以在配置Web Scraper前我们需要在电脑中安装⽀持Chrome内核的浏览器(可以选择Chrome浏览器或者QQ浏览器,建议安装Chrome),浏览器的选择就不在这⾥做过多的对⽐,⼤家根据⾃⼰情况选择即可。
浏览器安装好之后,我们就可以在浏览器中安装Web Scraper插件了:
1、配置你的⽹络环境,可以正常打开【Chrome⽹上应⽤商店】即可(如果⾃⼰⽹络访问不了,可以在⽹上找⼀些能翻墙的VPN)
2、打开Chrome应⽤商店,搜索"Web Scraper",如下图
然后将Web Scraper添加⾄Chrome,环境就搭建成功了(如果⽆法打开⾕歌应⽤商店,也可以⾃⼰在百度上搜索离线安装包,在开发者模式下进⾏安装,这⾥就不详细说了)。
3、安装完成后我们需要来验证下效果,安装完成后我们可以在浏览器上看到这样⼀个图标,看到这个就说嘛插件已经安装成功
然后打开我们需要爬取的⽹站,打开之后从「菜单-更多⼯具-开发者⼯具」进⼊,如下图:
打开之后就可以看到Web Scraper的选项卡了,后⾯就可以进⾏数据爬取了。
注:如果在数据爬取过程中出现了限制访问⽹站,可能是⽹站进⾏了防刷检测,这个时候你需要使⽤代理进⾏访问,可以选择我们的流冠代理。