用户名
密码
(30天内有效)
注册
注册

首页 > 案 例 >

手把手教你使用八爪鱼获取点评数据

我要收藏
2017-08-02

阅读数:335

收藏数 2

本案例为局部节选内容,城市数据派会员请下载附件查看完整版内容。

 

登录八爪鱼账号(请先注册:http://www.bazhuayu.com/)后,点击左下角的快速开始,然后点新建任务

1501728474390668.png

右栏会弹出下面这个页面,输入你想命名的任务名和备注后,点击下一步

1501728509948349.png


点击流程设计器的打开网页按钮,在右方的url写入要抓取的网页地址,下方即刻就会显示你要抓取的页面。因为大众点评最多只能显示50页数据,所以为更多抓取数据,建议大家以较小分类来抓取数据。比如,演示的是天河区按口味排名的页面。


1501728554518417.png


由于我希望抓取天河区所有类型的美食数据,所以我需要完成三个循环,

第一个是单页面相同结构的数据循环,意思是按顺序抓取单个页面上的15个数据;

第二个是选定类型比如说第一个快餐简餐标签下的50页数据,所以我需要建立一个翻页循环;

第三个循环是美食类型的循环,需要前面这个循环完成后进入下一个美食标签,继续抓取50页数据。

 

这里,请注意,楼主亲测当嵌套多于2个时,八爪鱼会限定一次性的抓取条数,可能一次只能抓200多条就ban掉你的IP了,所以建议大家可以多建立一些任务,每个任务都不超过2个嵌套。

 

由于嵌套在内部的循环是最先完成的,所以咱们先来构建单个页面上的循环。首先点击,然后选择,最后点击创建一列元素。

1501728594564310.png

会显示已添加一个元素,点击继续编辑列表,选择下一个美食元素,会显示当前页所有元素都添加,点击创建列表完成,最后点击循环。


1501728645738285.png


然后点击提取数据,点击例如商铺名称、评价等你想要抓取的数据,点击抓取这个数据的文本,尤其记得抓取店铺地址这一栏,因为可以作为下一步地址转坐标的依据。


1501728673652328.png


然后后面还有几步就能完成咯!如需查看完整版内容,请成为城市数据派会员哦~


本站声明

本文仅代表作者观点,不代表城市数据派立场;
本文系作者授权城市数据派发表,未经许可,不得转载;
本网站上的所有内容均为虚拟服务,一经购买成功概不退款,请您理解。

分享:
点赞0

全站浏览排行

TOP ARTICLES
  • 联系城市数据派
    info@udparty.com
  • 顶部