基于FME的互联网数据抓取与挖掘


互联网开放数据以在线的方式让所有人可以访问和获取,这些数据充满无限可能性。本章将介绍FME在互联网数据抓取与挖掘方面的几个应用案例,带大家一起体验FME零编码、快速、自由抓取数据的优势。


案例一:FME与微博

FME目前已经提供对网络数据的处理能力,包括JSON、XML格式,甚至直接发送和接收TCP/IP协议的数据流。下面展示如何将抓取新浪微博的数据,并将其展示到地理信息平台上。

新浪微博提供开发式API,允许用户对来自微博数据进行读取,对于如何使用微博API,参考http://open.weibo.com/wiki/API。我们选取了某一个位置,通过调用微博API,抓取附近某个范围内最新的微博消息。使用FME中的PythonCreator脚本,抓取微博数据。


返回的JSON数据格式如下:


这样的结果是无法很好的被利用的,因此,我们在通过FME的转换器完成了数据整理工作,提取出我们感兴趣的信息,并将发送微博的位置信息空间化,直接发布到ArcGIS Online上进行展示。


展示效果如下:


取微博数据这里我们使用了一小段python脚本,但其实我们可以直接使用FME的HTTPCaller来访问API接口,这样使得整个过程可以真正零代码。



案例二:零编码抓取POI数据

基于网页的API接口获取数据类型多样,高德、腾讯、百度等地图厂商都提供了POI数据的API接口。

这里以高德poi数据为例子,详细api说明可参考:

http://lbs.amap.com/api/webservice/reference/search/

.

1.提取poi数据的模板编写思路

根据官方的使用说明,对发送的请求连接做相应的组合如下:

固定网址+查询范围+用户许可+poi类型+每页poi数量+翻页数量

官方示例如下:

http://restapi.amap.com/v3/place/polygon?polygon=116.460988,40.006919;116.48231,40.007381;116.47516,39.99713;116.472596,39.985227;116.45669,39.984989;116.460988,40.006919&keywords=kfc&output=xml&key=<用户的key>


编写FME模板构建数据访问链接、请求数据、解析数据并对数据做处理,输出得到想要的结果。

 FME POI下载模板


下载运行情况:

1) 使用CMD运行FME模板下载广东省(包括香港澳门)的poi, fme发出了105万次访问请求,返回470多万条数据。

2) 将FME模板挂在阿里云服务器上,大约花了三天二夜的时间,下载了整个广东省以及香港澳门的poi,累计发送125万次访问请求,返回522万条poi数据.

使用CMD来运行FME模板还有一个好外,就是低配置机器也可以运行处理大量数据流


数据结果展示:

同样的方法可以应用到下载谷歌影像、高德瓦片、百度POI等等具有API接口的开放数据中。实现批量、零代码、无人值守的开放数据下载模式。


案例三:FME与即时通讯工具的互操作  

FME运行方法的多样性。到底选择DESKTOP、SERVER、还是CLOUD?如果有一种另类的操作方法并颠覆以前的观点,会产生什么样的想法?

常规的FME操作,在与FME Server的操作中,通过的中介是浏览器,在浏览器界面来设置参数后运行得出结果。在与DESKTOP的操作中,使用的是Workbench或Bat来设置参数后运行得出结果。如果有另外的操作方式,要如何来实现。


在中国,QQ是最大的即时通讯工具,它垄断了90%以上的即时通讯市场。QQ是国人网络中不可缺少的工具。在常规的GIS数据处理中,FME、ARCGIS、CAD都是主流软件。其中FME又是最为快捷方便的数据处理软件。如果把QQ和FME结合在一起,让QQ来运行FME的模板,会是一个什么样的结果?不可思议还是异想天开吗?哦!这是要用蓝翔的挖掘机炒一锅新东方的菜!

经过一段时间的测试与修改,真的实现了用QQ运行FME模板的方法。实现的方法为群聊执行和一对一执行,以下是几个例子。

第一个例子,下载全国的公车线路信息。


这里的意思,是给QQ机器人发送一条指令,第一行是执行模板的名称,第二行是此模板的对应参数。上图是让QQ机器人执行BUS.FMW,此模板的功能是下载全国的公车线路站点,用到的参数是城市和线路。比如上面就是让QQ机器人下载广州的776公车的线路和站点。

如何看运行状态?输入bus+查询,会出现如下截图所示:


根据QQ机器人返回的连接下载,加载到谷歌地球上,看看效果如下图:



完全没有问题,FME和QQ的结合,真的做到了!!!我们可以把任意的模版通过与QQ机器人的进行交互运行,包括POI数据下载、处理勘测定界数据等等。

用QQ操作FME来运行模板是如此的方便,这会让你惊讶吗?当初有这个想法的时候,感觉太可怕,但有想法就行动去测试,万一实现了呢。。。

FME就是这样的神奇!!!


感谢本篇中“案例二:零代码抓取POI数据”和“案例三:FME与即时通讯工具的互操作”的提供者“千浪”。 




猜你喜欢

北京世纪安图数码科技发展有限责任公司

www.fme-china.com

长期致力于地理信息底层技术研发和产品开发,业务范围涉及数据获取与加工、地理信息三维平台研发、政府与企业行业信息化解决方案

© 2015 城市数据派 粤ICP备15036603号

copyright © 城市数据派UDParty.com-深圳数派互动传媒科技有限公司.ALL Rights Reserved