用户名
密码
(30天内有效)
注册
注册
+ 我要分享数据和工具
你手上有闲置的数据、开发的工具或产品,
免费或有偿分享,立享知识变现!
  • 绿点

    【研究数据分享】面向深度学习的GF-3 精细模式SAR建筑数据集

    遥感学报NRSBSAR图像是开展城市建筑区信息获取与动态监测的重要数据源。中国科学院空天信息创新研究院吴樊、张红、王超等在《遥感学报》发表论文“SARBuD 1.0:面向深度学习的GF-3 精细模式SAR建筑数据集”,该数据样本集获取自覆盖中国不同区域的 27 景高分三号 (GF-3) 精细模式 SAR 图像,从中提取了建筑区SAR样本数据,结合光学图像与专家解译,制作了与样本数据对应的标签图像。SARBuD1.0数据集包含了不同地形场景类型、不同分布类型、不同区域的建筑区。公开数据包含建筑样本及标签图像共50000个。该数据集可支持研究者对建筑区进行图像特征分析、辅助图像理解,并可对当前热点深度学习方法提供训练、测试数据支持。论文信息题目:SARBuD 1.0:面向深度学习的GF-3 精细模式SAR建筑数据集作者:吴樊, 张红, 王超, 李璐, 李娟娟, 陈卫荣, 张波第一作者单位:中国科学院空天信息创新研究院引用格式:吴樊,张红,王超,李璐,李娟娟,陈卫荣,张波.2022.SARBuD 1.0:面向深度学习的GF-3 精细模式SAR建筑数据集.遥感学报,26(4):620-631[DOI:10.11834/jrs.20220296]研究背景 传统SAR图像建筑提取多从散射强度、纹理特征、成像几何特征、相干特征等方面进行方法设计。这一过程多依赖于研究者的经验总结,但研究人员通常不能观察到待分类对象的所有样本,所设计出来的特征可能无法表达复杂的映射。因而要实现快速、准确大区域范围的建筑提取仍面临着很多挑战。近年基于卷积神经网络的深度学习算法在图像多层级特征学习、特征提取方面取得了良好的成果,已成为地物分类的研究热点。针对这一目的本研究基于 GF-3 精细模式 SAR 数据,构建了一个面向大区域多种地形场景的 SAR 建筑区数据集。数据集旨在促进 SAR 建筑区特性分析及建筑物语义分割提取方面的研究,推进国产SAR数据的深入应用。数据集构建1 预处理数据预处理包括幅度图生成、辐射标定、地理编码等基本处理。所获取的GF-3 数据为 SLC数据,为使不同地区的建筑区之间具有可比性,根据数据头文件中提供的标定参数对图像进行辐射标定。采用线性 2% 拉伸方式对经过辐射标定后的图像处理成 8 位图像。几何纠正根据 GF-3 数据产品 RPC 参数文件中的参数,构建 RPC 模型对图像进行纠正。结合与SAR图像成像时间接近的高分辨率光学图像进行人工目视解译制作像素级标签二值图。2样本集制作将预处理后的SAR 图像及标注的二值标签图进行裁剪,尺寸为 256 像素×256 像素。为了避免裁剪过程中部分建筑区被切割成小的子区域,确保每个完整的建筑区都能有对应的切片,切片与切片之间保证30 个像素值宽度的重叠区。对切片中包含建筑区范围很少的非完整切片进行剔除。根据相应的二值标注图中是否包含有建筑区,将样本切片区分为正样本(或称为有效标记样本)或负样本,放于不同的子集中,构建用于深度学习网络模型训练的样本集。图1 建筑区样本制作流程3建筑样本示例图展示了不同建筑区样本切片示例。从图2中可以看出,建筑分布类型多样化,建立大型样本数据集有利于深度学习网络更好学习不同建筑分布类型的几何结构和纹理特征。图2 不同建筑样本示例4数据集结构以支持研究者对 SAR图像进行建筑区与非建筑区的二元分割为目标,数据集主要包含 SAR 图像样本及相应的二分类标签图。二分类标签图是解译专家结合高分辨率光学图像对 SAR 图像进行建筑区解译的结果。整个数据集的组织结构见图3。数据集获取自27景 SAR 数据,单景 SAR 数据以源数据名命名。每景数据文件中包含对应的SAR 图像强度图、SAR 图像样本切片,相应的标签切片以及后向散射文件,文件格式均为TIFF 格式。此外,数据集还包括图像文件的元数据文件,格式为 XML,元数据文件涵盖了SAR 数据的成像时间、入射角、经纬度等基本信息。图3 数据集结构数据试验与分析基于本研究数据集,利用多种深度学习模型进行建筑区提取测试,考察本数据集在多类型地形场景的建筑区提取适用性。用于测试的深度学习模型包括多尺度注意力 U-Net(MA-UNet),批归一化 U-Net(BN-UNet)和残差U-Net(Res-UNet)进行测试,并对结果进行分析。选取河北省某一地区为试验区,试验区包含密集城市建筑区、山区村镇和散落分布、规模不等的田间村落,场景多样复杂。数据采用样本集外的一景GF-3精细条带 II模式图像,幅宽约为 100 km×100 km。结合高分辨率 Google Earth 光学影像随机选择 SAR 图像的建筑区和非建筑区各10000个样本点验证结果。图4 建筑区提取结果表1 3种方法的提取结果比较图 4 和表 1分别展示了不同模型方法得到的建筑区提取结果及精度评价。从中可以看出,3类网络模型的建筑区提取的总精度都在80% 以上,本数据集对基于深度学习方法的建筑区提取均有很好的数据支持。研究结论本研究建立了一套较完备的大型SAR图像建筑样本集。该数据集采集于 GF-3 FSII模式 SAR 图像。基于本数据集利用不同深度学习方法对不同地形、地域的建筑区进行建筑区域提取试验,试验结果表明该数据集可很好支持面向大数据的深度学习方法。人工智能深度学习方法依赖于海量数据的训练学习与模型精化。虽然目前有仿真模拟、迁移学习等基于少量样本或样本不充分条件下的模型训练处理方法。但真实数据仍是提高模型处理能力和泛化能力的基础与关键。因此数据集的不断扩充、完善与测试验证 (如:针对不同传感器、不同波段、不同分辨率、不同极化等参数的 SAR 图像,在不同国家/地区的建筑类型等条件下获取样本数据) 仍是非常重要的工作。 数据集及论文下载关注城市数据派微信号,在微信号对话框中输入 “ 0616 ”,即可获得数据集及论文PDF下载方式。由于数据量过大,请按网页提示进行下载使用,研究者可在此数据集基础上开展建筑散射特性分析与建筑区语义分割提取方面的研究。团队简介第一作者吴樊 ,可持续发展大数据国际研究中心,中国科学院空天信息创新研究院副研究员,研究方向为SAR图像处理与信息提取。E-mail: wufan@aircas.ac.cn通信作者张红,可持续发展大数据国际研究中心,中国科学院空天信息创新研究院研究员,研究方向为SAR大数据智能处理、极化SAR、干涉SAR处理方法与应用。E-mail: zhanghong200307@aircas.ac.cn王超,可持续发展大数据国际研究中心,中国科学院空天信息创新研究院研究员,研究方向为SAR信息提取机理与方法、大数据智能处理与分析。E-mail: wangchao@radi.ac.cn相关论文吴樊,李娟娟,张波,王超,张红,陈富龙,李璐,许璐.2021.时间序列SAR图像不可移动文物水域淹没监测.遥感学报,25(12):2431-2440Wu F, Wang C, Zhang H, Li J, Li L, Chen W, et al. Built-up area mapping in China from GF-3 SAR imagery based on the framework of deep learning. Remote Sensing of Environment. 2021, 262:112515.Li J, Zhang H, Wang C, Wu F, Li L. Spaceborne SAR Data for Regional Urban Mapping Using a Robust Building Extractor. Remote Sensing. 2020, 12(17):2791.
    免费
免费
  • 绿点

    【地级市人口迁徙数据分享】我国城市之间人口从哪来?到哪去?

    【欢迎投稿】如果你有与城市数据、城市创新、智慧城市、新技术等相关主题的稿件,欢迎来稿,稿费多多,请联系微信客服 lemon_udparty【本期看点】我国人口迁徙与我国的城市化进程息息相关,我国人口迁徙活动主要以务工、学习、交流合作等目的为主,我国城市化进程的加快导致了人口迁徙规模的扩大。这其中带来的疾病扩散、交通迁徙等方面的研究迫切需要相关数据分享,而现有的百度、腾讯等迁徙数据暂时没有地级市尺度的数据分享。通过本公众号推文提供的链接,可以下载有关人口迁入和迁出分布的有关数据,通过该数据,可以得知不同城市人口“从哪来”和“到哪去”,该数据也可以用来进行交通仿真、社会学、疾病扩散等研究。 本期投稿 作者:盖振宇现为南京林业大学城乡规划学在读硕士研究生,曾参与过绿地系统规划、大数据在城乡规划中的应用等方面研究数据来源与处理方法2017年,中国国家卫生和计划生育委员会(NHFPC)在中国进行了流动人口动态调查,样本点分布在31个省的356个地级市和地区。受访者是在流入居住地居住了一个月以上,没有在该城市进行户口登记且到2017年年龄在15岁以上的流动人口居民,当前居住地与户籍注册地相同的人口不包括在内。根据计划在356个地级市和地区,调查170,000个住所,实际访问169,989个,涉及667,122名居民,其中575,288名居民住在人口流入地。调查包括获得有关流动人口家庭、住房、基本公共卫生、户口所在地等的基本信息。这项调查数据于2018年底公开 (http://www.chinaldrk.org.cn/wjw/#/home),是目前有关中国人口流动的最新和最全的数据。首先,对收集到的流动人口调查问卷数据利用SPSS软件进行统计,根据被访问者的居住地和户籍地的行政代码来提取对应的地级市,并依据同一家庭成员、同一居住城市等标准进行分组汇总,并赋予相应的代码编号,以方便统计处理。之后,将各个地级市代码以及相对应的数据内容导入Python中,进行批量分类求和统计,将统计结果形成n阶矩阵,行和列分别代表居住地(调查地)和户籍地(出生地),以形成人口迁徙数量矩阵。在构建矩阵时,我们删除了以下人口样本:1)获得当地户口的人口;2)居住在外地的人口。目的是排除居住地与出生地相同的人口样本,以确保迁入和迁出矩阵计算时均为有效的迁徙人口样本,以便进行矩阵计算时,矩阵对角线均为0,即模型中不存在居住地与户籍地相同的人口样本。最后,通过这种方法,流动人口样本可以很好地反映某些流动人口的出生地,经过统计样本总数为432,933个。所形成的人口迁徙网络数量矩阵如下所示:其中代表调查数据中在节点城市i 中出生并在节点城市j中居住的居民数量;m表示城市数量,本研究中总共有356个城市或地区。因为排除了获得户籍的流动人口样本,所以矩阵对角线上的为0。在构建数量矩阵后,我们对每个居住地的概率进行标准化,将每一列或每一行的概率加起来,以形成称为人口迁徙网络概率矩阵,该矩阵类似地理加权空间矩阵。 其中代表出生地是城市j流动到城市i的流动人口居住概率。代表了出生地是城市i的流动人口中流动到节点城市j的居住的概率,总之,p值越高,表明对应的两个节点城市人口迁徙概率越高,即节点在网络中所占权重越高。因此我们可以得到不同城市的人口迁入和迁出概率分布,从而可以进一步预测春节期间交通流量或进行疾病传播等方面的研究。数据使用说明使用该数据时,打开压缩包会有两个shp文件,将其导入ArcGIS中,在属性表中可以查看不同城市对应的不同城市的迁入和迁出概率,以迁入概率为例,可以看到纵行表头为当前研究城市,横行则对应的为其他城市迁入到该城市的概率,迁出概率使用方法与迁入概率相同。图1 迁入概率属性表以武汉市为例,打开迁入概率shp文件,在符号系统中选择武汉市,选择一定的分类方法后,即可得到全国范围内武汉市迁入人口的分布图,如图1所示。图2 武汉市迁入概率选择示例图3 武汉市迁入人口概率分布同理,也可以得到武汉市迁出人口的分布概率,如下图所示:图4 武汉市迁出人口概率分布数据使用及引用方法数据使用说明:该数据仅供个人研究参考,不可用于商业或其他用途。使用该数据进行研究需在文章中标注并致谢:“本文使用了国家卫生计生委流动人口服务中心提供的2017年中国流动人口动态监测数据”。同时也欢迎引用使用该数据进行的研究文章:Fan Chenjing,Cai Tianmin,Gai Zhenyu,Wu Yuerong. The Relationship between the Migrant Population's Migration Network and the Risk of COVID-19 Transmission in China-Empirical Analysis and Prediction in Prefecture-Level Cities.[J]. International journal of environmental research and public health,2020,17(8).本文来自微信公众号:城市数据派,如需转载请联系城市数据派。
    免费
免费
  • 绿点

    全球疫情数据

    附件数据为截至2020年2月6日官方网站上的数据。最新数据下载链接请到以下链接自行下载,此链接需要科学上网哦~:https://docs.google.com/spreadsheets/d/1wQVypefm946ch4XDp37uZ-wartW4V7ILdg-qYiDXUHM/htmlview?usp=sharing&sle=true
    免费
免费
  • 绿点

    2019年广州市全类型AOI(兴趣面)数据

    数据时间:2019年12月数据格式:shp格式数据类型:美食、酒店、购物、生活服务、丽人、旅游景点、休闲娱乐、运动健身、教育培训、文化传媒、医疗、汽车服务、交通设施、金融、房地产、公司企业、政府机构、出入口、自然地物坐标系:84坐标系,契合GIS内置地图,可直接进行分析。属性表:名称、中心点百度经度、中心点百度纬度、中心点84经度、中心点84纬度、地址、省份、城市、行政区、一级分类、二级分类数据预览:注:此数据为网络数据,供学习使用,所有城市皆可获取,若需要者请联系QQ:3059410200有偿购买。
    免费
免费
  • 绿点

    2019年上海市全类型AOI(兴趣面)数据

    数据时间:2019年12月数据格式:shp格式数据类型:美食、酒店、购物、生活服务、丽人、旅游景点、休闲娱乐、运动健身、教育培训、文化传媒、医疗、汽车服务、交通设施、金融、房地产、公司企业、政府机构、出入口、自然地物坐标系:84坐标系,契合GIS内置地图,可直接进行分析。属性表:名称、中心点百度经度、中心点百度纬度、中心点84经度、中心点84纬度、地址、省份、城市、行政区、一级分类、二级分类数据预览:注:此数据为网络数据,供学习使用,所有城市皆可获取,若需要者请联系QQ:3059410200有偿购买。
    免费
免费
  • 绿点

    19年广州市住宅POI数据

    数据时间:2019年12月数据格式:shp格式数据类型:住宅区、宿舍坐标系:84坐标系,契合GIS内置地图,可直接进行分析。属性表:名称、中心点百度经度、中心点百度纬度、中心点84经度、中心点84纬度、地址、省份、城市、行政区、一级分类、二级分类数据预览:注:此数据为网络数据,供学习使用,所有城市所有类别皆可获取,若需要者请联系QQ:3059410200有偿购买。
    免费
免费
  • 绿点

    19年广州市小区范围数据

    数据时间:2019年12月数据格式:shp格式数据类型:住宅区、宿舍坐标系:84坐标系,契合GIS内置地图,可直接进行分析。属性表:名称、中心点百度经度、中心点百度纬度、中心点84经度、中心点84纬度、地址、省份、城市、行政区、一级分类、二级分类数据预览:注:此数据为网络数据,供学习使用,所有城市所有类别皆可获取,若需要者请联系QQ:3059410200有偿购买。
    免费
免费
  • 绿点

    19年上海市住宅POI数据

    数据时间:2019年12月数据格式:shp格式数据类型:住宅区、宿舍坐标系:84坐标系,契合GIS内置地图,可直接进行分析。属性表:名称、中心点百度经度、中心点百度纬度、中心点84经度、中心点84纬度、地址、省份、城市、行政区、一级分类、二级分类数据预览:注:此数据为网络数据,供学习使用,所有城市所有类别皆可获取,若需要者请联系QQ:3059410200有偿购买。
    免费
免费
没有更多数据……