深度学习+遥感影像建筑物提取
文章来源：测绘学术资讯微信公众号
Massachusetts 建筑物数据集U-Net语义分割
建筑物是遥感影像反映地理信息的重要地物目标，利用遥感影像提取建筑物对地表覆盖分类、城市规划、地理信息数据库更新等具有重要意义[1]。
影像与建筑物矢量数据叠加[2]
利用遥感影像来提取建筑物一直是测绘遥感领域内不断探索的方向，大部分内业人工采集工作就是描绘不同技术标准下的房子，在国土调查土地利用现状、基本比例尺下的地形图、地理国情监测、卫片执法，甚至在不动产确权中都有所应用。
测绘学报近五年研究主题@百度学术
虽然人工采集精度高但是费时费力费钱，利用不同算法逐步实现自动化、智能化、高效化成为追求目标，因此也衍生了许许多多的方法，诸如利用遥感处理软件阈值分割、分类器、指数等传统方法，随着深度学习的不断发展，可以自动提取建筑物的特征信息，实现高精度高效率的建筑物提取。这成为目前利用遥感影像提取建筑物的热点研究方向，在中国知网上被引、下载靠前的几乎都是与深度学习相关。
中国知网“遥感建筑物”“深度学习”相关主题发文量
中国知网“遥感建筑物”主题中“深度学习”排名第一
中国知网“遥感建筑物”“深度学习”相关主题发文期刊占比
相关的互联网公司也推陈出新，也结合深度学习拿出了自己的解决方案。
2019年7月9日，商汤科技SenseTime发布了中国首个在线智能遥感解译平台SenseEarth,通过运用人工智能技术对地表卫星影像进行识别和分析，SenseEarth智能遥感影像解译平台是一款面向公众公开的遥感影像浏览及解译在线工具,用户只需登陆网站,便可在线体验基于卫星影像的道路提取、舰船检测、土地利用分类等人工智能解译功能。
阿里达摩院针对卫星及无人机遥感影像分析推出的AI Earth数知地球，依托阿里巴巴在深度学习、计算机视觉方向上的技术积累，采用基于深度学习的多尺度融合检测技术，实现遥感影像中变化特征及建筑、道路、河流等多种目标的智能解译，改变传统遥感数据处理耗时长、效率低等弊端，为自然资源监管、水利河道保护、生态环境监测等多个领域提供高效解决方案。
阿里AI Earth数知地球
ESRI公司推出的ArcGIS Pro 中也纳入了深度学习模块，在ENVI中同样也纳入深度学习模块。
ArcGIS Pro 深度学习建筑物语义分割
除此之外，遥感云计算平台上构建了相应的深度学习框架，比如Google Earth Engine、EarthDataMiner上搭建的TensorFlow深度学习框架。航天宏图遥感智能解译全栈开发平台PIE-Engine AI也集成了常见的深度学习框架，如图所示：
PIE-Engine AI上集成的深度学习框架[3]
除了以上已经集成的相关平台外，对于自主设计、改进算法的学习者来说，目前tensorflow、pytorch已经成为大家最常用的深度学习框架了，目前大部分深度学习与遥感影像建筑物提取的相关学术论文也是采用如上的框架来实现。
中国知网遥感影像+建筑物+深度学习关键词搜索
在众多针对遥感影像建筑物提取的深度学习模型中U型网络成为YYDS，U-Net 模型由于学习能力强、易于扩展、整体性能稳定、鲁棒性强等特点而备受青睐，知网遥感影像语义分割很大一部分文章就是在U型网络的基础上进行魔改。
U-NET网络[4]
2019年武汉大学季顺平老师团队发表了《遥感影像建筑物提取的卷积神经元网络与开源数据集方法》一文，还制作了一套适用于语义分割的高分辨率遥感影像建筑物数据集WHU Building Dataset，涵盖22万栋形式各异的建筑，地面分辨率0.075ｍ，覆盖450平方公里。
WHU Building Dataset[5]
在这篇文章中基于Ｕ-Ｎet和FPN进行设计，专门用于处理遥感图像中不同尺寸的物体或不同分辨率的遥感影像的多尺度问题的SU-Net。
SU-Net网络结构[5]
2019年福建师范大学何代毅等发表了《基于改进Mask-RCNN的遥感影像建筑物提取》，在大神何凯明实例分割经典算法Mask-RCNN基础上进行微调，实现了建筑物的自动精确分割和提取。
建筑物提取结果[6]
2019年河南理工大学王宇等在《深度残差神经网络高分辨率遥感图像建筑物分割》中以深度残差网络ResNet为基础，构建Encoder-Decoder模型在高分辨率遥感影像数据集Inria Aerial Image Labeling Dataset 上进行建筑物提取。
建筑物提取结果[7]
2020年青岛科技大学宋廷强老师团队为解决深度学习方法在高分辨率遥感图像中存在识别结果过度分割，以及小物体识别差的问题，提出一种基于 SegNet 架构改进的网络模型 AA-SegNet，增加了增强的空间金字塔池化模块和空间注意力融合模块。
AA-SegNet网络结构[8]
2020年信息工程大学杨乐等在《结合DeepLabv3架构的多源数据建筑物提取方法》一文中，利用开源矢量信息数据 ( Open Street Map，OSM ) 在亚米级光学卫星影像中构建建筑物样本库，通过DeepLabv3训练来提取建筑物。
DeepLabv3plus 原理示意图[9]
2021年贵州大学武宇在《基于改进U-Net的建筑物集群识别研究》一文中，在训练环节增加了DTRF滤波以增强建筑物边缘，DTRF-Unet模型在高分二号影像构建的数据集上进行建筑物的提取。
改进前后建筑物提取效果对比[10]
2021年武汉大学的吴目宇等在《ADLinkNet:一种高分辨率遥感影像建筑物自动提取网络》一文中，在LinkNet框架上结合空洞卷积、注意力机制和多尺度预测，提出了ADLinkNet，并在WHUBuilding数据集上进行了测试，并于DeepLabv3、UNet、SegNet和D-LinkNet等网络进行比对。
ADLinkNet网络示意图[11]
比对实验结果[11]
2021年西安科技大学的张春森等在《多尺度空洞卷积金字塔网络建筑物提取》一文中，在U-Net网络基础上增加金字塔与空洞卷积模块在WHU 建筑物数据集中提取建筑物。
空洞卷积金字塔网络[12]
空洞卷积金字塔网络在 Inria 数据集提取结果[12]
通过以上近几年的相关文章可以发现，利用深度学习语义分割在遥感影像上提取建筑物大部分文章具有相似之处，在原本模型上通过调参更改超参数、增删改相应模块以实现在相应数据集上的最优效果。同样的除了在建筑物上走一遍流程外，还可以在道路、水体、绿地、云检查等一些常用遥感目标地物上实现信息提取。希望能够不断突破，产学研不断结合能够使更多的项目落地，让人工智能走入更多的测绘地理信息工程项目中来，不断创造实际价值。
