美国留学选择什么专业好?留学美国热门专业推荐
2019-06-26
更新时间:2024-06-11 00:31作者:小乐
《测绘学报》
搭建与学者的桥梁,缩短与权威的距离
从专业遥感到大众遥感
单街1,2
1. 普渡大学土木工程学院, 西拉斐特, IN 47907, 美国; 2. 武汉大学地理空间信息协同创新中心, 湖北武汉430079
收稿日期:2017-06-27;修改日期:2017-08-10
第一作者简介:单杰(1961-),男,博士,教授,研究方向:摄影测量与激光扫描测量数据处理、地理空间大数据挖掘与建模
摘要: 受智能手机日益普及和开放科学快速发展的影响,遥感技术正从专业化开发应用走向大众化开发应用。这一趋势主要体现在数据采集、数据处理和数据使用的普及化上。本文对这三个特点进行了讨论和分析,介绍了国内外近期的一些代表性工作和进展,还列出了许多国际开放的数据处理工具,包括摄影测量处理、激光扫描测量处理、图像机器学习等。此外,文章还详细介绍了开放数据的好处,并列出了众多用于科学研究的全球数据倡议和实验数据集。本文最后指出,遥感的普及不仅会产生巨大的经济效益,还会产生巨大的社会效益,最终将改变产业格局和公众的生活方式。
遥感:从受过培训的专业人员到普通公众
单杰1,2
Abstract: 受智能手机日益普及和开放科学快速发展的影响,遥感技术的开发和应用更多地是由普通公众而不是经过培训的专业人员进行的。这一趋势主要体现在数据收集的民主化、数据处理的民主化和数据使用的民主化。本文对上述三个特点进行了讨论和分析,介绍了近年来的一些代表性工作和进展。它还列出了众多国际开放的数据处理工具,包括摄影测量处理、激光扫描处理、机器学习和空间信息管理。此外,文章还详细描述了开放数据的好处,并列出了一些用于科学研究的全球数据计划和实验数据集。本文最后指出,遥感民主化不仅会产生巨大的经济效益,还会带来巨大的社会效益,最终改变产业面貌和人们的生活方式。
关键词:遥感测绘智能手机开放数据开放科学
自19世纪摄影测量出现以来,专业遥感(如测绘遥感)已有近200年的历史。在这段漫长的时期内,专业遥感通常作为一种专业或产业来发展、管理和使用。作为专业,有相对稳定的教育框架、课程体系和培养计划;作为一个行业,它有相应的就业对口企事业单位,特别是各级政府,特别是垂直管理的政府部门,有具体的管理部门,庞大的生产队伍。
长期以来,这些测绘遥感部门的日常工作都是测绘地形图(包括相应的数字产品)或制作其他相关专题图、规划图等。一个明显的特点是,每部门拥有自己的遥感专业人员、系统的数据采集方法和流程、标准化的产品和具体的产品使用范围,专业性强。具体来说,数据生产和产品生产通常由测绘遥感专业人员按照一定的标准和流程完成。产品主要为地形图或其他类型的专题图。服务对象主要是政府和军事机构,用于政府控制和管理国家基础地理信息和陆地、海洋资源。此外,各政府部门基于其职能和职责积累了大量的数据和信息,而这些信息分散在众多数据和信息所有者手中。存在重复生产、集成度低、数据共享不足等问题。
然而,这种多年来确立的局面在近10年里正在悄然发生变化。随着互联网和网络通信技术的快速发展以及移动智能终端的快速普及,数字城市、智慧城市以及以位置服务为代表的数字技术已经渗透到大众的日常生活中,测绘遥感在现在和将来。发展的显着趋势和特点是从专业化走向大众化,具体体现在:数据采集的大众化; 数据处理(工具)的普及; 数据使用的普及化。在这些流行特征下,我们正在迎来一个民主化、开放的遥感时代。下面将根据上述特点,介绍和讨论国内外测绘遥感领域的一些典型发展。
1 数据采集普及化
数据采集普及的一个显着标志就是移动智能终端的使用和普及。与此同时,一些廉价的固定或移动平台,如无人机、便携式或可穿戴传感器等,也正在推动大众数据采集的快速发展。简单便携的分析设备正在进入我们日常生活的各个方面,例如个人医疗保健、医学分析、食品安全和环境监测。智能手机作为最流行的移动设备,在分析和测试方面具有最大的潜力。它们配备了越来越多的传感器:加速度计、麦克风、摄像头、陀螺仪、定位设备等,可以轻松获取各种数据和信息[1],例如捕捉人类行为数据、记录位置信息、感知环境变化、甚至为相关科学研究记录和分析数据,成为人人拥有的无处不在的质量传感器,成为人们生活中最流行的电子设备。研究人员发现,使用手机传感器进行传感是一种令人兴奋的方法,不可低估,可以在许多研究领域的数据收集和处理中发挥重要作用[2]。以下是最近报道的一些与测量、测绘和遥感相关的例子。
1.1 摄影测量
英国埃克塞特大学的研究人员开发了一款Android手机应用程序,可以将智能手机转换成独立的遥感设备。该计划使用智能手机中的加速计、GPS、指南针和摄像头等传感器,使智能手机能够自主操作,并可以使用从无人机或风筝等轻型空中平台获得的数据来绘制地形图。此类系统成熟并普及后,可以支持全球范围内以公众为主要参与者的测绘活动,助力灾区的人道主义救援工作。需要注意的是,这是一个开源软件,可以从欧洲非营利研究机构FoAm Kernow(https://fo.am/kernow/)免费下载。
文档[3]提出了一个“Rebuild Rome in a Day”系统(https://grail.cs.washington.edu/rome/),该系统通过搜索给定的城市(例如(罗马))从大量在线照片中搜索图像,并对它们进行图像匹配,以实现城市场景的三维重建。该系统使用新颖的并行分布式匹配和重建算法来最大化处理流程中各个阶段的并行性,同时最小化串行化瓶颈。在拥有500 个计算核心的计算机集群上,不到一天就可以重建15 万张图像。
文献[4]提出了一个系统框架,实现从城市规模3D重建到世界规模3D重建的转变(http://www.cs.unc.edu/~jheinly/reconstructing_the_world.html),只需一个数据就可以处理数千个数据电脑。数以千计的图片来自互联网。该方法通过使用基于流模型的组件进行图像链接检测,实现了高可扩展性,在不牺牲重构模型完整性的情况下可以达到甚至超过其他大规模建模方法的结果,具有更高的效率和可扩展性。作者从Flickr 网站获取了9600 万张图像并进行了处理。总共耗时5.26天,获得世界规模的三维重建结果。
文献[5]介绍了利用众包图像通过大规模协作进行在线3D城市重建,并在谷歌和苹果应用商店推出了相关应用。该方法不会立即重建整个城市场景,而是使用可用的建筑轮廓(例如OpenStreetMap)以分块增量重建城市。该方法将利用运动结构(SfM;相当于摄影测量中的光束法平差)将点云与建筑物轮廓配准以获得相应的地理参考,并在相对坐标系下通过块统一重建结果。该系统可以快速响应用户新上传的图像,判断其是否可以应用于场景重建,并且可以有效处理恶意图像和GPS信息中的噪声[5]。
文献[6]介绍了一种基于智能手机的海岸监测技术。首先,相机被校准。依靠智能手机内置的GPS提供的三维坐标,利用加速度计和磁力计计算出的姿态参数的标准偏差在0.33~2.04范围内。然后,利用地面控制点对智能手机拍摄的图像进行三角测量,精度达到0.681像素,而使用测量相机的中值误差为0.404像素;校准智能手机摄像头后,可以获得与测量摄像头相当的精度。最后,利用地面激光扫描获得的数字高程模型(DEM)来计算海岸剖面并提取海岸线。这种基于智能手机的监测技术具有成本低的优点,可以作为一种新的海岸监测方法得到广泛应用。
该研究小组还研究了智能手机作为摄影测量无人机有效载荷的可行性[7]。他们利用开发的系统分别获取静态和动态条件下的图像、位置和姿态数据,并对它们进行三角测量生成相应的正射影像以进行精度评估。实验发现,静态条件下,考虑相机内部参数时,各类智能手机采集图像的三角测量误差均小于1.28像素;与不考虑内参的情况相比,至少提高了47%。在动态条件下,即使考虑内部参数,智能手机图像三角测量的准确性也不会显着提高。这是因为智能手机CMOS传感器中的电子快门自动对焦技术可能会因无人机的振动和速度而对使用立体图像生成DEM产生负面影响。考虑到这是仅使用智能手机即可实现的,因此智能手机有可能用作无人机的有效载荷。
武汉大学的一个研究团队研究了利用智能手机拍摄的建筑立面照片来补充机载激光点云缺失的立面信息的可行性[8]。首先利用多视角图像立体匹配技术从手机照片生成建筑立面三维点云,然后将立面三维点云与直接获得的屋顶点云进行配准和融合通过航空激光扫描,最终形成包含三维点云的三维点云。完整的建筑表面和屋顶3D 点云。该团队利用立面点云和屋顶点云之间建筑轮廓的相似性进行配准,解决了两个点云通常只有少量重叠而带来的融合困难问题。
1.2 多光谱遥感
参与式传感是一个类似于“大规模遥感”的概念,这意味着非专业人士或外行人可以使用标准的低成本移动设备轻松收集地理数据。马克斯等人。提出了基于参与感知的作物高度评估[9]。 19名参与者使用智能手机和手持GPS设备在德国海德堡的一片玉米田中测量了作物高度,然后将其与地面激光扫描提供的参考数据进行比较,发现作物高度高度模型的精度为10.45厘米( GPS 设备)和14.69 厘米(智能手机)。此外,他们认为将参与者的认知能力纳入数据收集过程可能会提高参与式感知方法捕获的数据的质量;这些数据是农业参数实地采集的基础,与遥感等其他方法相结合,可以开辟支持农业发展的新视角。
人们普遍认为,高昂的成本限制了高光谱遥感技术在主流市场的广泛应用,其中规模、可重复性和费用尤为重要。日常智能手机的广泛使用为移动多光谱图像分析应用的开发提供了有利的平台,该应用可以提取感兴趣的特定信息,并且成本低廉,易于标准化,易于在全球范围内传播。
文献[10]展示了一种基于智能手机的快速检测光谱仪,通过检测不同苹果品种果皮中存在的叶绿素的紫外荧光来分析果实成熟度,并获得了满意的结果。该设备在智能手机上提供了一个应用程序界面,用于通信、接收、绘制和分析光谱数据。金等人。探索了基于智能手机的多光谱成像在皮肤病变定量早期诊断和治疗方面的潜力[11]。
以色列特拉维夫大学创立的Unispectral 公司(http://www.unispectral.com/) 的研究人员正在开发用于智能手机的小型高光谱相机。通过照片捕捉材料独特的电磁频谱信息,结合独特的算法,实现在农业、银行、医药、自动驾驶等领域的广泛商业应用。
2017年4月,美国伽利略集团宣布推出基于ARMADATM智能手机的高光谱系统。该公司已成功将机载光学、处理和分析功能的核心组件扩展到普通智能手机。该系统用于农业科学应用和研究,为作物表型、疾病检测和特征建模能力开辟了道路。它还可以提供作物健康的实时状态分析,并进行必要的营养调整、杂草识别和除草。代理应用程序等。ARMADATM收集的数据可以从田间发送到办公室、实验室或家庭计算机,以便立即审查并迅速响应作物整体表现。值得注意的是,这项技术适用于大规模农场的农民,其意义远远超出了工业化国家。
1.3 城市导航定位
由于城市建筑物的遮挡,全球导航卫星系统(GNSS)用户设备在城市中的定位效果很差,特别是在垂直于街道的方向上。为了解决这个问题,Wang等人。来自伦敦大学的等人提出使用三维城市模型来预测卫星盲点,并研究了一种称为阴影匹配的定位方法[12]。它开发的系统可以在接收GPS 和GLONASS 的智能手机上进行实时图像匹配。由于建筑物边界的网格是预先计算并存储在手机中的,或者网格中的数据是根据需要从网络下载的,因此其一般处理时间仅为1~2 s。测试表明,采用该预测定位方法,垂直于街道方向的定位误差可从14.81 m减小到3.33 m,定位精度提高约4倍。这项工作的意义在于,将城市三维模型与导航定位相结合,是传统基于地图匹配的导航定位方法的延伸,也是一种逆向数据生产过程的定位方法。垂直于街道方向获得米级定位精度有利于智能交通系统(ITS)、自动车道识别、视障者和游客的及时导航、基于位置的广告(LBA)服务等。
城市交通拥堵严重影响了车辆驾驶,传统导航系统不考虑实时交通状况,难以为用户推荐最佳行车路线。印度学者Dhar 等.提出了一种用于海量共享交通信息的手机导航系统[13]。该系统旨在利用大量用户上传的GPS定位信息来估计各个交通节点的拥堵情况,并向用户推荐最节省时间的驾驶路线。使用该系统,他们比较了谷歌地图推荐的三种驾驶路线,发现在考虑交通拥堵时,其中一条路线明显优于其他两条路线。其中,最短和最长行驶时间分别为613秒和1025秒。未来,他们的工作重点将是为不同的用户自动推荐不同的路线,以将交通拥堵降至最低。
1.4 灾害应急响应
美国伯克利大学的研究人员最近报告了通过众筹利用手机检测地震并实现预警的可能性。他们开发的MyShake 智能手机应用程序使用加速度计和GPS 来测量发生的震动,当足够多的用户使用该应用程序时,个人手机就变成了地震仪[14]。当MyShake 检测到类似于地震的晃动时,信息会发送到服务器,如果有足够多的手机检测到晃动,则可以将数据汇集到计算机中并进行分析。如果发生大地震,距离震中最近的人的手机可以发送警报,让人们远离。研究人员估计,为了准确探测某个地点大地震的起源和开始时间,至少需要在约12,331平方公里的区域安装300部手机。一个地区使用MyShake 的手机越多,您获得的信息就越准确。需要注意的是,这项技术除了高精度传感技术外,还需要先进的模式识别和机器学习方法。为了让智能手机中的传感器正确区分日常振动(例如跑步)和地震之间的区别,研究人员通过将一系列装有该应用程序的智能手机放在模拟地震的实验台上来“训练”该应用程序。使手机能够正确识别地震信号。全球大约有10亿部智能手机,因此研究人员希望将这项技术扩展到地震监测甚至早期检测系统中,在地震基础设施有限的地区建立基于大量手机的新地震网络。例如,尼泊尔在2016 年遭受了大地震,造成8,000 多人死亡,类似的情况可能会受益于MyShake 等早期预警系统。因为,尼泊尔只有几个地震台,却有600万部智能手机。鉴于这次大地震距离首都加德满都约80公里,研究人员估计,智能手机预警系统可以在地震开始前20秒通知该市,为挽救生命赢得宝贵时间。
2 数据处理的普及化
除了上述数据采集的普及之外,数据处理(方法和工具)也日益普及。许多由个人和组织、专业人士和非专业人士开发的数据处理工具都可以免费向公众开放。这一趋势与数据科学和开放科学的发展目标是一致的。极大地促进了测绘遥感在研发、教学、生产等方面的全面快速发展。也促进了跨学科融合的深化和深化。广泛。
2.1 摄影测量处理
维基百科有一份详尽的摄影测量和计算机视觉软件列表。为了适应本文的内容,我们对开放软件部分进行了稍微的编辑,并在此基础上添加了几个最近打开的软件,如表1所示。完整的列表可以在https://en.wikipedia.org/wiki/找到摄影测量软件比较。从表1可以看出,2010年以来,开放摄影测量和计算机视觉软件呈现爆发式增长,这在一定程度上反映了数据处理大众化的趋势。
表1 打开摄影测量和计算机视觉软件(按时间排序,部分摘自维基百科) 1 开放摄影测量和计算机视觉软件(按启动日期排序)
名称平台自动建模可扩展性摄影测量类型Inception供应商/creatore-fotoLinux是多幅图像航空,UAS2002未知ARC3D基于网络是多幅图像近距离2005KU LeuvenMicmacLinux、OS X、Microsoft Windows半自动多幅图像2005IGNPhotosynthMicrosoft Windows否多幅图像近距离2008华盛顿大学Microsoft Live LabsPHOTOMOD LiteMicrosoft Windows是4 0 图片航空、卫星、UAS2009RacursCeres SolverLinux、OS X、Microsoft Windows——2010Google IncHypr3D(Cubify Capture)基于网络是多张图像2010Viztu TechnologiesMy3DScanner基于网络是多张图像近距离2010My3DScannerPHOV基于网络是多张图像近距离2010XLABS立体扫描未知是2张图像2010Agisoft123D CatchAndroid、iOS、Microsoft Windows、基于网络是多张图像近距离20 11AutodeskDroneMapperWeb基于,桌面是多个图像航空,倾斜,UAS2011DroneMapperPix4Dmapper DiscoveryMicrosoft Windows,基于网络是多个imagesAerial, Close-range, UAS2011Pix4D SADataMapper基于网络是多幅图像UAS2012DataMapperMementifyiOS是多幅图像2012Tretja dimenzija, OS X是多幅图像Aerial, Close-range, UAS2014Technische Universit t DarmstadtCOLMAPMicrosoft Windows, Linux, OS , UAS2015Johannes L. Sch nbergerTheiaMicrosoft Windows、Linux、OS X是多幅图像航空、近距离、UAS2015Chris SweeneyopenMVGLinux、OS X、Microsoft Windows是多幅图像2015Pierre MoulonopenMVSLinux、OS 5Roman HiestandVINS-MobileOS X是手机2017HKUST Aerial Robotics GroupOpenDroneMapLinux、OS X、Microsoft Windows是多幅图像UASPython 摄影测量工具箱Linux、操作系统卫星未知NASA 表选项
需要注意的是,在这些开放软件中,很多产品并不是由传统摄影测量公司开发或发布的,而是由计算机公司、新兴无人机公司、网络公司、土木工程和设计公司以及社交媒体公司开发或发布的。其中大部分是已开发的产品。这里我们选择性地介绍几个有特色的软件工具。
(1)ARC3D(http://www.arc3d.be)是比利时鲁汶大学开发和研究的摄影测量软件和服务。用户除了能够像其他开放摄影测量软件一样下载使用之外,还可以将需要处理的图像提交到其网站。后台计算机经过立体匹配等处理后,会返回自动生成的三维点云。
(2)Ceres Solver是Google开发的非线性最小二乘问题求解工具包,可用于建模和解决大型复杂的优化问题。它已在Google 产品中使用多年。功能强大丰富,计算高效稳定,自2010年起得到Google持续开发和支持。 Ceres Solver的应用
非常广泛,表 1中COLMAP、Theia和openMVG都使用Ceres Solver进行平差解算。 (3) Colmap(https://colmap.github.io/index.html)是一个通用的SfM和多视立体(MVS)生产流程,具有图形和命令行界面。它提供了一系列摄影测量的功能,支持航空影像、倾斜多视影像和近景无序图像的重建。 (4) OpenDroneMap是一个用于处理无人机图像的开源工具包。它可以处理大众无人机获取的非量测相机影像,生成点云、数字表面模型、纹理数字表面模型、正射成像、分类点云、数字高程模型等。该软件可在http://opendronemap.org/https://github.com/OpenDroneMap/OpenDroneMap下载。 (5) Regard3D(http://www.regard3d.org)是一个由业余爱好者开发的摄影测量软件。其开发者Roman Hiestand是一家瑞士公司的软件工程师,专注于使用C/C++、多线程、计算机视觉、科学计算和信息安全进行多平台开发。他自称为一个业余的摄影测量爱好者,通过集成几个优秀的软件库和程序,开发了摄影测量软件Regard3D,目前已经发布了0.9.1版本。Regard3D使用从不同角度拍摄的照片创建3D模型,为此完成了一系列摄影测量工作,包括:特征点检测(如角点、边缘等)、特征描述、特征匹配、确定相机的三维位置和姿态、稀疏点云生成、密集点云或表面生成。Regard3D完全免费使用,由Regard3D创建的所有工作也可以自由使用。 (6) VINS-Mobile(https://github.com/HKUST-Aerial-Robotics/VINS-Mobile)是由香港科技大学航空机器人研究小组成员开发的实时单目视觉辅助的惯性状态估计器。它在iOS设备上运行,并为增强现实(augmented reality)应用程序提供本地化服务。VINS-Mobile使用基于滑动窗口优化的构想,提供高精度的视觉惯性测距,具备自动初始化和故障恢复功能,并使用全局姿态图SLAM实时校正积累的测距误差。 值得注意的是,以上开放软件中,有一些软件可以完成从影像到纹理模型的整个处理过程,而其他软件则只完成其中的一个或几个中间流程,如SfM、密集点云匹配和三维三角网构建等。为此,英国利物浦约翰摩尔斯大学(Liverpool John Moores University)的Peter Falkingham博士专门对这些开放软件进行了测试(https://pfalkingham.wordpress.com/2016/09/14/trying-all-the-free-photogrammetry/),试图通过组合多个开放软件,以完成从影像到模型的整个摄影处理处理流程。具体如图 1所示,如果把从影像到模型的整个处理流水线分为SfM、密集点云匹配、三维三角网构建和后处理(主要是纹理贴图)4个工序,那么每个软件可以或多或少地与其他1~3个软件相结合,完成整个处理流程。图中红色箭头衔接的工序之间工作得很好,绿色箭头衔接的工序存在问题,蓝色的还没有进行尝试。从图中可以看出,商业软件PhotoScan可以完成整个处理流程,开放软件MVE也可以完成整个处理流程,其他软件则需要进行工序上的组合从而完成整个处理流程,如OpenMVG+OpenMVS组合、VirsualSFM+PMVS+MeshLab组合等。 图 1 开放摄影测量软件流程组合测试(https://pfalkingham.wordpress.com/2016/09/14/trying-all-the-free-photogrammetry/)Fig. 1 Test on the workflows of open photogrammetry software 图选项 2.2 激光扫描测量处理 激光扫描测量数据需要高效的软件平台进行展示、处理和分析。目前已有很多开放的激光扫描测量数据处理软件,以下是一些典型代表。 (1) Quick Terrain Reader(https://www.idaholidar.org/tools/bcal-lidar-tools/)快速地形阅读器是Quick Terrain Modeler的免费配套软件。可以打开DEM和点云,并允许用户以快速和直观的方式自由漫游地形。 (2) BCAL LiDAR(https://bcal.boisestate.edu/tools/lidar)是由爱达荷州立大学博伊西中心航空实验室(BCAL)开发的开源工具,可用于处理、分析和可视化LiDAR数据。它由IDL编程语言编写,旨在用作ENVI遥感软件包中的附件。 (3) FugroViewer(http://www.fugroviewer.com/)是一款功能强大,易于使用的免费软件,可以用于栅格和矢量数据,如摄影测量、LiDAR和IFSAR的数据,支持美国摄影测量和遥感学会(ASPRS)定义的用于激光雷达数据存储和交换的开放文件格式的最新版本LAS1.4。 (4) MARSFreeView(http://www.merrick.com)支持基本的LiDAR数据导航和浏览,免费使用。 (5) Points2Grid(https://github.com/OpenTopography/points2grid)是一个强大、可扩展的用于由激光雷达点云生成DEM的工具,是OpenTopography点云处理系统默认的DEM生成算法,已通过数千个DEM生成作业的测试。 (6) LAStools(https://github.com/LAStools/LAStools)是一款强大的机载LiDAR处理软件套件,可方便地用于LiDAR数据的分类、滤波、栅格化、等高线生成、三角化和多边形化等。 (7) CloudCompare(https://github.com/cloudcompare/cloudcompare)是一个开源的3D点云和网格处理软件。它提供了大量手工编辑、渲染三维点云和三角网的基础工具,并允许用户在上面集成自己的插件。 2.3 影像机器学习 (1) ImageNet(http://www.image-net.org/)是目前图像识别领域最大的数据库,由美国斯坦福计算机科学家模拟人类的识别系统建立。整个数据库根据WordNet层次结构组织,拥有多个节点(Node),平均每个节点包含超过500张的训练图像。 (2) KITTI数据集(http://www.cvlibs.net/datasets/kitti/)是由卡尔斯鲁厄理工学院与芝加哥丰田技术研究所联合发布的自动驾驶数据集,用于立体匹配、光流、视觉计程(visual odometry)、三维物体检测和三维跟踪。其中包括由一对立体相机采集的高分辨率彩色和灰度视频影像,以及由Velodyne激光扫描仪和GPS定位系统采集的三维路面实况,数据遍及卡尔斯鲁厄城的农村和高速公路区域。 (3) NYU Depth Dataset V2(http://cs.nyu.edu/~silberman/datasets/nyu_depth_v2.html)是由纽约大学发布的深度影像数据集,包含3个城市的464个场景,1449对经过配准和标记的彩色与深度影像,以及407 024个未标记的影像帧,被广泛用于室内三维场景理解的研究。 (4) Thepascal voc数据集(http://host.robots.ox.ac.uk/pascal/VOC/)由利兹大学、鲁汶大学、爱丁堡大学、牛津大学和微软剑桥研究院联合提供。它提供了用于目标检测的标准化图像影像集,以及用于访问数据集的通用工具。该数据集能对不同的方法进行评估和比较,同时能够对目标的识别性能进行评估。 (5) Middlebury数据集(http://vision.middlebury.edu/stereo/data/scenes2014/)是由米德尔伯里学院提供的立体匹配数据集,数据包含亚像素级精度的真值,广泛用于立体匹配算法的性能测试和评估。 (6) COCO(http://mscoco.org/)是微软团队获取的一个用于图像识别、分割和字幕生成的大型数据集。它以场景理解为目标,从复杂的日常场景中截取,通过分割实现目标的精确标定。数据集中图像包括91类目标,328 000张影像和2 500 000个标签。 (7) Cityscapes数据集(https://www.cityscapes-dataset.com/)包含来自50个不同城市街景场景中录制的多种立体视频序列,用于像素级和实例级语义标记性能评价。 (8) MPI Sintel数据集(http://ps.is.tue.mpg.de/research_projects/mpi-sintel-flow)解决了现有光流基准测试的局限性,包含流场、运动边界、不匹配区域和图像序列。它旨在促进长距离运动、运动模糊、多帧分析和非刚性运动的研究。 (9) SUN3D(http://sun3d.cs.princeton.edu/)是普林斯顿大学提供的大规模RGB-D视频数据集,数据集包括多个完整的室内场景以及对应的摄像机参数和物体标签,可用于场景理解和三维重建研究。 (10) ShapeNet(https://www.shapenet.org/)是由普林斯顿大学、斯坦福大学和TTIC的研究人员联合提供的大型3D形状数据集。它涵盖55个常见对象类别,大约51 300个独特的3D模型。该数据集为世界各地研究人员提供数据,以便能够在计算机图形学、计算机视觉、机器学习和其他相关领域进行研究。 (11) YouTube-8M(https://research.google.com/youtube8m/index.html)是一个大规模视频标注数据集,包含上百万个YouTube视频链接及对应标签。它旨在推动大规模视频理解、特征学习、噪声数据建模、迁移学习和域自适应方法的研究。 (12) HandNet数据集(http://www.cs.technion.ac.il/~twerd/HandNet/)包含RealSense RGB-D相机记录的10个工作人员的手部非刚性变形深度图像,包含以手和五指为中心的6D姿态信息。 (13) MegaFace(http://megaface.cs.washington.edu/)是华盛顿大学收集的一百万张人脸图片,代表 690000个独特的人。MegaFace是第一个百万规模级别的面部识别算法测试基准。 2.4 地理空间信息管理 多源、多类、多时相的遥感和地理数据需要一个统一的数据平台进行管理和分析。目前已有很多开放的地理信息平台,以下是一些典型的代表。 (1) GDAL是一个用于读写各种栅格和矢量数据的开放软件库。此外,它还支持一定的投影和转换。GDAL开始时主要由Frank Warmerdam开发,后来其维护移交到开源地理空间基金会下的GDAL/OGR项目管理委员会,成为一个主要的开放软件项目。 (2) QGIS是一个跨平台的免费和开源地理信息系统。它除了汇总和导出地图之外,还允许用户分析和编辑空间信息,支持多种格式的栅格图像并实现地理配准。此外,QGIS还支持个人地理数据库、DXF、MapInfo、PostGIS等格式,允许通过Web服务使用外部来源的数据。 (3) SAGA GIS是一种用于编辑空间数据的免费和开源地理信息系统。它起初由德国哥廷根大学自然地理系开发,目前已由一个国际开发社区来维护和扩展。SAGA GIS旨在为科学家提供一个有效学习和实现各种地球科学原理和方法的平台,目前,已有越来越多的库建成并可供使用。 (4) GRASS GIS于1982年由美国陆军施工工程研究室(USA-CERL)研发,1985年发布第一个版本。1990年,CERL停止对GRASS的官方支持,随后GRASS开始走下坡路。1999年,GRASS实行开源,由此GRASS开发和应用形成一大批活跃的开发社区。2006年,GRASS项目组加入开源地理空间基金会,自此成为开源地理基金会的正式项目。目前,GRASS的最新版本为7.2.1,可以运行在Mac OSX、Windows及Linux 3个平台上,具有良好的平台移植性和拓展性。GRASS可用于空间数据管理和分析、图像处理、地图制图、空间建模和可视化等方面,在全球学术界、工业界及有关政府机构中得到了广泛应用。 (5) OSSIM是一个用于遥感、图像处理、地理信息系统、摄影测量方面的开源软件。它主要使用C++编写完成,支持Linux、Windows、Mac OSX及Solaris等多种平台。由于OSSIM使用了模型-控制器-视图的结构,所以算法的实现和图形化界面(GUI)是分离的,这使得OSSIM可以支持多种GUI接口。 (6) SharpMap是基于.Net平台,用C#语言开发的GIS开源项目,是一套简单易用的小型GIS平台。SharpMap与系统庞大、成本过高的商用WebGIS产品相比,具有小巧、开源、灵活的特点,适合小规模GIS软件的二次开发。它体积虽小,却实现了一个GIS软件的所有基本功能,支持多种GIS数据格式、支持空间查询;使用简单,只要在.Net项目中引入相应的动态链接库(DLL)即可,没有复杂的安装过程;拓展性强,可以用于开发网络和桌面GIS应用程序。 (7) World Wind是一款由NASA开发的开源三维地理信息系统,它既可以作为独立的单机GIS应用程序从互联网上访问空间信息数据,也可以作为其他应用程序的插件。World Wind可以将Landsat 7、SRTM、MODIS等多颗卫星的数据及其他网络地图服务(web map service,WMS)服务提供商提供的图像通过一个三维的地球模型展现。World Wind功能强大、可拓展性强、全部代码开源,以其为平台开发特定功能的GIS应用程序比较方便。 (8) MapWindow GIS是一款以MPL(Mozilla Public License, Mozilla公共许可证)为授权协议,基于.Net环境开发的开源地理信息系统和应用程序编程接口,使用它可以浏览和编辑多种GIS数据格式。不仅如此,MapWindow并不仅仅局限于提供纯粹的基本功能,其最大优势在于还提供了一个充分可拓展的插件接口,使用户自己可以对MapWindow的功能进行组合、增减,并且可以通过插件将各种与地理信息系统有一定依存关系的计算、模拟程序与MapWindow无缝整合,从而满足用户自己的特殊需求。美国环保署(EPA)已经采用它作为其BASINS(Better Assessment Science Integrating Point and Nonpoint Sources)流域分析和建模软件的主要平台。 (9) GeoTools是一个纯Java语言实现的开源GIS中间件,该项目隶属于开源地理空间基金会。GeoTools类库遵循OGC(Open Geospatial Consortium)标准规范开发,提供了从数据访问层到数据渲染层的GIS操作的实现,并定义了一系列标准的接口对外提供调用。GeoTools可用来构建不同种类的GIS系统,包括网络GIS应用服务器、桌面应用客户端等,是开源GIS产品中较为优秀的代表。GeoTools支持多种GIS数据源的访问,具体包括:矢量文件、栅格文件、关系型数据库、OGC规范下WMS地图图片服务、OGC规范下WFS矢量要素服务等。 (10) uDig是Refractions Research公司开发的一款用于浏览和编辑地理信息的开源桌面GIS系统,用于显示和编辑地理数据。它遵循OGC标准,适用于WMS、网络要素服务(WFS)等网络应用。uDig为用户提供了熟悉的操作环境,可以在Windows、Mac OSX和Linux这三大平台上运行,支持网络服务标准和主流产品,并为复杂的分析功能提供了一套框架。对于开发人员而言,uDig还提供了一套开源的通用Java GIS开发平台,开发人员可以基于uDig开发GIS应用程序,从而实现对uDig的扩展。 需要说明的是,除了上述基于本机的地理信息系统外,尚有许多基于网络的地理信息系统,如谷歌地球、谷歌地图、ArcGIS Online、天地图等为大众提供的地理信息服务平台。 3 数据使用的大众化 数据使用的大众化是指政府和非营利组织将他们收集或获取到的地理空间数据向大众开放,以用于不同科学目的或社会性项目。 首先要说明一个问题,为什么要开放数据,开放数据有什么好处?对此Open Data Institute(ODI)(https://theodi.org/the-value-of-open-data)进行了大量的研究和报道。据横向经济学(Lateral Economics)(https://lateraleconomics.com.au)的研究,开放数据可以比付费数据多创造了0.5%的国内生产总值(GDP)。2013年,麦肯锡(McKinsey)曾预计,各个行业的开放数据将为全球市场提供动力,每年将使其增加3万亿至5万亿美元。根据Capgemini在欧洲数据门户网站上的研究报告,到2020年,使用开放数据将使欧盟的公共管理成本降低17亿欧元。此外,开放数据的有效利用可节省6.29亿小时不必要的等候时间,进而减少16%的能源消耗。开放数据研究所的研究还表明,使用、生产或投资开放数据的英国公司雇用了50多万人,年营业额超过920亿英镑;美国Landsat数据每年可节省3.5亿至4.36亿美元。 世界银行集团(World Bank Group)的研究表明,世界各国政府正在将他们在许多地区收集的数据作为一种新型的公众资源向社会开放[15]。开放数据是在线免费提供的数据,任何人可以将其用于商业用途以外的任何目的和重新发布。虽然社会媒体、公司和非政府组织都可以作为开放数据的来源,然而最广泛的来源仍然是政府和政府支持的机构。他们发现,这种开放的政府数据可以用来创造社会和经济价值、确定社会和经济趋势、改进公共服务、建立政府信任、促进经济增长。世行开发了帮助世界各国政府评估和建立开放数据计划的方法,开放数据的业务价值可能会达到每年数万亿美元。开放数据的主要优点在于:开放数据可以帮助发起新业务、优化现有的业务,促进经济增长、创造就业机会,改善外商投资气氛;它也可以使就业市场更加高效,促进关键技术工作培训。 3.1 美国Landsat影像 时间早、规模大、影响广的数据大众共享是美国政府决定自2008年12月起将Landsat全球数据全部共享,向所有用户免费提供。Landsat是世界上收集时间最长的中等分辨率土地遥感数据,40多年来为农业、地质、林业、区域规划、教育、测绘和全球变化研究提供了重要资源。 截至2017年3月31日,全球用户已下载超过5600万景影像(https://landsat.usgs.gov/total-landsat-distribution)。约73%的用户是国际用户,其余来自美国;其中2008年以来新用户占43%,大多数用户是最终用户;超过一半的用户在学术界工作。就环境和社会效益而言,80%以上的用户看到了环境效益,如实现长期规划或监测、保护与改善环境条件、维护改善生态系统服务等。约90%的用户通过使用Landsat图像能够更好地交流并进行决策,75%的人用来支持执行法规或政策,减少人身危险,增加人的安全;近70%的用户用来解决纠纷减少冲突[16]。 就经济效益而言,科罗拉多州立大学和美国地质调查局2015年的研究表明,2011年免费下载的238万景Landsat影像,使美国经济受益达到18亿美元[17],几乎是Landsat 8建设和发射成本的2倍。这个估计被认为是保守的,因为它没有考虑到Landsat数据的任何下游用户,即那些没有直接从USGS下载Landsat数据的用户。研究认为,Landsat的大部分价值来自于免费和开放的数据政策,为用户提供了大量的无成本数据,而即使少量的数据收费也将大大减少用户的数量。 欧共体也在考虑类似的卫星数据开放政策(https://theodi.org/the-value-of-open-data)。2012年欧空局的研究表明,政府的卫星数据开放政策在中长期内是有益的,到2030年,估计有300亿欧元的市场和数以万计的新工作。欧盟委员会计划公开所有公共数据——地理、统计、气象和公共资助的研究数据等。他们的目标是使纳税人低成本或零成本访问和重新使用收集的数据。修改数据政策以使欧洲公共部门机构可用的成本较低的数据使用量增加10~100倍。开放数据可以激发新的数据用途、吸引新的数据用户、创造新的工作机会。 3.2 全球数字地面模型(DEM) 最早的全球数字地面模型是1996年由美国USGS发布的GTOPO30,其分辨率较低(约1000 m),由8类不同来源的数据融合而成,高程精度优于30 m。类似于GTOPO30, 由美国USGS发布的GMTED2010也是多种数据融合而成,包括约1000 m、500 m和250 m 3个分辨率,精度相对于GTOPO30有一些提升。随着数据获取与处理技术的发展,全球DEM的精度也越来越高。目前中等分辨率(30~90 m)开放的全球DEM主要有3个来源:一是美国航空航天局于2000年2月用航天飞机干涉合成孔径雷达(InSAR)技术生成30 m分辨率的数字高程模型(SRTM DEM)。从2014年底开始,30 m分辨率的SRTM DEM数据已向全球逐步公开发布,目前已经覆盖包括中国在内的世界绝大部分地区,其高程精度优于16 m[18]。事实上,德国宇航中心利用SRTM X波段数据生产的DEM比美国利用SRTM C波段数据生产的DEM精度更高,但其呈网状覆盖全球(即有较多的数据缺失)的特点极大地限制了其应用。二是美国与日本联合推出的基于摄影测量的产品ASTER Global DEM(分辨率为30 m),覆盖面更广(占地球陆地面积的99%),但在有云遮挡的地区存在漏洞。2011年10月,ASTER Global DEM版本2公开发布,在版本1上大大改善, 被认为是崎岖山区比SRTM高程模型更准确的表示。三是ALOS World 3D,是由日本宇宙航空研究开发机构(JAXA)通过摄影测量方法生产的全球30 m空间分辨率数字表面模型,这一数据原始分辨率为5 m,其标称高程精度为5 m,经过采样后生成的30 m的DEM最近也已经向公众免费提供。 3.3 美国USGS 3-D Elevation Program 美国地质调查局(USGS)自2012年开始实施3D高程计划(3DEP)[19],以应对日益增长的对高质量地形数据及数字三维自然和人工地物的需求。3DEP的主要技术手段是采用激光雷达数据测量,计划8年完成。需要说明的是,3DEP计划实施前曾调查了34个联邦机构、所有50个州、一些地方政府和区域性办事处以及私营和非营利组织等的600多个业务用途。调查表明,全面资助和实施3DEP将为政府机构、私营部门和公民提供每年6.9亿美元的新效益。目前,所有公共机构每年投入大约5000万美元用于高程数据获取,但仅仅约有14%的州拥有满足所需质量水平的激光雷达数据。因此,每年需要额外的9600万美元来实施3DEP。但是,这项投资将导致近1:5的回报率。普遍认为,这个计划将为美国提供全覆盖的1~3 m分辨率的数字高程模型,并且向大众免费开放。 3.4 美国USGS土地覆盖数据 美国国家土地覆盖数据库(NLCD)[20]是美国用Landsat图像生产的30 m分辨率的土地覆盖数据库。NLCD提供了地表特征的空间参考和描述性数据,如专题类(如城市,农业和森林)、不透水百分比及树冠覆盖率等。NLCD支持各种联邦、州、地方和非政府应用,旨在评估生态系统状态和健康,了解生物多样性的空间格局,预测气候变化的影响,并制定土地管理政策。NLCD产品由多分辨率土地特征(MRLC)联盟创建,该联盟是由美国地质调查局牵头的联邦机构的合作伙伴。所有NLCD数据产品均可从MRLC网站(http://www.mrlc.gov)免费下载。美国土地覆盖数据有16类,自2001年开始,每5年更新和发布一次,目前的时间节点是2001、2006、2011、2016(待发布)。 3.5 全球土地覆盖数据集 全球土地覆盖数据(30-meter Global Land Cover Dataset)[21]由中国国家基础地理信息中心在2014年发布,是863计划“全球地表覆盖遥感制图与关键技术研究”重点科研项目的产品之一,该项目由国家基础地理信息中心牵头,来自国家测绘地理信息局、中科院、教育部、农业部、林业局等7个部门的18家单位共同参与。这一数据集的分辨率为30 m,由以2010年为基准年的Landsat卫星观测数据分类得到,将土地划分为耕地、森林、草地、灌木丛、湿地、水体、冻原、人工地物表面、裸地、永久雪地和冰地共10类,总体分类精度达到83.51%。 3.6 世界城市数据库 世界城市数据库(World Urban Database,http://www.wudapt.org/)的目的是通过众筹建立一个开放、共享的城市数据库[22]。城市化对城市、区域和全球范围气候的影响是一个颇有争议的话题。但是,目前大部分相关研究集中在使用人口和行政信息结合遥感数据来绘制城市地图,然而,这些数据难以提供关于城市内部组成的信息,这对于了解其对环境的影响及它们对变化的脆弱性至关重要。世界城市数据库在门户网站中提供基本工具,以便研究人员将本地数据汇总到指定的参考网格。该数据库以本地气候区(LCZ)作为分类框架,使用Geo-Wiki对不透水表面(如建筑物、道路、其他)、透水表面,草地等的土地覆盖和土地利用类型进行采样;采用在线和基于移动的工具以获得建筑材料、建筑尺寸、冠层宽度等其他信息。由于数据集的开放性,世界各地的研究人员可以将数据用于许多不同类型的应用,从气候和天气模型到能量平衡研究。第一届WUDAPT研讨会在都柏林大学(2014年7月7—9日)举行,其中16个城市参加为LCZ,会议讨论了数据收集协议,并期望有更多的城市专家和研究人员加入到这一计划中。 3.7 面向研究的开放数据 这些数据一般是或者含有地理真值,或者带有原始的观测数据、抑或没有经过过多的处理,覆盖范围较小,或有多种数据的覆盖,因此多用于科学研究。这里选择性地列出作者熟悉的一些参考数据供读者参考。 建筑物立面地面激光扫描数据集(http://www.ikg.uni-hannover.de/)。由Institute of Cartography and Geoinformatics at the Leibniz University of Hannover提供。 两个老建筑物的地面激光扫描数据(http://www.ifp.uni-stuttgart.de/publications/software/laser_splatting/index.html)。由Institute for Photogrammetry, University of Stuttgart, Germany提供。 NASA Scanning Lidar Imager of Canopies by Echo Recovery(SLICER)激光波形数据:https://denali.gsfc.nasa.gov/research/laser/slicer/slicer.html。 ISPRS点云滤波数据集(http://www.itc.nl/isprswgIII-3/filtertest/DownloadSites.htm)。目的是评价现有点云滤波的各种算法,共有8个数据样区的数据。 土地利用数据集(http://vision.ucmerced.edu/datasets/landuse.html)。由加州大学Merced分校提供。这是一个用于研究目的的21类土地利用图像数据集,每类有100张图片,每个图片256×256像素,像素分辨率为1 ft(1 ft=0.30 m)。其从USGS城市地图集中手工提取。 普渡大学高光谱影像数据集(含类别标注):https://engineering.purdue.edu/~biehl/MultiSpec/hyperspectral.html。 ISPRS城市分类、建筑物三维重建和语义标注数据集:http://www2.isprs.org/commissions/comm3/wg4/detection-and-reconstruction.html。 ISPRS各类影像数据集(http://www.isprs.org/data/)。其中包括近景、航空和卫星影像,如IKONOS和ZY-3。 EuroSDR航空影像密集匹配数据(http://www.ifp.uni-stuttgart.de/ISPRS-EuroSDR/ImageMatching/index.en.html)。鉴于自动影像匹配软件的不断发展,该测试数据集旨在评估摄影测量三维数据采集的潜力。试验数据包括两组垂直摄影和一组倾斜摄影。倾斜数据的覆盖区域是瑞士苏黎世,地面分辨率为6~13 cm,垂直影像的覆盖区域分别是德国Vaihingen(地面分辨率为20 cm)和慕尼黑(地面分辨率为10 cm)。 IEEE-GRSS每年都组织数据融合竞赛(Data Fusion Contest)。为此,他们也和其他单位公开发布一些独特的竞赛数据集。以正在进行的2017年竞赛为例,其实验数据由前述世界城市数据库组织(WUDAPT,http://www.wudapt.org)提供。其目标是促进多源遥感数据融合和分析方法的进展。2017年数据融合大赛的任务是在各种城市地方气候区环境中进行土地利用分类,并且评价所研究的方法在世界各地泛化的能力。竞赛数据除了多时相、多模态的影像数据外,还包括其他辅助数据,如具有土地利用信息的开放街道地图(OSM)。 4 结束语 遥感由专业遥感(含测绘遥感)向大众遥感过渡是一种必然,其内在驱动力是多方面的。首先,小型、多功能、廉价、轻便传感器的出现与普及,尤其是智能手机的日益普及和网络传输带宽的增强,智能手机已经被用作一种无所不在、随时随地由大众个人来获取数据的有效手段。实际上,动态数据的获取在很大程度上取决于使用机动、功能齐全的传感器,而智能手机恰好满足了这种特性,因此,大众使用的智能手机使得大众遥感无处不在的数据采集成为可能。 其次,城镇化、日益突出的环境、资源和气候问题,以及时常发生的恶性突发事件,使得在大尺度上来认识和监测我们居住的地球成为需要。日臻成熟的航空航天及地面遥感技术为满足这种需要提供了可能,而随着信息化向各行各业的融入,社会对各种基础地理空间数据的需求也越来越迫切,这必将推进测绘行业的跨行业服务和发展,促进数据、信息和资源的共享,使其在国家发展和人民生活中起到越来越重要的作用。 最后,遥感数据和处理工具与平台的开放化可以带动经济发展、产生新的就业机会,逐步成为数据科学和开放科学新的经济增长点。数据和处理工具的开放一方面为研究人员提供了更好的研究环境,极大地促进了学科交叉融合发展,为科学技术、领域应用甚至产业结构和服务方式提供了新的可能;另一方面,数据和工具的开放,打开了各部门各学科研究与应用的壁垒,减少了资源浪费,降低了地域间、行业间、学科间等的信息不对称,极大地促进科学技术的跨越式创新和普及。 总之,遥感正在从多个维度以前所未有的速度由专业走向大众。如果说,Landsat卫星数据的开放开启了遥感大规模的行业应用、产生了巨大的经济效益;那么,以智能手机为代表的大众传感器和大众科学正在使遥感从行业应用走向大众应用,在产生巨大的经济效益的同时,也终将产生巨大的社会效益。在这种大趋势下,一方面遥感科学的外延在不断扩大,正在改变行业的格局和大众的生活方式;另一方面,相关学科对遥感科学的贡献和影响也在与日俱增并不断注入新的思想和方法。所有这些都对遥感科学本身的发展与进步提出了新的挑战,时代正在给我们测绘遥感一个跨越式、全方位发展的机遇。 致谢:本文作者系武汉大学客座教授; 本文初稿经多位研究生补充和润色。 【引文格式】单杰。从专业遥感到大众遥感[J]. 测绘学报,2017,46(10):1434-1446. DOI: 10.11947/j.AGCS.2017.20170361