大规模GIS海量数据的分布式组织与管理

大规模GIS海量数据的分布式组织与管理

一、大型GIS海量数据分布式组织与管理(论文文献综述)

张帅[1](2020)在《分布式移动网络环境下大规模空间社交媒体数据快速增强现实可视化研究》文中进行了进一步梳理增强现实技术被广泛誉为下一代人机交互通用平台技术,近年来受到了国内外学界与产业界的重点关注,迎来了爆发式增长。智能手机i OS与Android平台纷纷推出各自底层增强现实API,ARKit与ARCore,使得全球万亿智能手机都成了增强现实设备。2016年AR游戏Pokemon Go刚上线就火爆全球,一个月内获得了13000万次下载,迅速得到全球70多个国家民众的热捧。增强现实技术能够呈现炫酷引人入胜的3D模型动画,但当前领域内对简单社交多媒体数据,如文字、图片、音频、视频等,的增强现实可视化体验关注不够,而社交媒体数据却是普通用户最容易生产的数字内容,必然伴随着增强现实技术应用的普及而大规模产生。因此,研究社交媒体数据在增强现实环境中可视化问题,对增强现实技术的进一步平民化普及具有重要意义。在如今的大数据时代,当社交媒体数据规模日渐庞大时,在分布式移动网络环境下,研究大规模社交媒体数据快速增强现实可视化问题有着极其重要的应用价值,可视化效率问题严重影响着增强现实前端的用户体验,而优良的数据组织机制、高性能的数据处理架构是增强现实前端快速可视化的首要问题,因此本文的研究重点在于利用大数据技术去支撑增强现实前端快速可视化。另一方面,与传统社交媒体应用不同,社交媒体数据增强现实可视化问题是在现实生活中真三维环境中呈现的,具有鲜明的地理空间属性,属于空间社交媒体数据,因此,大规模空间社交媒体数据增强现实可视化能否快速响应一个关键因素是能否有效利用地理空间信息。本文在前人的研究基础上,对大规模空间社交媒体数据快速增强现实可视化问题的研究,主要从以下几个方面展开:(1)针对大规模空间社交媒体数据的增强现实可视化数据特征,研究适合网络大规模数据传输的空间社交媒体数据规范,提出了Geo ARMedia数据模型规范。Geo ARMedia数据规范参考了现行gl TF与Geo JSON数据标准,定义了常见空间社交媒体的数据模型规范,明确了常见多媒体数据类型(文本、图片、音频、视频等)的存储表达规范。(2)面向分布式集群环境下的大规模空间社交媒体数据存取技术需求,构建了利于数据库跨尺度平滑读写稳态Z曲线算法,研究了大规模空间社交媒体数据基于稳态Z曲线的常见空间查询算法,提出了基于稳态Z曲线的大规模空间社交媒体数据的分布式数据划分策略,优化数据分布式存储结构,提高了空间社交媒体数据的分布式存取效率。(3)研究基于智能手机设备的移动增强现实前端可视化空间的构建,定义了空间社交媒体数据在移动增强现实前端的可视域以及三层空间交互架构,提出了空间社交媒体数据增强现实可视化的球面模型,同时研发了借助地理信息能够大幅提高增强现实识别图命中效率的大规模社交图片检索的时空耦合算法,有效提升了空间社交媒体数据在移动前端增强现实可视化效率。(4)为了在分布式移动网络环境下快速响应大规模空间社交媒体数据加载请求,保障前端增强现实可视化的效率与稳定性,本文提出了空间社交媒体数据增强可视化多级缓存机制,利用空间社交媒体数据的空间邻近性,提出了增强现实可视化前端缓存预调度机制,以及基于地理位置的热点数据云端探测与分布式缓存调度机制,有效保障了增强现实快速可视化的速度与高并发响应要求。(5)大规模空间社交媒体数据增强现实可视化伴随着海量的计算任务,本文研究了大数据技术以及高性能计算技术,研发了面向大规模空间社交媒体数据的并行处理计算框架,提出了一种大规模空间社交媒体数据并行处理的代数方法,能够简洁有效的描述并行处理任务,组织调度多个并行计算算子协同工作共同完成相关任务,支撑了大规模空间社交媒体数据快速处理。(6)结合当前流行分布式数据库、大数据技术、可拓展网络服务架构、移动前端3D引擎技术,依托前文的研究成果,本文设计并开发了大规模空间社交媒体数据快速增强现实可视化原型系统——视网么,详细讨论了常见空间社交媒体数据的增强现实交互与视觉设计,实现了前后端增强现实服务,同时研发了移动端社交媒体数据增强现实编辑器,大范围降低了社交媒体数据增强现实内容生产门槛,最后本文以南京大学仙林校区周边为例展开应用实验,测试表明视网么在应对TB级数据规模千万级并发访问的空间社交媒体数据前端增强现实可视化任务可以在1秒内完成前端响应,达到了理想的研究实验效果。

何朝阳[2](2020)在《滑坡实时监测预警系统关键技术及其应用研究》文中提出监测预警是地质灾害防灾减灾的重要手段,监测是预警的基础,预警是监测的目的。近年来,国内外学者对滑坡监测预警的方法技术体系进行了深入研究,取得了大量的研究成果。但总体上,地理与地质结合不够紧密,监测预警模型很难充分考虑滑坡变形过程和成灾机理,难以取得较高的预警精度,研发的监测预警系统也难以满足数以万计隐患点实时监测预警的实战需求。已有的研究成果还难以有效地解决地质灾害“什么时间可能发生”、“力争实现提前3个小时预警”的任务。如何提高滑坡监测预警能力,我们面临诸多挑战:如何提高滑坡监测预警精度?如何将理论研究成果应用到实际的监测预警中,构建一套可业务化大规模应用的滑坡实时监测预警系统?基于此,本论文系统总结作者近10年来在监测预警方面的实践成果,采用云计算与物联网等先进技术,构建滑坡监测预警云平台,整合与管理滑坡地质灾害演化全过程的各类资料,研发并行高效的多源异构监测数据汇聚平台,集成多源异构实时监测数据,形成天-空-地多元立体监测数据中心;综合分析2.1万余台(套)监测设备、超过1.26亿条监测数据的实测曲线,总结划分监测曲线类型,构建监测设备可靠度评价体系,研究滑坡过程预警模型及其实现的关键技术,在此基础上,构建一套混合架构(B/S架构、C/S架构、移动App)的滑坡实时监测预警系统,实现了地质与地理、空间与属性相结合的滑坡演化全过程一体化管理,利用计算机手段对滑坡实施全过程动态跟踪的“过程预警”,有效地提高了滑坡预警精度。本文取得主要成果如下:(1)构建滑坡“过程预警”模型及其自动求解算法:结合变形速率、速率增量、改进切线角三个参数,构建基于滑坡变形演化过程的“过程预警”模型,从滑坡变形监测数据入手,划分监测曲线类型,研究滑坡变形演化阶段的自动识别理论及计算机技术,实现对滑坡全过程动态跟踪预警;(2)构建监测设备可靠度建立评价体系和多设备联动预警机制:通过动态对监测设备可靠度进行评价,结合联动预警机制,评价预警结论可信度,以提升监测预警的成功率,利用计算机技术自动识别滑坡的变形演化过程,实现自动、实时的“过程预警”,为预警模型的业务化、自动化运行提供理论与技术支撑;(3)提出监测数据自动处理方法:研究实测监测数据的预处理方法,为计算机自动处理监测数据提供相关的算法。通过设置监测数据过滤器和采用拉依达准则实现对异常数据的初步过滤与粗差处理,再结合数据特征,分别采用移动平均法与最小二乘法对数据进行拟合,识别数据表现出来的变形趋势。基于监测数据曲线特征自动选择相应的数据处理方法,为后续预警模型计算提供更为准确的数据,提高预警精度;(4)构建实时高效的监测数据集成与共享统一管理平台:结合物联网、消息队列、负载均衡等技术,研究监测数据编码体系,提出一套基于MQTT协议的实时监测数据传输与集成方案,实现多源异构监测数据终端集成和监测数据采集、传输及汇集融合一体化管理,为监测预警提供实时数据保障;(5)构建基于策略的滑坡实时过程预警技术:从模型的计算、预警的发布与解除等方面,将滑坡预警的理论模型与实际应用相结合,研发预警等级求解器,构建基于策略的预警模型通用计算框架,并从预警信息发布技术及发布策略方面进行总结,实现对滑坡的实时过程预警;(6)构建滑坡变形演化全过程一体化数据管理平台:基于“天-空-地”滑坡多元立体观测技术,采用WebGL技术跨平台的三维数字地球,提供直观、真实的三维实景漫游平台,实现海量基础数据、实时监测数据、视频的集成管理与共享,也为实时监测预警系统提供一个功能强大、数据丰富的三维展示平台,构建基于滑坡演化全过程的一体化数据管理体系和滑坡综合信息模型,为滑坡的专家预警决策提供数据支撑;(7)研发混合架构体系的滑坡实时监测预警系统:综合集成上述研究成果,研究混合架构体系(B/S、C/S、移动端),基于微服务研发滑坡实时监测预警系统,各个架构系统密切配合,针对不同的功能需求,充分发挥各架构的优势,构建数据综合展示统一平台,为过程预警模型提供技术解决方案,实现滑坡监测预警的业务化运行,为滑坡的防治、应急、抢险等提供基础数据支撑与预警信息服务。

聂沛[3](2020)在《空间数据分布式存储与并行处理方法研究及其在林业领域的应用》文中研究表明森林资源涉及的一系列环节都离不开客观、现实、准确的数据,然而,传统的森林资源监测和调查方法已不能满足快速准确的数据需求,3S与计算机技术等现代化的分析管理技术在森林调查管理上扮演着愈发重要的作用。随着3S技术的快速发展,全球每天都在集成大量的空间数据,地理空间大数据时代已经到来,对海量空间数据进行高效组织存储及快速处理成为研究热点,遥感影像及空间矢量作为典型的空间数据,已被广泛应用于林业、军事、测绘、交通等领域,许多研究者对这两种空间数据展开分布式存储与并行处理研究,取得了一定的成果,但在当前研究中,没有很好地结合数据特性设计存储结构,更鲜有在优化存储的基础上加速并行处理,因而当面向体量更大的数据及实时性要求更高的应用时,当前研究将到达瓶颈。本文针对遥感影像及空间矢量数据在分布式存储以及并行处理研究中的不足之处,基于大数据云计算技术,开展遥感影像及空间矢量数据分布式存储与并行处理方法研究,提出了高效快速的空间数据存储模型及并行处理方法,并设计实现了数据存储到处理的接口,最后将研究成果应用到林业领域,并行反演森林植被覆盖度。本文研究内容如下:(1)研究遥感影像分布式存储模型。为解决当前存储系统层次复杂、分块策略固定等问题,基于HDFS设计实现一种高效的面向遥感影像分布式存储模型-MapImage,模型存储充分考虑影像像元数据、影像金字塔、元数据之间的联系,同时针对处理算法访问特性,提供按波段、按矩形块、按行、按列的数据分片策略以供选择,提高了系统的可用性。(2)研究空间矢量数据分布式存储模型。当前的存储模型数据访问I/O延时大,且没有考虑矢量瓦片金字塔及其元数据,为解决上述问题,基于内存分布文件系统Alluxio设计实现一个兼容矢量瓦片金字塔的内存级矢量分布式存储模型-VectorTileStore,模型支持矢量瓦片及其元数据的存储,存储时对数据进行网格索引,从而提供内存级快速数据访问接口。(3)研究空间数据并行处理方法。为加速空间数据处理,开展空间数据并行处理研究,首先对于数据金字塔构建耗时这一问题,利用Spark进行影像金字塔和矢量瓦片金字塔的并行构建及并行载入分布式存储模型;接着针对分布式存储模型的特点,设计实现相应的并行输入格式,基于并行输入格式,Spark按需读取存储模型,过滤与算法无关的数据,加速并行处理,本文实现了空间矢量并行查询算法和遥感影像并行镶嵌算法。(4)设计实现空间数据分布式存储与并行处理接口。在空间数据分布式存储模型及并行处理研究基础上,设计实现遥感影像及空间矢量存储、访问、处理接口,阐述接口使用规则,形成一个从空间数据分布式存储到并行处理的通用框架。(5)研究植被覆盖度遥感并行反演方法。在提出的遥感影像分布式存储模型及并行处理方法基础上,结合植被覆盖度反演的理论与方法,以东北林业大学帽儿山林场MODIS影像为研究对象,并行反演森林植被覆盖度,提升反演时间效率。通过研究及实验分析表明,本文开展的空间数据分布式存储与并行处理方法研究,能有效结合分布式存储、并行计算技术理论与方法,实现遥感影像及空间矢量数据的分布式存储与并行处理,较现有研究具有明显优势,其中MapImage存取效率提升25.4%及36.9%,VectorTileStore存取效率提升11.4%及40.6%。最后将研究成果应用到林业领域,开展森林植被覆盖度遥感并行反演研究,提供一个新的林业信息化解决方案。

崔喆[4](2019)在《基于网格索引的高速铁路勘测数据管理研究》文中进行了进一步梳理目前我国高速铁路事业发展正处于高速发展阶段,由于高速铁路勘测项目较多且勘测内容复杂,产生了数量巨大且类型多样的高速铁路勘测数据,这给勘测数据的检索带来很大困难。由于勘测项目具有地理特性,因此勘测数据也具有地理空间特性。鉴于以上具体情况,本文利用空间检索技术来查询高速铁路勘测数据,提出一种基于网格索引的空间数据检索机制,利用Hilbert填充曲线对空间数据进行编码,在检索时利用良好的条件对空间数据集进行过滤,缩小空间数据的查询匹配范围,从而提高空间数据检索效率。同时基于网格索引生成空间数据索引表的过程具有良好的并行性,本文利用MapReduce框架对其实现并行化,提升空间数据的索引生成效率。通过对比实验对提出的高速铁路勘测数据检索方法的性能进行了测试,从空间数据索引表生成时间和空间数据检索时间两个方面证明此机制的优越性。高速铁路勘测数据具有数据量大、种类多样、内容复杂等特征,随着对数据管理的要求越来越高,传统的数据管理系统不能适应当前的应用需求。本文从数据存储量级、检索速度、容灾性和扩展性几个方面进行分析研究,提出数据管理系统采用非关系型数据库和对象存储相结合的数据存储方案,提升大规模勘测数据的存储、查询和管理的效率。针对高速铁路勘测项目的管理主要存在两个问题,其一是工作人员和工作流程不能统一管理,其二是各部门间的数据共享问题。本文对高速铁路勘测项目业务流程进行详细分析,基于地理信息系统依据该流程开发高速铁路勘测项目管理系统,对高速铁路勘测项目进行统一管理,实现了外业测量用户和内业数据用户的一体化管理,保证项目各岗位人员沟通方便及时,提高工作效率,同时实现对全院数据的可视化统一管理,消除部门间数据共享效率低下的弊端,并且使用户更为直观地浏览数据,获得信息。最后,通过设计测试大纲和界面测试等方法对高速铁路勘测项目管理系统的功能和性能进行了验证测试,结果表明其功能和性能符合预期设计。综上所述,本文所提出的基于网格索引的高速铁路勘测数据检索机制和高速铁路勘测项目管理系统,使用户通过GIS界面更加直观地浏览信息,同时便捷的对高速铁路勘测数据进行存储、查询和管理。通过对项目的一体化管理,减少员工信息传递之后的现象,避免数据共享效率低下的弊端,提高员工工作效率。促进高速铁路建设的持续快速发展,为我国高速铁路事业提供强有力的支持。

董元[5](2019)在《大数据环境下的地质灾害易发性评价研究》文中指出地质灾害是一种严重影响经济建设、社会发展与人民生命财产安全的自然灾害,建立地质灾害易发性评价模型和地质灾害预警预报系统对保护人民财产安全和维护社会稳定有着重要的意义。然而,地质灾害的影响因素众多,且不同影响因素之间相互作用,这也加剧了地质灾害预警预报的难度。随着测绘、遥感、传感器等技术的发展,地质灾害防控部门已经累计了不同来源、不同类别的地质灾害相关数据。如何综合借助地质灾害建模、空间分析、时空数据挖掘等理论方法,发展融合多源时空数据的地质灾害易发性评价模型,并基于大数据技术建立灵活的、快捷的、可伸缩的地质灾害易发性评价系统,是地质灾害防控部门迫切需要解决的问题。为此,本论文面向地质灾害的快速预警预报需求,研究大数据环境下的地质灾害易发性评价理论与方法,主要工作包括:(1)对国内外地质灾害建模、地质灾害信息化等相关研究与进展工作进行了系统的归纳总结,指出了当前研究的的主要存在问题与面临的关键挑战,从而明确了论文的主要研究内容和研究思路。(2)针对大数据环境下的地质灾害数据快速检索问题,对大数据环境下的地质灾害数据存储格式进行了定义和描述;发展了一种基于Geohash改进的地质灾害数据时空编码方式;在此基础上,对列式数据库Hbase的Rowkey进行拓展,从而发展了一种新的地质灾害数据时空索引方法。(3)针对地质灾害易发区的准确评价问题,发展了一种融合多源时空数据的地质灾害易发性综合评价模型。首先,针对历史地质灾害数据的分布特征,发展了一种面向地质灾害数据的时空密度聚类算法;进而,综合利用时空聚类与凸包构建的方法,实现了历史地质灾害易发空间区域的自动探测;最后,充分考虑地质灾害的不同影响因素,发展了一种基于关联规则挖掘的地质灾害易发性综合评价模型,并对所提模型的可行性进行了实验验证。(4)针对大数据环境下地质灾害易发性评价的计算效率问题,解决地质灾害易发性评价模型关键算法的并行化实现问题。针对模型中的空间叠加分析算法,利用MapReduce解决了多边形叠加计算中的空间检索、叠加匹配负载平衡、跨界多边形处理等关键问题,从而保证了大数据环境下地质灾害易发性评价算法的计算性能。(5)面向地质灾害预警预报的实际需求,设计了地质灾害易发性评价系统的系统架构与主要功能,搭建一个轻量级、高效的、可扩展的地质灾害大数据管理与决策支持系统,借助Lily、Hbase等大数据技术上实现地质灾害易发性评价的原型系统。(6)全面总结了本论文的研究成果与主要创新点,并对论文中尚有待深入研究的工作进行了展望。

李瀚[6](2019)在《面向矢量瓦片的高效空间数据处理技术的研究与实现》文中研究表明随着地图测绘技术的发展,原始地图数据量呈现爆炸式增长,对地图数据处理的空间及时间效率提出了更高需求。面对此需求,提出了面向矢量瓦片的矢量数据高效并行切片技术,在海量矢量数据的高效处理上,本课题提出了一种可行的方法,实验结果表明,此并行处理技术在提高矢量数据切片效率上有显着效果。首先,本文从矢量数据模型以及矢量要素处理策略两方面对矢量切片策略进行了研究,确定了面向分布式的矢量数据存储模型以及分别针对点线面空间实体要素的处理策略。在此基础上,本文对矢量瓦片的高性能存储模型、矢量数据并行处理方法以及基于Map-Reduce的并行处理支撑技术进行了研究。基于上述模型、策略、算法的研究,本文提出了矢量瓦片高效处理服务的总体架构,分别从底层支撑平台、中间服务层设计以及应用层多线程/进程的执行设计三个方面进行描述,并在文中设计了矢量数据、矢量瓦片的存储模型,分布式并行切片方案以及作为适配的矢量瓦片上传服务实现。最后,本文进行了传统切图实验以及多机并行切图实验,并对实验结果进行对比分析。本课题的实验数据源为原始地图矢量数据,矢量数据经过切片以及瓦片服务上传至数据存储平台(Hbase)进行显示,而传统的切片工具,海量矢量数据切图往往需要数周甚至更多的时间,那么针对矢量数据特性进行合理的任务划分,通过并行分布式处理服务进行分布式切图,并且在服务端进行并行上传,可以大幅度提升矢量数据整体处理效率。

李聪仁[7](2018)在《基于Geotrellis的遥感影像数据存储与检索模型设计与实现》文中研究表明鉴于遥感数据多尺度、多时相、全球覆盖率和高分辨率等特征,遥感数据的数据量呈现爆炸性的增长。这样就加大了对遥感数据进行存储与检索的难度,由于遥感数据格式各异、文件数据量大、处理流程复杂、遥感数据种类多、遥感影像展示和发布困难等诸多问题,因此,遥感影像数据在传输、存储、管理、数据共享、数据检索、数据处理、数据发布等各个方面临着极大的阻碍,特别是在遥感存储与检索方面,面临存储效率低、数据检索缓慢等问题,因此,遥感影像的存储与检索成为制约遥感应用的主要瓶颈和对地观测应用技术的迫切需求。本文针对海量、异构、多源遥感数据难以高效存储和快速检索的问题,研究了一个基于Geotrellis遥感影像数据存储和检索模型设计与实现,总体而言,论文的主要工作包括以下几个方面:(1)本文采用了Raster Frame栅格框架,将Spark DataFrames的强大地理功能,由Geotrellis的切片层提供元数据信息的技术支持,以Spark Catalyst数据类型灵活性和易用性来处理分析时空栅格数据,采用了用户定义类型TileUDF以Spark Catalyst引擎对Geotrellis进行编码,生成GeoTrellis Layers的入库元数据信息。(2)本文基于Geotrellis地理处理框架工具,实现了遥感影像元数据结构化显示、遥感影像快速入库、遥感影像金字塔并行构建。采用Geotrellis地理数据存储框架,可以使遥感数据一站式快速存储,大大提高了遥感数据的存储效率。采用分布式数据库Accumulo、Hbase和分布式文件系统HDFS作为Geotrellis地理数据框架的后端,丰富了存储框架的多样性。并采用了三种空间填充曲线的索引方法构建影像金字塔,通过采用Geotrellis不同的构建影像金字塔的参数,从而达到一站式高效存储遥感影像的目的。(3)本文提出了在地理大数据框架Geotrellis的存储端HBase的遥感影像分布式存储与查询方案。这种解决方案对遥感影像进行快速切分,并根据切分影像设计了一种基于切片ID和属性数据相结合的索引解决方案。然后,通过利用HBase的过滤机制设计了过滤列族,达到了在查询时筛选数据的目的。(4)本文采用开源栅格空间数据转换库(GDAL)和缓存WMS(Web Map Service)Tile的开源项目(GeoWebCache)进行栅格影像切片,将切片存储到Geotrellis的后端中,利用Akka多进程访问机制将瓦片遥感数据通过Leaflet的JavaScript地图开源库发布WMS地图服务,也可以将瓦片数据通过OpenLayers前端加载GeoWebCache的切片影像数据,再通过Cesium加载瓦片影像数据,将遥感数据可视化。(5)通过不同平台、不同空间索引技术和不同文件系统遥感影像金字塔入库的对比可以看出,基于Geotrellis遥感影像的存储模型的效率更高,更加适合遥感影像元数据的索引创建。本文又对比了不同索引瓦片数据的查询效率,本文采用基于HBase的二级索引机制,在查询占比不高的情况下,查询效率高于Z-Order空间索引的查询效率,有助于在查询条目少的情况下,更加高效地对瓦片数据高效的检索。

李富贵[8](2018)在《基于大数据技术的政府绩效信息使用研究》文中提出随着政府绩效管理理论和实践的不断探索,学术界积累了丰富的研究成果,呈现欣欣向荣的发展态势。同时绩效管理尚存在较多的问题,理论研究和实践探索开始进入反思阶段。国内外学者越来越聚焦于绩效管理循环的终端,更加关注绩效结果对公共组织及社会服务的影响,关注绩效信息与数据对内部管理及外部责任所产生的效应。由此便开启了值得绩效管理学界进一步研究和探讨的问题:政府如何更好的使用绩效信息,提高绩效管理的质量和效益。政府绩效管理存在诸多困境和挑战,亟需进行更深层的变革,实现方式改进和系统建构。采用新的研究方法和视角来促进绩效信息使用的研究,对实现政府绩效管理的有效性、科学性和可持续性有着重要的意义。随着网络信息技术的发展,大数据成为主流浪潮。大数据的引入将是未来政府绩效管理理论研究和实践发展的方向。绩效信息使用在理论和实践中存在的问题是本文的研究起点。基于对绩效信息使用理论的分析,本研究尝试理论和技术相结合,以大数据技术的视角分析绩效信息使用这一具体问题。本文围绕绩效信息来源的使用和绩效信息结果的使用两个维度,建构大数据视角下政府绩效信息使用的分析框架,再结合案例分析大数据技术对促进绩效信息使用的作用机理与效应,验证大数据技术对绩效信息使用质量和效益的影响。本文主要研究内容包括:导论部分梳理有关绩效信息使用的理论表达和实践指向,提出本文的研究目的和价值,设计研究思路和研究方法。第二章,通过对政府绩效信息使用的理论与实践分析,厘清政府绩效信息使用的价值、方式和影响因素。总结目前政府绩效管理实践中绩效信息使用存在问题与解决对策,为后续构建面向大数据的绩效信息使用机制提供启示和思路。第三章,为解决绩效信息使用客观性和科学性的问题,本部分尝试以大数据技术的视角分析绩效信息使用,侧重从大数据技术分析促进绩效信息使用过程中的技术和方法,并从绩效信息来源的使用和绩效信息结果的使用两个维度尝试构建政府绩效信息使用系统模型。第四章,以X市J区行政服务中心作为典型案例,深入剖析大数据技术应用于绩效信息来源使用中的主要方法、技术、流程和作用机理,以解决绩效信息客观性的问题。第五章,以X市财政综合信息系统为例,从决策者的宏观管理的视角出发,探讨如何利用大数据技术,促进财税业务的数据和绩效信息的使用,为政府部门提供决策支持分析,提升绩效信息使用科学性。结论部分是对全文进行总结性阐述,归纳文章的创新与不足,提出未来研究展望。本文研究结论如下:第一,从技术角度验证了跨学科研究绩效信息使用的可行性。通过尝试不同学科结合的分析思路,较好的验证了跨学科的技术分析和理论研究具有可行性。第二,从案例分析的视角考证了大数据应用于绩效信息使用的可操作性。透过典型案例本文验证了大数据技术下绩效信息使用的流程、方法和效果,增强了理论分析的说服力,也佐证了大数据技术在实践中具备较强的可操作性。第三,面向大数据的政府绩效信息使用分析框架具备解释力。在借鉴大数据工具和系统架构的基础上,本文构建了大数据技术下的政府绩效信息使用系统模型。该分析框架既符合当前大数据应用的技术实际,同时也能很好的将大数据工具和绩效信息研究客体有机衔接起来,具有较好的解释力。第四,本文验证了大数据技术能够提升绩效信息来源的质量,提高绩效信息的客观性。在绩效信息来源使用维度,案例分析验证了大数据的采集和预处理技术能够实现信息采集与预处理的自动化、实时化和多样化,提升绩效信息客观性。第五,大数据有助提升绩效信息结果使用质量和效益。在绩效信息结果使用维度,大数据的分布式计算和分析处理技术能够辅助决策支持系统,信息使用面向能够从微观管理转向决策支持,实现绩效信息使用的科学性,提高政府管理决策的质量。

周艳柳[9](2018)在《基于Hadoop的地理元语义对象时空数据模型构建方法研究》文中认为随着物联网技术和移动设备的迅猛发展和普及应用,时空数据规模急剧膨胀,如何对海量、多源异构的地理时空数据进行完整且高效地表达与管理迫在眉睫。常规的地理时空数据组织方法主要以点、线、面、体等要素对复杂地理实体进行表达,容易忽略地理实体的属性与语义之间的关联信息;同时,GIS多采用单机关系型数据库系统存储时空数据,其可扩展性与可靠性较差。因此,针对以上两个问题,本文将地理空间实体构成简化为最小逻辑单元---元语义对象,并结合Hadoop框架及其HBase列存储数据库、MapReduce并行运算模块,设计基于Hadoop的地理元语义对象时空数据模型,研究地理时空数据分布式存储与检索方法。论文主要对以下几个方面展开研究:(1)地理空间实体信息的对象化表达与封装方法。基于开源云平台Hadoop,并结合面向对象方法和语义约束模型将地理实体的构成分解为元语义对象(MSO)、组合语义对象(CSO)和聚合语义对象(ASO),对各类型语义对象的属性集、几何特征、方法集以及语义关系进行对象化表达,为地理时空数据组织提供理论方法支撑。(2)基于Hadoop的地理元语义对象时空数据模型构建方法。深入探讨元语义对象之间的空间度量关系、拓扑关系计算方法,确定元语义对象为时空信息最基本的组织单元,构建基于Hadoop的元语义时空数据模型(HSSTModel),通过模型表达元语义对象和时空对象的时间、空间以及属性信息。(3)Hadoop架构下地理时空数据组织方法。通过分析GIS时空数据特征,基于地理时空信息分布式存储框架,设计以元语义对象(MSO)为最小存储单元的HBase数据库物理存储结构,对时空对象存取方法作详细阐述,并构建VCP-Tree时空索引结构以提高时空数据查询效率。(4)HSSTModel模型在交通时空数据组织与查询中的应用。根据交通时空信息特点,利用基于Hadoop的元语义时空数据模型对交通时空数据进行组织与存储,最后通过实验验证VCP-Tree索引的数据存储与检索效率。本文通过构建基于Hadoop的地理元语义对象时空数据模型,并在此基础上研究时空信息分布式存储与检索方法,实现了大规模地理时空数据的有效组织与管理,为日益增长的复杂地理时空信息在计算机存储过程中出现的可扩展和可操作问题提供新的解决思路。

左尧,王少华,钟耳顺,蔡文文[10](2017)在《高性能GIS研究进展及评述》文中指出互联网技术的发展使地理信息技术得到了前所未有的发展和应用,地理信息计算呈现出计算速度快、运行效率高、应用多样化的发展特征。而随着计算机硬件性能飞速提升,传统的GIS数据处理方式并不能与之匹配,各种缺陷与弊端逐渐显现,亟待更高效的数据处理方式。目前,以并行集群计算技术和分布式网络技术为代表的高性能计算的出现,为这些问题的解决带来了新思路,并逐渐发展形成了新一代的多核并行高性能计算系统。当前,如何利用新型硬件体系结构带来的计算能力,研究新一代高性能GIS计算系统,解决现在所面临的时空数据密集和计算密集问题成为重要挑战。高性能计算是基于一组或几组计算机系统组成的集群,通过网络连接组成超级计算系统以加强数据处理、分析计算性能的一种技术。在实际应用中,逐渐形成Hadoop,Spark和Storm 3大主流分布式高性能计算系统,它们三者各具优缺点。本文从高性能GIS算法、并行GIS计算、内存计算和众核计算4个方面梳理、归纳总结了高性能GIS的技术体系,分析了每类高性能GIS技术特征,综合分析、评述了近年来高性能GIS的研究进展,并对高性能GIS未来发展进行展望,为更完备、高效的高性能GIS体系的建立、发展和应用提供参考。今后,并行GIS计算、高性能计算模式和分布式存储仍然是GIS技术领域发展的重要方向,通过高性能GIS系统可有效地解决时空数据密集、计算密集和网络通讯密集等问题,大大提升GIS地理分析效率。

二、大型GIS海量数据分布式组织与管理(论文开题报告)

(1)论文研究背景及目的

此处内容要求:

首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。

写法范例:

本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。

(2)本文研究方法

调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。

观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。

实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。

文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。

实证研究法:依据现有的科学理论和实践的需要提出设计。

定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。

定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。

跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。

功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。

模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。

三、大型GIS海量数据分布式组织与管理(论文提纲范文)

(1)分布式移动网络环境下大规模空间社交媒体数据快速增强现实可视化研究(论文提纲范文)

摘要
Abstract
第1章 绪论
    1.1 研究背景
        1.1.1 增强现实技术
        1.1.2 大数据特征
    1.2 研究现状综述
        1.2.1 户外增强现实技术
        1.2.2 增强现实地图研究
        1.2.3 相关研究进展分析
    1.3 研究内容与技术路线
        1.3.1 研究内容与关键问题
        1.3.2 研究思路与技术路线
        1.3.3 论文组织结构
第2章 空间社交媒体数据存储规范
    2.1 大规模空间社交媒体数据存储方案
        2.1.1 关系型空间数据存储方案
        2.1.2 分布式NoSQL数据存储
    2.2 空间社交媒体数据NoSQL表达
        2.2.1 空间数据的JSON表达
        2.2.2 社交媒体数据的空间描述
    2.3 典型空间社交媒体数据存储规范
        2.3.1 文本数据类型存储规范
        2.3.2 图像数据类型存储规范
        2.3.3 音频数据类型存储规范
        2.3.4 视频数据类型存储规范
        2.3.5 三维模型数据类型存储规范
第3章 基于稳态Z曲线的空间社交媒体数据分布式存储
    3.1 稳态Z曲线的编码构建
        3.1.1 分布式数据库分片键值选择
        3.1.2 空间数据划分的稳态Z曲线构建
    3.2 基于稳态Z曲线的常见空间查询
        3.2.1 K最近邻查询
        3.2.2 点线面空间查询
    3.3 基于稳态Z曲线的负载均衡划分方法
        3.3.1 负载均衡数据划分方法
        3.3.2 实验结果对比分析
第4章 移动增强现实前端可视化空间构建
    4.1 空间社交媒体可视化空间
        4.1.1 移动增强现实坐标系统
        4.1.2 移动增强现实前端可视化空间构建
        4.1.3 移动增强现实三层可视化空间
    4.2 基于卡尔曼滤波的球面三维注册
        4.2.1 空间社交媒体数据的球面投影
        4.2.2 基于卡尔曼滤波算法相机姿态修正
    4.3 大规模社交图片检索时空耦合算法
        4.3.1 基于图像自然特征的增强现实可视化空间
        4.3.2 社交图片搜索的时空耦合算法原理描述
        4.3.3 图像检索算法测试案例
第5章 空间社交媒体数据增强现实多级缓存机制
    5.1 增强现实多级缓存架构
        5.1.1 分布式高速读写与高并发访问问题
        5.1.2 增强现实多级缓存架构体系
    5.2 基于空间邻近性的增强现实缓存管理
        5.2.1 常见缓存管理策略问题分析
        5.2.2 基于空间邻近性的缓存预调度策略
        5.2.3 增强现实缓存策略试验与分析
    5.3 增强现实云端热点探测与缓存调度
        5.3.1 局部热点数据探测与缓存调度
        5.3.2 云端缓存命中率测试与分析
第6章 大规模空间社交媒体数据并行处理框架
    6.1 大数据时代的计算特征
        6.1.1 大数据技术
        6.1.2 云计算技术
        6.1.3 高性能计算
    6.2 大规模空间社交媒体数据并行计算方法
        6.2.1 并行计算算法代数假设
        6.2.2 并行计算算法代数定义
        6.2.3 并行计算算法代数运算谓词
    6.3 大规模空间社交媒体数据并行计算架构
        6.3.1 空间社交媒体数据并行计算框架
        6.3.2 计算任务主从并行调度模式
        6.3.3 空间社交媒体数据并行处理实例
第7章 原型系统设计与实现
    7.1 移动增强现实原型系统
        7.1.1 原型系统概述
        7.1.2 前后端架构设计
    7.2 原型系统空间界面交互设计
        7.2.1 增强现实人机交互设计
        7.2.2 空间社交媒体数据界面设计
    7.3 原型系统增强现实可视化测试
        7.3.1 增强现实可视化效果演示
        7.3.2 原型系统性能测试
第8章 结论与展望
    8.1 研究结论
    8.2 研究创新点
    8.3 前景展望
参考文献
已发表的研究成果
致谢

(2)滑坡实时监测预警系统关键技术及其应用研究(论文提纲范文)

摘要
Abstract
第1章 前言
    1.1 选题依据及研究意义
    1.2 国内外研究现状
        1.2.1 滑坡监测预警模型研究
        1.2.2 滑坡位移监测数据处理方法研究
        1.2.3 数据质量评价方法研究
        1.2.4 滑坡监测预警系统研究
        1.2.5 混合架构在监测预警领域中的应用研究
    1.3 主要存在的问题
    1.4 主要研究内容
        1.4.1 滑坡监测预警方法研究
        1.4.2 滑坡监测预警系统关键技术研究
        1.4.3 基于WebGL技术的三维数字地球的研究
        1.4.4 混合架构体系的滑坡监测预警系统研究
    1.5 研究路线
    1.6 本论文特色及创新点
    1.7 完成的主要工作
第2章 基于变形演化过程的滑坡预警技术
    2.1 概述
    2.2 滑坡变形演化过程的一般特征
    2.3 基于变形过程的滑坡预警模型
    2.4 滑坡变形演化阶段自动识别
        2.4.1 改进切线角自动求解方法
        2.4.1.1 改进切线角模型
        2.4.1.2 离散小波变换提取曲线特征
        2.4.2 常见监测曲线类型与识别
        2.4.2.1 平稳型(T11)
        2.4.2.2 稳定型(T21)
        2.4.2.3 震荡型(T22)
        2.4.2.4 递增型(T31)
        2.4.2.5 指数型(T32)
        2.4.2.6 突变型(T33)
    2.5 多设备联动预警机制
        2.5.1 监测设备分组
        2.5.2 监测设备可靠度动态评价体系TRIP
        2.5.3 预警结论可信度
        2.5.4 联动预警案例分析
    2.6 本章小结
第3章 滑坡监测数据自动处理方法
    3.1 异常数据自动处理
        3.1.1 监测数据过滤器
        3.1.2 异常数据处理方法
        3.1.2.1 粗差数据的处理
        3.1.2.2 雨量监测数据常见问题
    3.2 监测数据的拟合处理
        3.2.1 移动平均法
        3.2.2 最小二乘法
    3.3 数据处理方法适用范围研究
        3.3.1 数据消噪处理
        3.3.2 仪器误差处理
        3.3.3 滑坡失稳阶段的数据处理
    3.4 监测数据等时间间隔处理
        3.4.1 状态量数据
        3.4.2 累积量数据
    3.5 本章小结
第4章 滑坡监测数据实时集成与共享技术
    4.1 高可靠数据集成与共享技术
        4.1.1 高级消息队列协议(AMQP)
        4.1.2 消息队列遥测传输(MQTT)
        4.1.3 高并发下的高可靠数据分发与共享
    4.2 基于MQTT协议的多源异构监测数据实时集成技术
        4.2.1 两种数据集成技术
        4.2.1.1 基于ETL模式的批处理集成
        4.2.1.2 基于MQTT协议的流处理集成
        4.2.2 基于MQTT协议的数据集成体系
        4.2.2.1 数据流模型
        4.2.2.2 负载均衡中的会话保持
    4.3 海量数据存取优化方案
        4.3.1 分词技术
        4.3.2 倒排索引
        4.3.3 海量数据存取优化方案
    4.4 本章小结
第5章 基于策略的滑坡实时过程预警技术
    5.1 基于策略的预警模型计算框架
        5.1.1 预警计算流程
        5.1.2 预警模型管理
        5.1.3 通用模型计算框架研究
        5.1.4 预警等级求解器的设计与实现
        5.1.4.1 求解器计算流程
        5.1.4.2 多线程预警技术
        5.1.5 过程预警成果展示
    5.2 预警的发布与解除
        5.2.1 预警信息自动发布技术
        5.2.2 预警信息发送规则
        5.2.3 预警信息解除
    5.3 本章小结
第6章 滑坡综合数据一体化管理技术
    6.1 滑坡空间数据集成体系研究
        6.1.1 多源异构空间数据预处理
        6.1.2 空间数据库的选择
        6.1.3 空间数据服务平台
        6.1.4 空间数据集成体系
    6.2 基于WebGL技术的三维数字地球
        6.2.1 WebGL技术
        6.2.2 三维平台的选择
        6.2.3 三维模型高精度集成技术
        6.2.4 三维数字地球应用效果
    6.3 基于国标的视频设备集成体系
        6.3.1 数据传输协议
        6.3.2 视频监控统一管理平台
        6.3.2.1 平台架构设计
        6.3.2.2 视频设备编码规则
        6.3.2.3 统一视频平台的开发与应用
    6.4 天-空-地一体化数据管理体系
        6.4.1 空间数据
        6.4.2 属性数据
        6.4.3 非结构化数据
        6.4.4 一体化数据管理平台
    6.5 本章小结
第7章 基于混合架构体系的滑坡实时监测预警系统
    7.1 概述
    7.2 需求分析
    7.3 系统功能架构设计
    7.4 数据结构体系
    7.5 云服务基础平台设计
        7.5.1 SOA与 JWT
        7.5.2 系统架构
    7.6 混合架构体系
        7.6.1 B/S架构网页端
        7.6.1.1 系统演示主界面
        7.6.1.2 天-空-地一体化数据管理
        7.6.1.3 监测数据分析
        7.6.1.4 滑坡过程预警分析
        7.6.2 C/S架构客户端
        7.6.2.1 演示模式
        7.6.2.2 空间数据管理
        7.6.2.3 监测预警信息管理
        7.6.2.4 后台服务监控
        7.6.3 移动端App
        7.6.3.1 概述
        7.6.3.2 功能架构设计
        7.6.3.3 移动端开发相关技术
        7.6.3.4 主要功能
    7.7 本章小结
第8章 系统应用案例
    8.1 预警案例
    8.2 预警流程时间因素分析
    8.3 黑方台滑坡监测预警
        8.3.1 概述
        8.3.2 党川7号滑坡预警过程
    8.4 兴义龙井村9组岩质滑坡监测预警
        8.4.1 概述
        8.4.2 监测点布置
        8.4.3 系统应用
    8.5 本章小结
结论
致谢
参考文献
攻读学位期间取得学术成果
附录
    A.1 全文公式索引
    A.2 全文图索引
    A.3 全文表索引

(3)空间数据分布式存储与并行处理方法研究及其在林业领域的应用(论文提纲范文)

摘要
Abstract
1 绪论
    1.1 研究背景与意义
    1.2 国内外研究现状
        1.2.1 地理空间大数据时代的到来
        1.2.2 遥感影像分布式存储及并行处理研究现状
        1.2.2.1 遥感影像分布式存储研究现状
        1.2.2.2 遥感影像并行处理研究现状
        1.2.3 空间矢量数据分布式存储及并行处理研究现状
        1.2.3.1 空间矢量数据分布式存储研究现状
        1.2.3.2 空间矢量数据并行处理研究现状
        1.2.4 空间矢量数据索引研究现状
        1.2.5 当前研究不足之处
    1.3 论文研究内容与技术路线
        1.3.1 研究内容
        1.3.2 技术路线
    1.4 论文组织结构
2 相关技术介绍
    2.1 分布式文件系统
        2.1.1 HDFS
        2.1.2 Alluxio
    2.2 并行计算技术
        2.2.1 MapReduce
        2.2.2 Spark
    2.3 本章小结
3 遥感影像分布式存储模型
    3.1 遥感影像特性分析
        3.1.1 影像数据模型
        3.1.2 遥感影像数据访问
    3.2 遥感影像分布式存储模型的设计与实现
        3.2.1 HDFS小文件问题
        3.2.2 键值对容器
        3.2.3 索引后的键值对容器
        3.2.4 影像数据块编号
        3.2.4.1 矩形块划分编号
        3.2.4.2 行划分编号
        3.2.4.3 列划分编号
        3.2.5 遥感影像分布式存储模型-MapImge
        3.2.6 模型存取接口
    3.3 实验与分析
        3.3.1 实验环境与实验数据
        3.3.2 实验结果与分析
    3.4 本章小结
4 空间矢量数据分布式存储模型
    4.1 矢量数据模型
        4.1.1 空间关系型矢量数据
        4.1.2 面向对象型矢量数据
        4.1.3 矢量瓦片金字塔
        4.1.4 矢量瓦片格式-mvt
    4.2 矢量数据分布式存储模型的设计与实现
        4.2.1 矢量空间索引
        4.2.2 内存键值对容器
        4.2.3 矢量数据分布式存储模型-VectorTileStore
        4.2.4 模型存取接口
    4.3 实验与分析
        4.3.1 实验环境与实验数据
        4.3.2 实验结果与分析
    4.4 本章小结
5 空间数据并行处理
    5.1 遥感影像金字塔并行构建及加载
        5.1.1 数据预处理
        5.1.2 并行构建及加载流程
        5.1.3 实验与分析
    5.2 矢量瓦片金字塔并行构建及加载
        5.2.1 数据预处理
        5.2.2 并行构建及加载流程
        5.2.3 实验与分析
    5.3 存储模型并行输入格式
        5.3.1 InputFormat抽象类
        5.3.2 MapImage并行输入格式
        5.3.3 VectorTileStore并行输入格式
        5.3.4 实验与分析
    5.4 矢量空间并行查询
        5.4.1 空间查询
        5.4.2 并行查询流程
        5.4.2.1 第一层过滤
        5.4.2.2 第二层过滤
        5.4.2.3 空间连接并行查询
        5.4.3 实验与分析
    5.5 遥感影像并行镶嵌
        5.5.1 数据预处理
        5.5.2 并行镶嵌流程
        5.5.3 实验与分析
    5.6 空间数据并行处理接口
    5.7 本章小结
6 植被覆盖度遥感并行反演
    6.1 研究区域与数据
    6.2 影像分布式存储
    6.3 数据预处理与植被覆盖度反演模型
        6.3.1 数据预处理
        6.3.2 植被覆盖度反演模型
    6.4 植被覆盖度并行反演流程
    6.5 实验与分析
        6.5.1 实验环境与实验数据
        6.5.2 实验结果与分析
    6.6 本章小结
结论
参考文献
攻读学位期间发表的学术论文
致谢

(4)基于网格索引的高速铁路勘测数据管理研究(论文提纲范文)

摘要
abstract
第1章 绪论
    1.1 研究背景与意义
    1.2 国内外研究现状及发展趋势
        1.2.1 空间数据索引技术研究现状
        1.2.2 空间数据的存储与管理现状
    1.3 研究内容
    1.4 章节安排
    1.5 本章小结
第2章 空间数据及分布式相关技术
    2.1 空间数据存储
        2.1.1 传统空间数据库
        2.1.2 数据库式的空间数据分布式存储
        2.1.3 分布式存储—CEPH对象存储
    2.2 空间数据检索算法
        2.2.1 空间数据
        2.2.2 空间数据索引算法
    2.3 分布式相关技术
        2.3.1 Hadoop分布式文件系统
        2.3.2 MapReduce并行计算框架
        2.3.3 分布式数据库HBase
    2.4 本章小结
第3章 基于网格索引的高速铁路勘测数据检索机制
    3.1 Hilbert算法
        3.1.1 Hilbert空间曲线
        3.1.2 空间对象Hilbert编码值的计算方法
    3.2 高速铁路勘测数据检索机制
        3.2.1 高速铁路勘测数据索引表设计
        3.2.2 高速铁路勘测数据检索算法实现
        3.2.3 勘测数据索引并行化构建
    3.3 实验与分析
        3.3.1 实验环境
        3.3.2 测试数据
        3.3.3 实验测试与性能分析
    3.4 本章小结
第4章 高速铁路勘测项目管理系统设计
    4.1 高速铁路勘测项目管理系统需求分析
        4.1.1 系统功能需求分析
        4.1.2 系统用例
        4.1.3 高速铁路勘测项目规范
        4.1.4 高速铁路勘测数据存储需求
    4.2 系统设计
        4.2.1 系统描述
        4.2.2 系统架构设计
        4.2.3 功能结构设计
        4.2.4 存储设计
    4.3 本章小结
第5章 高速铁路勘测项目管理系统实现
    5.1 系统开发以及运行环境
    5.2 系统实现
        5.2.1 GIS地图查看模块
        5.2.2 段位管理模块
        5.2.3 项目管理模块
    5.3 系统验证
    5.4 本章小结
结论
致谢
参考文献
攻读硕士期间发表的论文及科研成果

(5)大数据环境下的地质灾害易发性评价研究(论文提纲范文)

摘要
abstract
第1章 绪论
    1.1 研究背景与研究意义
        1.1.1 研究背景
        1.1.2 研究意义
    1.2 国内外研究现状分析
        1.2.1 地质灾害信息化建设
        1.2.2 地质灾害建模方法
        1.2.3 空间大数据计算
        1.2.4 空间并行计算
        1.2.5 数据挖掘并行计算
    1.3 现有研究存在主要问题分析
        1.3.1 地质灾害大数据快速检索
        1.3.2 地质灾害易发空间区域的自动探测
        1.3.3 大数据环境下地质灾害评价算法的高性能实现
    1.4 论文主要研究内容与结构组织
        1.4.1 主要研究内容
        1.4.2 论文组织结构
    1.5 本章小结
第2章 地质灾害大数据的时空检索与存储设计
    2.1 地质灾害大数据应用分析基础
        2.1.1 地质灾害大数据的特点
        2.1.2 地质灾害大数据应用分析系统的基本需求
    2.2 地质灾害大数据的时空编码方式
        2.2.1 空间数据编码基础
        2.2.2 基于Geohash改进的地质数据时空编码方式
    2.3 地质灾害大数据的时空索引方法
        2.3.1 分布式大数据时空索引基础
        2.3.2 地质灾害大数据的时空索引构建
    2.4 基于Hbase的地质灾害大数据分布式存储设计
    2.5 本章小结
第3章 基于历史数据的地质灾害易发空间区域自动探测
    3.1 地质灾害易发性的基本概念与影响因素
        3.1.1 地质灾害易发性的基本概念
        3.1.2 地质灾害易发区的主要影响因素
        3.1.3 现有地质灾害易发区探测模型的局限性
    3.2 历史地质灾害易发空间区域自动探测的基本思路
    3.3 基于时空聚类与凸包构造的地质灾害易发区域自动探测
    3.4 实验与分析
        3.4.1 实验区域概况
        3.4.2 实验结果分析
    3.5 本章小结
第4章 融合多源时空数据的地质灾害易发性定量评价
    4.1 现有地质灾害易发性评价模型局限性分析
    4.2 融合多源时空数据的地质灾害易发性评价思路
    4.3 基于时空关联规则挖掘的地质灾害易发性定量评价
        4.3.1 基于空间叠置的空间关联规则挖掘方法
        4.3.2 基于MapReduce的空间叠置算法高性能实现
    4.4 实验与分析
        4.4.1 研究区分析
        4.4.2 实验结果对比分析
        4.4.3 实验性能分析
    4.5 本章小结
第5章 地质灾害易发性评价原型系统设计与实现
    5.1 地质灾害应用分析系统的业务需求分析
    5.2 地质灾害易发性评价原型系统架构设计
    5.3 地质灾害易发性易发性评价原型系统实现
    5.4 实验展示与结果分析
        5.4.1 环境配置介绍
        5.4.2 实验结果分析
    5.5 本章小结
第6章 总结与展望
    6.1 全文总结
        6.1.1 论文主要工作总结
        6.1.2 论文的创新点
    6.2 研究展望
致谢
参考文献

(6)面向矢量瓦片的高效空间数据处理技术的研究与实现(论文提纲范文)

摘要
ABSTRACT
缩略词
第一章 绪论
    1.1 课题背景
        1.1.1 空间数据处理发展现状
        1.1.2 空间数据高效处理必要性
    1.2 选题国内外研究现状
        1.2.1 国外研究现状
        1.2.2 国内研究现状
    1.3 论文研究目标与内容
        1.3.1 论文研究目标
        1.3.2 矢量数据切片策略研究
        1.3.3 矢量数据高效并行切图技术研究
    1.4 论文结构安排
第二章 矢量数据切片策略研究
    2.1 矢量数据的存储模型分析
        2.1.1 矢量数据模型原理分析
        2.1.2 矢量数据的拓扑模型
        2.1.3 矢量数据的非拓扑模型
    2.2 矢量要素处理策略研究
        2.2.1 点状要素的处理策略
        2.2.2 线状要素的处理策略
        2.2.3 面状要素的处理策略
    2.3 本章小结
第三章 矢量数据高效并行处理技术的研究
    3.1 矢量瓦片高性能存储模型研究
        3.1.1 矢量瓦片逻辑模型研究
        3.1.2 矢量瓦片物理模型研究
        3.1.3 HBase存储模型研究
    3.2 矢量数据并行处理模型研究
        3.2.1 矢量数据分布式存储模型研究
        3.2.2 矢量瓦片列式数据库存储模型研究
        3.2.3 矢量数据并行切图模型研究
    3.3 矢量瓦片并行处理支撑技术研究
        3.3.1 传统并行处理能力研究
        3.3.2 分布式并行计算处理方法研究
        3.3.3 矢量瓦片并行处理架构研究
    3.4 本章小结
第四章 矢量瓦片高效处理服务的设计与实现
    4.1 总体设计
    4.2 数据模型设计
        4.2.1 矢量数据分布式存储模型设计
        4.2.2 矢量瓦片的高性能存储模型设计
    4.3 矢量数据并行处理模型设计
        4.3.1 矢量数据并行切片设计思路
        4.3.2 基于并行的单图幅切片设计
        4.3.3 基于并行的切图任务划分设计
    4.4 矢量瓦片处理服务实现
        4.4.1 高效并行切图任务调度实现
        4.4.2 高效并行切图处理任务实现
        4.4.3 矢量瓦片落地存储实现
    4.5 本章小结
第五章 矢量数据高效切图实验结果与分析
    5.1 实验环境
    5.2 并行切图实验及结果对比
        5.2.1 传统并行切图实验
        5.2.2 多机并行切图实验
    5.3 本章小结
第六章 总结与展望
    6.1 论文工作总结
    6.2 研究方向展望
参考文献
致谢
在学期间发表的学术论文及取得的研究成果

(7)基于Geotrellis的遥感影像数据存储与检索模型设计与实现(论文提纲范文)

摘要
Abstract
第1章 绪论
    1.1 论文的研究背景与意义
    1.2 国内外研究现状
    1.3 论文的总体框架
    1.4 论文结构
第2章 遥感数据存储与检索关键技术
    2.1 大数据技术
        2.1.1 Spark
        2.1.2 Accumulo数据仓库
        2.1.3 HBase分布式数据库
    2.2 Geotrellis地理数据处理框架
        2.2.1 Geotrellis
        2.2.2 瓦片模型
        2.2.3 RasterFrame
        2.2.4 ETL
    2.3 影像金字塔模型
        2.3.1 影像切分技术
        2.3.2 空间索引技术
        2.3.3 影像金字塔模型
    2.4 Web技术
        2.4.1 Akka
        2.4.2 Geowebcache
第3章 基于Geotrellis的遥感影像存储设计
    3.1 设计目的与原则
    3.2 需求分析
    3.3 整体框架
    3.4 存储模块设计
        3.4.1 遥感数据元数据的获取
        3.4.2 遥感数据的转换操作
        3.4.3 遥感数据快速入库模块设计
        3.4.4 遥感影像金字塔构建
第4章 基于Geotrellis的遥感影像检索设计
    4.1 需求分析
    4.2 遥感影像索引设计
        4.2.1 概要设计
        4.2.2 详细设计
        4.2.3 数据的读入或写入过程
第5章 遥感影像可视化
    5.1 使用geotrellis将影像发布为TMS服务
    5.2 Cesium加载瓦片数据
    5.3 使用GeoWebCache发布WMS服务
    5.4 使用Akka发布WMS服务
第6章 实验实现及测试
    6.1 实验环境
        6.1.1 硬件环境
        6.1.2 软件环境
    6.2 实验数据
    6.3 实验准备
        6.3.1 遥感影像分块
        6.3.2 .ETL参数的配置
        6.3.3 构建影像金字塔
第7章 遥感数据存储检索方法的效率对比与结果分析
    7.1 Arc GIS Server与 Geotrellis构建影像金字塔的效率对比
    7.2 不同空间索引技术构建影像金字塔时的效率对比
    7.3 不同文件系统或数据库影像金字塔入库效率对比
    7.4 不同索引技术瓦片数据查询效率对比
第8章 总结与展望
    8.1 总结
    8.2 展望
参考文献
攻硕期间取得的研究成果
致谢

(8)基于大数据技术的政府绩效信息使用研究(论文提纲范文)

摘要
Abstract
第一章 导论
    第一节 研究背景和意义
        一、研究背景
        二、研究意义
    第二节 文献综述
        一、政府绩效信息使用研究综述
        二、大数据研究综述
        三、面向大数据的政府绩效管理研究综述
        四、研究述评
    第三节 核心概念界定
        一、政府绩效管理
        二、政府绩效信息
        三、政府绩效信息使用
        四、大数据
    第四节 研究内容、方法与技术路线
        一、研究思路与研究内容
        二、研究方法
        三、技术路线图
第二章 政府绩效信息使用的理论与实践
    第一节 政府绩效信息使用的理论分析
        一、政府绩效信息的性质与价值
        二、政府绩效信息的使用方式
        三、政府绩效信息使用的影响因素
    第二节 政府绩效信息使用的现状分析
        一、绩效信息及其使用存在的问题
        二、改进绩效信息使用的政策建议
第三章 基于大数据的政府绩效信息使用模式构建
    第一节 大数据与政府绩效信息的关联衔接
        一、大数据在政府绩效管理环节中的作用
        二、大数据与绩效信息使用的关联衔接
    第二节 基于大数据的政府绩效信息使用的分析框架
        一、基于大数据的政府绩效信息使用分析框架设计思路
        二、基于大数据技术的政府绩效信息使用系统模型研究
        三、构建基于大数据技术的政府绩效信息使用系统模型的必要性
第四章 基于大数据的绩效信息来源的使用—以X市J区行政服务中心为例
    第一节 基于大数据的绩效信息来源使用的设计思路
        一、政府绩效信息来源使用的理论与实践分析
        二、基于大数据技术的绩效信息来源使用的设计思路
    第二节 面向大数据的行政服务中心绩效信息来源使用的作用机理
        一、X市J区行政服务中心绩效管理系统的设计分析
        二、大数据采集技术提升绩效信息客观性的分析
        三、大数据清洗技术提升绩效信息准确性的分析
        四、大数据存储技术提升绩效信息汇总时效性的分析
    第三节 行政服务中心绩效信息来源的使用效应分析
        一、基于大数据技术的绩效信息管理系统建设成效分析
        二、行政服务中心绩效信息管理系统未来展望
第五章 基于大数据的绩效信息结果使用——以X市财政大数据平台为例
    第一节 基于大数据的绩效信息结果使用设计思路
        一、绩效信息结果使用研究的不同视角
        二、大数据思维下绩效信息结果使用的新思路
        三、基于大数据技术的绩效信息结果使用设计思路
    第二节 面向大数据的财政绩效信息结果使用作用机理
        一、基于大数据技术的财政决策支持系统的框架模型
        二、财政绩效信息结果在决策支持中的应用分析
    第三节 面向大数据的财政绩效信息结果使用效应分析
        一、面向大数据的财政决策支持系统成效分析
        二、财政决策支持系统未来展望
第六章 结语
    第一节 研究结论与创新
        一、研究结论
        二、研究创新之处
    第二节 研究不足与展望
        一、研究不足
        二、研究展望
参考文献
    一、英文文献
    二、中文文献
攻读学位期间的学术成果
致谢

(9)基于Hadoop的地理元语义对象时空数据模型构建方法研究(论文提纲范文)

摘要
Abstract
第1章 绪论
    1.1 研究背景
    1.2 国内外研究现状
        1.2.1 国外研究现状
        1.2.2 国内研究现状
    1.3 研究目的和意义
    1.4 论文研究内容及技术路线
        1.4.1 研究内容
        1.4.2 技术路线
第2章 Hadoop数据存储原理及地理实体对象化表达方法-9 -
    2.1 Hadoop数据存储原理
        2.1.1 分布式文件系统HDFS
        2.1.2 并行运算模块MapReduce
        2.1.3 列式存储数据库Hbase
    2.2 基于Hadoop的地理实体对象化表达
        2.2.1 地理实体特征描述
        2.2.2 元语义对象表达
        2.2.3 组合语义对象表达
        2.2.4 聚合语义对象表达
    2.3 本章小结
第3章 基于Hadoop的地理元语义对象时空数据模型构建方法
    3.1 语义对象空间表达
        3.1.1 元语义对象标识
        3.1.2 语义对象数据分类
    3.2 语义对象空间关系计算方法
        3.2.1 空间度量关系计算
        3.2.2 对象拓扑关系计算
    3.3 基于Hadoop的元语义对象时空数据模型构建
        3.3.1 HSST_Model概念模型
        3.3.2 HSST_Model逻辑模型
    3.4 本章小结
第4章 基于Hadoop的地理时空数据组织方法
    4.1 基于Hadoop的时空数据组织过程
    4.2 时空数据分布式存储方法
        4.2.1 时空数据分布式存储架构
        4.2.2 地理时空信息HBase数据库物理结构设计
        4.2.3 时空对象存取过程
    4.3 Hadoop架构下时空数据索引设计
        4.3.1 VCP-Tree时空索引方法
        4.3.2 时空数据查询方法
    4.4 本章小结
第5章 基于HSST_Model的交通时空数据组织与查询
    5.1 基于HSST_Model的交通时空数据组织方法
        5.1.1 基于HSST_Model的交通时空对象组织
        5.1.2 交通时空数据分布式存储结构
    5.2 Hadoop集群构建
        5.2.1 Hadoop平台环境配置
        5.2.2 交通时空数据入库流程
    5.3 交通时空数据并行查询实现方法
        5.3.1 并行查询算法实现
        5.3.2 VCP-Tree索引性能测试
    5.4 本章小结
第6章 总结与后续研究工作
    6.1 论文总结
    6.2 后续研究工作
参考文献
个人简介
致谢

(10)高性能GIS研究进展及评述(论文提纲范文)

1 引言
2 研究现状
    2.1 高性能GIS算法
        (1)栅格数据并行计算
        (2)矢量数据并行计算
    2.2 并行GIS计算
        (1)共享存储模型
        (2)消息传递模型
        (3)流处理器模型
    2.3 高性能内存计算
    2.4 众核计算
3 评述与讨论
4 展望

四、大型GIS海量数据分布式组织与管理(论文参考文献)

  • [1]分布式移动网络环境下大规模空间社交媒体数据快速增强现实可视化研究[D]. 张帅. 南京大学, 2020(10)
  • [2]滑坡实时监测预警系统关键技术及其应用研究[D]. 何朝阳. 成都理工大学, 2020(04)
  • [3]空间数据分布式存储与并行处理方法研究及其在林业领域的应用[D]. 聂沛. 东北林业大学, 2020(01)
  • [4]基于网格索引的高速铁路勘测数据管理研究[D]. 崔喆. 西南交通大学, 2019(03)
  • [5]大数据环境下的地质灾害易发性评价研究[D]. 董元. 中国地质大学, 2019(03)
  • [6]面向矢量瓦片的高效空间数据处理技术的研究与实现[D]. 李瀚. 中国电子科技集团公司电子科学研究院, 2019(02)
  • [7]基于Geotrellis的遥感影像数据存储与检索模型设计与实现[D]. 李聪仁. 云南师范大学, 2018(02)
  • [8]基于大数据技术的政府绩效信息使用研究[D]. 李富贵. 厦门大学, 2018(07)
  • [9]基于Hadoop的地理元语义对象时空数据模型构建方法研究[D]. 周艳柳. 桂林理工大学, 2018(05)
  • [10]高性能GIS研究进展及评述[J]. 左尧,王少华,钟耳顺,蔡文文. 地球信息科学学报, 2017(04)

标签:;  ;  ;  ;  ;  

大规模GIS海量数据的分布式组织与管理
下载Doc文档

猜你喜欢