一、关系数据库中传统集合运算的实现(论文文献综述)
李翔[1](2021)在《支持复合条件查询的位置信息检索系统的设计与实现》文中认为位置信息检索系统能够对空间中地理实体的空间几何拓扑信息和实体的属性信息等进行特定数据分析、处理和结果反馈。现有的位置信息检索系统普遍缺乏进行多个复合条件查询的能力。现有系统通常采用单一数据源作为空间查询基础,数据丰富度不足以支撑复合条件查询。此外,空间数据复杂的时空特性、多维性和海量数据等特点,增加了系统开发和维护难度,使得复合条件查询往往只应用于特定领域以减少系统复杂度。更主要的,复合条件查询涉及大量复杂的空间计算,当复合条件和空间数据量增多时,现有空间索引无法从全局视角对查询进行优化,导致系统性能达不到使用要求。因此,研究一种性能优异且能够满足广泛查询需求的支持复合条件查询的位置信息检索系统是必要的。本文的主要设计与实现工作如下:(1)本文设计出一种能够满足多种行业需求的复合条件查询规则,使用地理实体自身的属性进行筛选,并利用与空间中其他地理实体的空间拓扑关系和数量关系进行限制。对于查询性能考虑,针对不同数据特点,灵活设置数据索引和存储方式。其次,将复合条件查询进行步骤分解,并运用动态调整机制,使后续步骤的执行策略能够根据前续结果灵活调整,以减少查询整体执行时间。特别的,空间关系计算阶段根据前续结果有三种不同的计算策略,能够最大程度的减少空间计算的总次数,弥补了现有空间索引的不足。最后,以30万条POI数据为基础,针对不同阶段的优化工作进行了性能比较,复合条件查询性能有了极大的提升,验证了设计的有效性。(2)以上述复合条件查询为核心,通过中间件和多种软件框架实现了位置信息检索系统,涵盖组件化前端、数据ETL任务及管理、复合条件查询、用户及权限管理、其他地图相关功能等。其中,针对地理数据爬取,设计并实现了 GeoThreadPool线程池,能够自动对爬取区域进行分解并能根据数据源的请求接口特点,灵活调整数据爬取的线程数量和爬取频率。最后对系统在功能及性能方面进行了测试,测试结果验证了功能的有效性和可靠性,能够满足系统设计需求。
陈嘉熳[2](2021)在《基于区块链的跨域数据共享技术研究》文中进行了进一步梳理传统数据管理方式是每个管理域独自管理自己管辖区内的数据,不利于如今大数据时代的信息共享,跨管理域数据共享变成一个迫切需求。传统的数据共享需要第三方的机构,统一管理数据、维护数据,这种模式存在一个问题,需要参与数据共享的数据提供方绝对的信任第三方数据管理机构是可靠的,遗憾的是,数据提供方并不能完全信任第三方机构,使得数据提供方缺少数据共享的主观能动性,阻碍了数据共享的进一步发展。为了解决上述传统数据共享模式的存在的问题,本文提出利用区块链去中心化、数据不可篡改的特性,来构建一种新型的去中心化的跨管理域数据共享系统,主要工作如下:(1)为了实现跨管理域的数据共享,本文针对跨管理域数据共享过程中,数据命名不统一问题,从提高数据访问效率出发,提出两种解决方案。针对小规模数据共享,提出小规模数据统一命名模型(Unified Namin g Model for Small-scale Data,UNSSD),在该模型中提出小规模数据统一命名(Small-scale Data Unified Name,SDUN)算法,解决小规模数据共享过程中数据命名不统一问题;针对大规模数据,提出大规模数据统一命名模型(Unified Naming Model for Large-scale Data,UN LSD),该模型结合Word2vec和知识图谱,解决大规模数据共享过程中数据命名不统一问题。最后对两种模型进行实验,以验证模型对数据统一命名的效果。(2)基于区块链存储数据时,针对小规模数据,设计了基于Merkle DAG和并查集的新型数据结构即联合查询默克尔有向无环图(Union Find-Mer kle DAG);针对大规模数据,提出基于区块链和分布式文件系统的数据存储方式。设计三种智能并将合约部署到区块链中,实现数据在区块链中的智能存储、访问和身份验证。(3)设计一个跨管理域数据共享系统,结合(1)和(2)中提到的模型和数据存储结构,为用户提供高效、安全的跨管理域数据共享。实验结果表明,本文所设计的跨管理域数据共享系统及数据统一命名模型可实现不同管理域在没有第三方管理中心的管理和调度下,高效、安全的数据共享。
何东升[3](2021)在《基于图神经网络的数据库查询方法优化与实现》文中研究表明随着互联网技术的发展,数据呈现井喷的趋势,大数据成为信息时代的主旋律。对于数据库领域而言,随之面临的难题就是如何有效的组织和管理数据。为了满足存储的需求,不断催生了许多新型架构的数据库,但是对于查询性能的优化还未能取得突破性的发展。如何提升数据库查询执行性能,一直是数据库领域的重要研究方向,传统数据库查询优化方法已经无法胜任当前大规模的数据量以及新型架构的数据库。得益于人工智能技术的成熟发展,利用深度学习强大的学习能力,可以有效的解决诸多难题。人工智能技术和数据库融合也成为当前发展的重要方向之一,有不少研究也取得了不错的进展,但依然还面临巨大的挑战。针对查询优化中未能有效利用数据分布特征及关联关系,提出了一种基于图神经网络的数据库优化方法,有效的利用图神经网络对于图结构数据的特征提取能力,分析查询计划树的结构特征以及数据数据关联特征,主要算法包括数据基数估计GCE(GNN Based Cost Estimation)和连接顺序优化算法RGOS(Reinforcement-learning and GNN Based Join Order Selection)。其中基数估计算法主要利用Tree-LSTM(Long Short-Term Memory)树型图神经网络提取查询计划树的结构特征,并使用图卷积网络提取各个数据列的关联关系及连接的拓扑关系,通过对大量历史数据的学习提升查询准确率,为物理优化阶段提供更可靠的评价依据。连顺序优化主要利用图卷积算法提取查询特征和连接顺序特征,并利用强化学习算法感知数据库真实环境,以真实反馈来不断挑战和优化模型,从而提升连接顺序决策的效果。最终本文将上述两个优化算法应用到开源分布式关系数据库TiDB中。实验结果表明,基数估计算法GCE相较于TiDB原始的基数估计算法,准确率提升12倍左右;同时连接优化算法RGOS,能够提升TiDB平均查询性能40%。
孙辰昊[4](2020)在《基于大数据分析的输电线路系统故障时空预测方法的研究》文中提出为减小潜在输电线路系统故障对电力供应安全的影响,需要对故障进行有效的监测与防范。考虑到在现实中能够投入到故障监测和防范中的人力物力有限,难以实现对现有输电线路系统全方位、全时段的覆盖。因此,应该将有限的人力物力用于对系统中具有较高故障风险的位置及时段进行重点监测和防范。由于故障存在明显的时间和空间分布规律,故通过大数据分析技术对这些规律的挖掘可以实现对故障未来时空分布的预测。得益于此,故障的应对处理工作能够获得更充足的反应与准备时间,面向不同类型故障的针对性应对处理措施也可以得到更合理的规划及统筹。综合来看,实现对故障未来时空分布的预测对确保输电线路系统的安全稳定运行具有十分重要的意义。为实现在故障发生前一小时、一天甚至一周的长期预测,本文构建了一种故障时空分布预测模型。基于包含环境状态信息的故障记录,通过构建的预测模型能够从中挖掘出环境状态与系统故障之间潜在的关联规则。利用这些关联规则,预测模型能够基于系统各个空间位置在未来不同时段中的环境状态信息,预测出其中具有高故障风险的空间位置及时段,即故障的未来时空分布。本文的主要工作如下:1)针对传统关联规则挖掘模型在分析中未考虑出现频率较低的环境元素和故障发生较少的时段这一问题,提出了计及罕见变量的关联规则挖掘模型,能够准确挖掘出输入数据中的高风险低概率变量并提升预测的准确度。依据故障在各个时段内的分布,设计了五种条件重要度诊断标准阈值设定方法,从而在从输入数据中挖掘罕见变量时能够纳入故障罕见时段的影响;依据各个环境特征中罕见环境元素的分布,改进了五种传统形式的重要度诊断标准得分计算方法,从而能够在继续挖掘罕见变量中的高风险低概率变量时计及罕见环境元素的影响。最后,基于中部某省系统故障记录的算例结果验证了所提出预测模型的相应优势。2)现有输入数据相对权重的计算方法存在权重衡量方式过于简单、未计及故障在不同时段中分布不均衡的影响以及方法参数没有在应用过程中调整优化这三个问题。为此,构建了计及罕见变量的动态关联规则挖掘模型,能够更加准确地衡量输入数据的相对权重并进一步改善预测的效果。提出了用于相对权重计算的双重风险指数计算模型,直接基于不同环境元素与故障之间不同的关联程度衡量数据权重,并同时考虑了不同时段中不同的故障分布,能够从这两个维度对输入数据的权重进行综合衡量;设计了一套参数自适应动态调节模型,依据前一轮预测中预测结果与实际情况的比较对双重风险指数计算模型的参数进行自动优化,能够改善权重计算的准确性并提高下一轮预测的准确度。最后,基于南部某省省会城市故障记录的算例结果表明:所提出模型的预测性能得到了进一步地加强。3)现有预测方法一般采用相同的模型处理不同类型的输入数据,没有计及不同类型数据的特性。为此,针对离散特征和连续特征这两类数据,提出了模糊动态条件关联规则挖掘模型,考虑了各类型数据的特性并更进一步提高了预测的精确度。首先构建了集成式专家模型,基于集成式学习原理将计及罕见变量的动态条件关联规则挖掘模型和模糊推理系统相结合,从而将离散特征和连续特征分别基于不同的模型进行分析,能够发挥出不同模型各自的优势。然后对传统模糊推理系统进行了两点改进,分别为采用了层次模糊推理结构和设计了基于概率模糊风险的隶属度函数,从而能够减小运算复杂度并改善连续特征的处理效果。最后,基于南部某省系统故障记录的算例结果证明:所提出模型的预测效果得到了更进一步地改善。此外,还通过与其他预测模型的比较对所提出模型的特点和适用场景进行了汇总和讨论。4)为提升所构建预测模型在实际应用中的可行性和实用性,分别对模型在实际预测过程中可能产生的不确定度,以及各个类型故障的预测不确定度对整体预测效果的影响程度进行了分析。一方面,探讨了现实应用中常见的三种不确定度对模型的影响。基于中部某省系统故障记录的算例结果显示:当考虑这些不确定度时,模型在现实应用中的预测结果将更为可信,并可为减小这些不确定度提供参考。另一方面,在分析了各个类型故障的预测不确定度之余,进一步衡量了这些预测不确定度对整体故障预测不确定度的影响大小。基于南部某省系统故障记录的算例结果显示:从两个维度对不同类型故障的预测效果所进行的评估更加准确可信,并有助于更有针对性地改进面向不同故障类型的数据采集和检测工作。
李梦男[5](2020)在《基于位图压缩技术的关联规则挖掘算法设计及应用研究》文中指出当前数据技术的发展依然是热点,技术的进步使得我们从各方面积累数据集,数据挖掘技术是我们从数据中获取信息的重要手段,面对急剧增长的数据,如何提高数据挖掘的效率并高效的应用于不同领域依然是我们关注的热点。关联规则挖掘算法可以从数据集中发现随机数据之间的潜在联系,是基础的数据分析功能之一。作为数据挖掘的经典算法,Apriori算法因其挖掘频繁项集时需要多次遍历数据库,同时缺乏合适的剪枝策略,会产生过多的候选项集,导致算法效率不高、内存负载较大等问题。基于此,许多学者提出了对Apriori算法的各类改进方法,其中基于位图的MBSA(Map-based Bitset Association Rule)算法,在遍历一次数据库后,将数据映射到位图中,利用位图的逻辑运算实现连接操作,具有较高的挖掘效率。在将基于位图算法应用与实际数据时,发现将一些特定的数据转为位图后,因为数据自身的特点,会产生大量的0值,并在实际的位运算存储中造成空间的大量占用。在位图映射的表示中“1”代表该项出现,“0”值代表该项未出现,而“0”值仅在和“1”值执行连接步的位运算时有意义,大量0值之间的运算其实是毫无意义的,因此会降低算法在空间和时间上的效率。基于此,本文提出一种基于压缩位图的关联规则挖掘算法,该算法只考虑位图中“1”值(本文称为有效值)的存储及运算,采用数组的方式存储有效值的位置索引,实现了对位图的简单压缩,从而节省了存储空间。基于新的存储方式,本文重新设计了连接算法,通过使用数组的交集运算实现连接操作,同时采用更优秀的交集策略,有效节约了运算时间。交集运算得到的数组即为新候选项集的存储数组,新数组的大小即为新项集的支持度。由于传统的位图的算法在连接步中,未利用合适的方法剪枝频繁项集,项集之间的多次组合会产生数量庞大的候选项集,降低了算法效率。因此,本文在生成候选项集时,通过优化的剪枝策略,剔除掉无用的候选项集,提高运算效率。虽然基于数组的交集运算的效率不如位运算,但由于对数据进行了压缩,减少了数据的数目及运算量,从算法的整体性能上来看,反而提高了效率。如果有效值的占比低于1/16,基于有效值存储方式对应的存储容量就会比位图小。由于本文使用简单的数据压缩方式,有效值数量的多少会对算法效率造成影响,因此使用生成数据和实际数据对两种算法做对比试验,对比各自在时间和空间上的性能。在对实际数据的应用中,我们发现一些超市数据,在转换位图存储后有效值“1”的占比非常低,位图分布比较稀疏。本文提出的算法比传统的位图算法在时间和空间上具有更好的性能。因此,本文提出的算法在稀疏数据集的关联规则挖掘中具有更高的实用价值。
李志单[6](2020)在《云存储中基于属性加密的数据访问控制和隐私保护研究》文中提出云计算基于互联网可以为各类用户提供便捷的数据存储、数据计算、数据共享等便捷式服务。以云服务商提供的数据共享服务为例,个体用户或企业为实现数据的共享将数据存储到公有云等半可信云服务平台上从而减轻本地的数据存储和管理负担。然而当数据外包到云服务器上后用户将失去对数据的物理控制权,非法的用户可以通过尝试访问外包数据。另外数据和用户的隐私保护也是个体用户和企业所关心的。为保证外包数据的安全,传统做法是在数据外包到公有云之前利用密码算法对数据进行加密,从而实现数据的访问控制,然而这种方法虽然能实现对数据的安全保护,但给用户高效地使用数据带来了困难,即如何能够保证对加密数据进行高效检索。云存储作为云计算的衍生产物可以为用户提供便捷的数据存储、数据共享等服务,针对云存储环境下数据共享和数据检索中不同的安全需要各类密码算法应运而生,其中基于属性加密和可搜索加密能够实现对数据的细微粒度访问控制和对加密数据库的检索从而成为了研究热点,而基于属性的关键词可搜索加密作为两种机制的结合可以同时实现对共享数据的访问控制和加密数据的可搜索。然而,随着云存储环境下数据共享中不同应用场景和用户需求变化,现有解决方案仍需要进一步研究来解决各种挑战,例如现有方案在安全和效率上的挑战。本论文针对数据访问控制中的计算外包服务和加密数据库搜索研究中的现存问题,分别设计了对应的解决方案。本论文的主要创新点如下:1.提出了支持可验证外包加解密的基于属性加密方案。针对云存储环境下基于属性加密方案中用户端的计算消耗随着访问控制策略的复杂度增大而增加的问题,本文设计了一个单服务器模型下可验证、安全的外包模指数计算算法,数据拥有者利用此算法可以实现将数据加密任务外包给云服务商并能够验证云服务商加密计算结果的正确性,从而数据拥有者能够高效、安全、可验证地完成对数据的加密。同时,方案保证数据使用者实现解密计算的安全外包的前提下,数据使用者生成转换密钥的计算复杂度为常数级。本文方案能够同时实现属性加密中加密和解密计算的安全外包,提高了用户端的加密和解密效率。2.提出了关键词密文聚合的基于属性多关键词可搜索加密方案。针对云存储环境下现有基于属性多关键词可搜索加密中关键词密文量的计算复杂度随着关键词数量增加而线性增大的问题,我们利用关键词二叉树和二叉树中叶子节点最小覆盖技术设计了关键词密文聚合的基于属性多关键词可搜索加密方案,本方案能够极大的降低关键词索引个数的复杂度从而减少数据拥有者的关键词密文计算和传输代价。同时,鉴于本方案中关键词索引个数的减少,本方案还降低了云服务器端存储关键词密文的代价。3.提出了支持矩形区域搜索的用户隐私保护的基于位置查询方案。我们利用可比较属性的属性加密技术构造了一个盲过滤算法,并基于此算法设计了一个高效的支持矩形区域查询基于位置查询方案。该方案中第三方代理能够利用盲过滤算法帮助用户精确地从云存储加密数据库中筛选出在用户位置为中心的矩形查询区域内的兴趣点,使得用户在保护查询位置等隐私的条件下高效完成基于位置服务查询。同时,鉴于构造盲过滤算法的工具为属性加密,该方案同样支持云服务商对数据的访问控制。4.提出了支持圆形区域搜索的用户隐私保护的基于位置查询方案。本文方案利用属性加密和同态加密设计了一新的盲过滤算法,该算法能够保证用户查询位置针对代理是安全的前提下,第三方代理能够密文条件下判定某一查询数据对应的位置坐标与用户位置坐标之间的欧氏距离是否小于等于查询半径,即代理密文条件下通过计算来判断云存储加密数据库中某一数据是否在用户制定的圆形区域内。
喻浩泓[7](2020)在《PAR平台中Apla-Python程序自动生成系统数据库处理方案研究》文中认为随着计算机技术的发展我们已经全面进入了信息化时代,对信息数据的处理能力与存储空间也在不断的提高。现如今数据库技术的应用已经渗透进了各个行业,并且由于需求的不同对存储的数据类型也各不相同,比如普通的文本数据、图片数据、视频数据等,由此情况可见使用传统的数据库已经无法满足人们日常生活中的需求。为了有效的解决以上这些问题,薛锦云教授提出了一种名为PAR方法的软件开发平台;其中该平台的数据库程序生成模块不仅能处理一般的结构化数据并且在其基础上增加了对非结构化数据(多媒体数据)的处理机制。PAR方法和PAR平台是由薛锦云团队提出的一种实现算法设计和证明的新型软件开发方法,支持自定义类型,可自动生成并运行泛型程序、数据库程序以及界面设计程序等。PAR平台中的数据库生成系统,以关系代数的形式描述数据库相应的管理与操作,使得数据库生成系统在可靠性和正确性得到了保证并且PAR方法中关系数据库机制的描述与实现是以PAR方法为指导思想,通过制定可重用部件库数据库模块,使得数据库应用程序的开发得到了理论上支持、优化和验证,并实现了数据库应用程序代码的部分自动化生成,从而达到了快速开发正确可靠的数据库应用程序的目的。本文在实现PAR平台中Apla-Python数据库程序自动生成系统的基础上以Oracle数据库为后台数据库管理系统(DBMS),根据Oracle数据库中对多媒体数据的处理语句制定相应的部件库及操作方法,扩增Apla语言规则。在Apla中沿用关系代数描述多媒体数据管理与操作的方法,使得多媒体数据应用程序的开发得到理论上支持、优化和验证。最后使用测试用例对Apla-Python数据库程序生成系统进行测试,证明本研究工作基本达到了预期目标,对PAR平台的发展具有重要意义和实践价值。本文的创新点主要有:(1)在PAR平台中实现了数据库生成系统Python模块的开发;(2)在原有系统的基础上增加了Alpa-Python数据库程序自动生成系统对多媒体数据的管理与操作机制;
曹骞[8](2020)在《北方环境乘用车行驶工况和代表工况构建方法研究》文中研究说明随着国家排放法规日益严格,乘用车也在由传统能源技术向新能源技术加速发展,而动力系统作为汽车技术体系的重要一环,也要适应这一挑战。当前,由于对国内乘用车典型行驶特征的掌握并不充分,并且我国尚未普遍推广适用于国内交通环境的行驶工况,导致在动力系统研发试验中,相关结果无法与国内现实水平匹配,从而对排放检测、能量管理等新技术的应用造成困难。因此,有必要有针对性地开发反映国内行驶特征的代表行驶工况,为新能源汽车技术研发提供关键数据支持。本文在长春市选择了10辆轻型乘用车以自主驾驶方式进行了为期一年的行驶数据采集工作,建立了短行程大样本数据库,从无监督学习聚类、混合概率分布模型聚类和随机过程概率模型估计三个方面研究了构建代表行驶工况的具体应用方案,据此开发了长春市轻型乘用车代表行驶工况,相关分析结果可为代表行驶工况构建研究提供较为可靠的理论及应用依据。本文采用测试样本数据集对比分析了K均值聚类算法、密度峰聚类算法、模糊聚类算法和自组织映射神经网络聚类算法的计算性能,结果表明,自组织映射神经网络聚类算法能够利用少量的神经元获取样本集在特征空间中的分布结构,可以建立神经元与随机样本之间的对应关系,据此可以直接根据神经元的聚类结果完成对随机样本的聚类,有助于减少运算量,该算法的聚类精度最高,其得到的误判样本数量最少,并且聚类中心与理想中心位置的重合度最高,适合针对大样本数据集的聚类运算。本文研究了特征参数组合方式对聚类运算结果的影响,结果表明,将怠速比例、匀速比例、行驶时间、最大速度、平均行驶速度和速度标准差作为描述短行程样本的特征参数可以显着减少大样本数据库的数据量,有利于提高计算效率,据此得到的聚类结果能够细化中低速行驶类别且不存在类别同质化的现象,可以实现样本在各类之间的合理分配。应用自组织映射神经网络聚类算法对大样本数据库进行聚类分析,根据聚类结果研究了基于无监督学习聚类的代表行驶工况构建方法,并基于该方法分别构建了长春市轻型乘用车中低速行驶工况和高速行驶工况。将两组工况与各自的数据库统计特征进行了对比,结果表明特征参数平均偏差均低于3%,构建工况的精度较高,验证了构建方法的有效性和准确性。选择快速路、市区主干路、市郊主干路和次干路作为道路等级研究对象,从大样本数据库中提取相关数据并组建了不同道路等级的样本数据集,对样本数据集的行驶特征及其在特征空间中的分布模式进行了统计分析。结果表明,市区主干路、市郊主干路和次干路的随机样本分布在特征空间中存在较大交叠区域,三个道路等级的行驶模式具有较高的相似性。快速路、市区主干路和市郊主干路的随机样本服从正态分布,而次干路具有最为丰富的行驶特征多样性,其随机样本无法严格服从正态分布。分别采用最大期望算法和判别分析对快速路和市区主干路的样本数据集进行了聚类分析。结果表明,最大期望算法和判别分析法对训练样本集的误判数量分别只有1个和0个,而从未知样本集的聚类结果中得到的模糊样本数量分别为2个和1个,两者对除此以外的剩余样本的聚类结果完全相同,其聚类结果具有高度一致性。研究了基于混合正态分布概率模型聚类算法的代表行驶工况构建方法,根据最大期望算法对样本数据集的聚类结果,构建了快速路代表行驶工况和市区主干路代表行驶工况。对比验证结果表明,两个构建工况相对于各自样本数据集的特征参数平均偏差分别低于3%和2%,构建工况具有较高的准确性,验证了工况构建方法的有效性。基于马尔科夫链原理,探讨了状态转移概率的计算方法,通过分析指出极大似然法对样本量较少的状态转移概率的计算能力不足,而改进Kneser-Ney平滑算法对不同样本量的计算适应性更好,可以在一定邻域范围内实现状态转移概率的平滑过渡,使计算结果更符合实际行驶规律。另外检验了状态转移概率分布与正态分布之间的关联性,发现只有在特定车速区间下划分行驶状态时,两个分布的形态才具有高度一致性,除此以外,两者存在明显偏离,因此盲目采用正态分布拟合的方式计算状态转移概率会引入更多计算误差。研究了基于马尔科夫链随机过程的代表行驶工况构建方法,利用该算法分别采用分类和不分类构建两种模式构建了长春市轻型乘用车代表行驶工况,对比结果表明,所有构建工况与数据库的特征参数平均偏差均低于5%,验证了构建方法的有效性。
张政[9](2020)在《时空对象关联关系生成、管理与可视化关键技术研究》文中研究表明地理信息系统以其独特的空间观点和空间思维,从空间相互关联和相互作用出发,揭示了各种事物与现象之间潜在的空间分布特征和动态变化规律。随着GIS理论和技术的发展,越来越多的专家和学者意识到时空对象之间的关联关系研究的重要性,描述、管理、分析和表达时空对象间泛在的关联关系,有利于发现潜在的规律和趋势,具有一定的现实意义的实用价值。本文从时空对象关联关系的基础理论出发,分别从“理论方法、技术实现、实验验证”的角度,研究了关联关系数据生成、管理和可视化的关键技术。论文研究的主要内容如下:(1)阐述了本文的研究背景和研究意义,从理论基础、数据生成与管理、数据可视化等角度分析了时空对象关联关系研究的必要性。分析并总结了时空关联关系相关研究在理论、技术和应用方面的不足,由此明确了本文的研究范畴、研究目标和研究内容。(2)时空对象关联关系基础理论研究。论述了时空对象关联关系的基本概念、定义、特点及分类体系;研究了构成时空对象关联关系基础数据模型的图模型、节点模型、连边模型、关系属性、关系强度及关系规则等;在研究现有时空数据模型的基础上,提出了SIGM模型,以支持关联关系动态变化的描述。(3)时空对象关联关系数据生成方法研究。阐述了时空对象关联关系数据生成的基本概念,在分析现有方法及其适用性的基础上,给出了时空对象关联关系数据生成的方法体系;从基础数据生成、动态数据生成、强度数据生成以及方法适用性等方面论述了基本生成方法;针对基本生成方法存在的问题,分别研究了基于算子、基于规则和基于改进重力模型的关联关系数据推理生成方法,论述了各个方法的步骤、流程、算法以及方法的适用性。(4)时空对象关联关系数据存储技术研究。论述了关联关系数据的现有存储策略及其不足,在综合关系型数据库和图数据库各自优势的基础上,提出了混合模式下的时空对象关联关系数据存储策略;对主从数据库进行了设计,并通过数据同步管道实现了主从数据库的数据同步;研究了混合模式下的关联关系数据访问,对访问框架、访问模式、访问接口和访问语句进行了设计与分析;研究了时空对象数据、关联关系数据、动态数据的数据组织问题。(5)时空对象关联关系可视化算法研究。论述了时空对象关联关系可视化的基本概念及分类体系,分析了关联关系可视化中存在的难点问题,针对存在的问题,分别提出了顾及节点分布特征的关联关系图化简算法、节点和连边的聚合可视化算法、空间位置耦合的关联关系节点布局算法、以节点为中心的关联关系连边布局算法,这些方法分别从选取和位移的角度缓解了大规模时空对象关联关系的地图可视化时造成的视觉混乱问题。(6)基于上述理论和技术研究成果,搭建了微服务架构环境下的“时空对象关联关系实验系统”,以“河南省新型冠状肺炎疫情”的相关专题数据为例,通过关联关系数据交互生成、关联关系数据计算生成、关联关系数据推理生成、关联关系化简可视化、关联关系聚合可视化、关联关系节点布局、关联关系连边布局等系统功能实验,验证了相关研究成果的正确性和可行性。
叶峰[10](2020)在《数据挖掘技术在提高网管告警处理效率中的研究》文中研究说明电信网络系统的发展为人们的生活带来了便捷,使“海内存知己,天涯若比邻”不再只是一种美好的向往。随着网络系统的不断完善和5G网络系统的正式商用,网管系统告警信息也必将成倍的增长,给网管告警系统的运行带来了很大的压力。如何对系统中的告警数据实现压缩存储并挖掘告警数据中存在的价值信息成为了重要的研究课题。面对巨大的告警信息,如何从中挖掘有价值的信息是本文研究的重点内容,通过对传统关联Apriori算法存在的不足进行分析,改进了频繁项集的产生过程,利用二分法的思想,使用组合与并集交叉的技术实现越级产生频繁项集,大大缩短了频繁项集的生成过程,提高了算法的效率,利用Hadoop并行计算框架实现关联算法的并行化,进一步提高了数据的挖掘效率。针对海量告警信息的存储压力,本文提出了混合非全量编码压缩算法,该算法利用告警数据具有大量重复属性的特点,对传统的哈夫曼压缩算法进行了改进,算法的核心思想是把词组作为数据压缩的基本单位,结合了哈夫曼编码、字典序编码和非编码三种模式,对数据库实现压缩,压缩过程中一个属性作为一个词组,取得了较好的压缩效果,由于全局压缩一个词组只有一种编码,所以在不解压的情况下可以直接通过搜索内容的编码搜索原始数据在数据库中的位置,实现对数据的不解压检索访问。本文通过网络告警数据对改进的关联算法和压缩算法进行了验证,证实了改进关联算法在挖掘效率上的提升,也验证了改进的压缩算法可以有效压缩数据,并实现非全文解压对原始数据的搜索与访问。最后结合数据关联分析和数据压缩两种算法对网管告警信息处理进行了重新设计,以提高告警数据的处理效率。
二、关系数据库中传统集合运算的实现(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、关系数据库中传统集合运算的实现(论文提纲范文)
(1)支持复合条件查询的位置信息检索系统的设计与实现(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究背景 |
1.2 研究内容 |
1.3 论文结构 |
第二章 相关研究与技术 |
2.1 地理信息检索系统的研究发展状况 |
2.1.1 位置信息检索方向相关行业应用现状 |
2.1.2 GIS查询的国内外相关研究 |
2.2 中间件及软件框架技术 |
2.2.1 Kafka消息中间件 |
2.2.2 SpringBoot |
2.2.3 React |
2.3 地理空间数据库技术 |
2.3.1 PostGIS |
2.3.2 PostgreSQL |
2.4 本章小结 |
第三章 位置信息检索系统需求分析及概要设计 |
3.1 需求概述 |
3.2 功能性需求分析 |
3.2.1 数据管理功能 |
3.2.2 复合条件查询功能 |
3.2.3 用户及权限管理功能 |
3.2.4 地图相关功能 |
3.3 非功能性需求分析 |
3.3.1 可扩展性 |
3.3.2 低响应时间 |
3.3.3 性能检测 |
3.4 系统概要设计 |
3.4.1 复合条件查询规则设计 |
3.4.2 系统总体设计 |
3.5 本章小结 |
第四章 位置信息检索系统详细设计与实现 |
4.1 可视化层的组件化设计与实现 |
4.1.1 用户及权限模块组件实现 |
4.1.2 复合条件查询模块组件实现 |
4.1.3 其他地图相关模块组件实现 |
4.2 数据管理模块的设计与实现 |
4.2.1 整体设计 |
4.2.2 数据爬取中算法设计与实现 |
4.2.3 数据调度及中间件实现 |
4.3 复合条件查询模块的实现与优化 |
4.3.1 数据库设计 |
4.3.2 模块整体设计与实现 |
4.3.3 空间关系与数量关系查询的模式选择 |
4.4 其他模块的设计与实现 |
4.4.1 其他功能模块的设计与实现 |
第五章 系统测试 |
5.1 测试目标及环境 |
5.1.1 测试目标 |
5.1.2 测试环境与测试准备 |
5.2 系统功能测试 |
5.2.1 前端的组件化实现展示 |
5.2.2 用户及权限功能测试 |
5.2.3 复杂条件查询功能测试 |
5.2.4 地图相关模块测试 |
5.2.5 数据管理模块测试 |
5.3 非功能性测试 |
5.3.1 性能检测与访问统计 |
5.3.2 非功能性模块测试 |
5.3.3 性能测试 |
5.4 本章小结 |
第六章 总结和展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
致谢 |
(2)基于区块链的跨域数据共享技术研究(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.3 本文的主要贡献与创新 |
1.4 本论文的结构安排 |
第二章 相关技术与理论介绍 |
2.1 区块链相关技术与原理 |
2.1.1 区块链技术概述 |
2.1.2 区块链技术架构 |
2.1.3 区块链的数据结构 |
2.2 Word2vec相关技术和原理 |
2.2.1 Word2vec概述 |
2.2.2 Word2vec模型原理 |
2.3 知识图谱相关技术和原理 |
2.3.1 知识图谱的定义 |
2.3.2 知识图谱构建技术 |
2.3.3 知识图谱存储技术 |
2.4 本章小结 |
第三章 基于区块链的统一数据命名模型 |
3.1 跨管理域数据共享中的数据命名不统一问题 |
3.2 基于小规模数据统一数据命名的UNSSD模型 |
3.2.1 小规模数据特点分析 |
3.2.2 UNSSD模型中的算法设计 |
3.2.3 UNSSD模型中的数据存储结构设计 |
3.3 基于大规模数据统一数据命名的UNLSD模型 |
3.3.1 大规模数据特点分析 |
3.3.2 UNLSD模型中的算法设计 |
3.3.3 UNLSD模型中的数据存储结构设计 |
3.4 两种统一数据命名模型对比总结 |
3.5 本章小结 |
第四章 跨管理域数据共享系统设计 |
4.1 跨管理域数据共享系统需求分析 |
4.2 系统架构设计 |
4.3 系统功能模块设计 |
4.3.1 共享数据提交模块设计 |
4.3.2 共享数据存储模块设计 |
4.3.3 共享数据访问模块设计 |
4.4 本章小结 |
第五章 实验测试与结果分析 |
5.1 实验环境和实验数据介绍 |
5.1.1 实验环境介绍 |
5.1.2 实验数据介绍 |
5.2 统一数据命名模型实验过程及结果分析 |
5.2.1 基于小规模数据的UNSSD模型实验过程 |
5.2.2 基于大规模数据的UNLSD模型实验过程 |
5.2.3 两种统一数据命名模型实验结果分析 |
5.3 跨管理域数据共享系统测试 |
5.3.1 共享数据提交模块测试 |
5.3.2 共享数据存储模块测试 |
5.3.3 共享数据访问模块测试 |
5.4 本章小结 |
第六章 总结和展望 |
6.1 全文工作总结 |
6.2 后续工作展望 |
致谢 |
参考文献 |
攻读硕士学位期间取得的成果 |
(3)基于图神经网络的数据库查询方法优化与实现(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究工作的背景与意义 |
1.2 国内外发展及研究现状 |
1.2.1 传统数据库查询优化发展及研究现状 |
1.2.2 深度学习与数据库查询优化融合的研究现状 |
1.3 本文的主要研究内容与贡献 |
1.4 本论文的结构安排 |
第二章 相关理论与技术的分析与研究 |
2.1 TiDB总体架构 |
2.2 查询处理过程 |
2.2.1 执行生命周期 |
2.2.2 Volcano计算模型 |
2.3 查询优化过程 |
2.3.1 代价估计 |
2.3.2 连接顺序算法 |
2.4 图神经网络相关知识 |
2.4.1 图的拉普拉斯算子 |
2.4.2 图的卷积操作 |
2.4.3 图卷积神经网络 |
2.5 本章小结 |
第三章 需求分析及方案设计 |
3.1 设计目标 |
3.2 需求分析 |
3.3 系统总体架构设计 |
3.4 算法设计 |
3.4.1 数据采集算法设计 |
3.4.2 基数及代价估计算法设计 |
3.4.3 连接顺序优化算法设计 |
3.5 本章小结 |
第四章 查询优化模块的详细设计与实现 |
4.1 网络通信设计与实现 |
4.2 数据收集模块的具体实现 |
4.2.1 查询接口 |
4.2.2 全局性数据的采集 |
4.2.3 离线数据的采集 |
4.2.4 在线数据的采集 |
4.3 基数估计模块详细实现 |
4.3.1 数据处理与表示 |
4.3.2 网络模型实现 |
4.3.3 基数估计与TiDB的结合 |
4.4 连接顺序优化模块详细实现 |
4.4.1 数据处理与表示 |
4.4.2 网络模型构建 |
4.4.3 连接顺序优化与TiDB的结合 |
4.5 本章小结 |
第五章 实验与测试 |
5.1 系统测试环境 |
5.2 系统可用性测试 |
5.3 算法性能测试 |
5.3.1 基数估计性能测试 |
5.3.2 连接顺序性能测试 |
5.4 本章小结 |
第六章 全文总结与展望 |
6.1 全文总结 |
6.2 课题展望 |
致谢 |
参考文献 |
攻读专业硕士学位期间取得的成果 |
(4)基于大数据分析的输电线路系统故障时空预测方法的研究(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 课题研究背景和意义 |
1.2 大数据分析技术在电力系统中的应用 |
1.2.1 故障特征挖掘 |
1.2.2 特征数据降维 |
1.2.3 数据分类及聚类 |
1.2.4 不良数据异常检测 |
1.3 基于电气特征参数方法的研究现状 |
1.3.1 线路故障在线检测 |
1.3.2 线路故障暂态预测 |
1.3.3 基于电气特征参数方法的适用场景 |
1.4 基于环境特征参数方法的研究现状 |
1.4.1 应用环境特征参数实现长期预测的可行性 |
1.4.2 同时采用电气特征参数的预测方法 |
1.4.3 针对单个类型故障的预测方法 |
1.4.4 针对多种类型故障的预测方法 |
1.5 本文的主要工作 |
1.5.1 本文的研究内容 |
1.5.2 本文的章节安排 |
第2章 计及罕见变量的ARMret预测模型 |
2.1 引言 |
2.2 ARMret预测模型的构建 |
2.2.1 输入数据的预处理 |
2.2.2 重要度诊断标准的改进 |
2.2.3 输入数据相对权重的求解 |
2.2.4 关联规则挖掘FP-Growth算法 |
2.2.5 ARMret预测模型的验证方法 |
2.2.6 ARMret预测模型的实施流程 |
2.3 算例分析 |
2.3.1 算例数据描述 |
2.3.2 故障结果测试分析 |
2.3.3 故障原因测试分析 |
2.4 本章小结 |
第3章 优化权重计算和参数调节的DARMret预测模型 |
3.1 引言 |
3.2 DARMret预测模型的构建 |
3.2.1 环境风险指数的求解 |
3.2.2 时间风险指数的求解 |
3.2.3 双重风险指数的求解 |
3.2.4 参数自适应动态调节模型的构建 |
3.2.5 DARMret预测模型的验证方法 |
3.2.6 DARMret预测模型的实施流程 |
3.3 算例分析 |
3.3.1 算例数据描述 |
3.3.2 不同时段故障风险评级 |
3.3.3 故障结果测试分析 |
3.3.4 故障原因测试分析 |
3.4 本章小结 |
第4章 考虑不同数据特性的集成式FDCARM预测模型 |
4.1 引言 |
4.2 FDCARM预测模型的构建 |
4.2.1 模糊推理系统的背景 |
4.2.2 输入连续特征的预处理 |
4.2.3 概率模糊风险的求解 |
4.2.4 模型的集成 |
4.2.5 FDCARM预测模型的验证方法 |
4.2.6 FDCARM预测模型的实施流程 |
4.3 算例分析 |
4.3.1 算例数据描述 |
4.3.2 专家权重优化分析 |
4.3.3 故障结果测试分析 |
4.3.4 故障原因测试分析 |
4.3.5 预测模型对比和讨论 |
4.4 本章小结 |
第5章 预测模型现实中不确定度及故障预测不确定度影响的分析 |
5.1 引言 |
5.2 现实应用不确定度 |
5.2.1 不确定度的背景 |
5.2.2 模型构建 |
5.2.3 算例分析 |
5.3 故障原因预测不确定度对整体预测的影响 |
5.3.1 模型构建 |
5.3.2 算例分析 |
5.4 本章小结 |
第6章 总结与展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
致谢 |
攻读博士学位期间已发表或已录用的论文 |
攻读博士学位期间参与的科研项目 |
(5)基于位图压缩技术的关联规则挖掘算法设计及应用研究(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.3 论文的研究内容以及论文结构 |
1.3.1 论文主要内容 |
1.3.2 论文的工作安排 |
1.4 本章小结 |
第2章 数据挖掘及关联规则概述 |
2.1 数据挖掘概述 |
2.1.1 数据挖掘基本概念 |
2.1.2 数据挖掘的过程 |
2.1.3 数据挖掘的任务及方法 |
2.2 关联规则挖掘概述 |
2.2.1 关联规则挖掘的概念和性质 |
2.2.2 关联规则挖掘的过程 |
2.2.3 关联规则挖掘的应用 |
2.3 本章小结 |
第3章 关联规则的经典算法及改进算法 |
3.1 关联规则挖掘算法概述 |
3.2 Apriori算法 |
3.2.1 Apriori算法的基本思想 |
3.2.2 Apriori算法实例分析 |
3.2.3 Apriori算法性能分析 |
3.3 Apriori算法的改进算法 |
3.4 基于位图的算法 |
3.4.1 基于位图的算法思想 |
3.4.2 基于位图的实例分析 |
3.4.3 位图算法性能分析 |
3.5 本章小结 |
第4章 基于压缩位图的改进技术研究 |
4.1 基于压缩位图的算法简介 |
4.2 算法的数据结构 |
4.3 基于压缩位图的优化 |
4.3.1 优化的连接运算 |
4.3.2 优化的剪枝策略 |
4.4 基于压缩位图的算法设计 |
4.5 基于压缩位图的算法实例分析 |
4.6 算法性能分析 |
4.7 本章小结 |
第5章 算法实验 |
5.1 数据集 |
5.1.1 IBM虚拟数据集 |
5.1.2 实际数据集 |
5.2 性能测试 |
5.2.1 不同支持度的时间效率分析 |
5.2.2 不同支持度的内存消耗分析 |
5.2.3 不同占比数据的运行时间比较 |
5.2.4 不同占比数据的内存消耗比较 |
5.2.5 瓶颈分析 |
5.3 本章小结 |
第6章 总结及展望 |
6.1 工作总结 |
6.2 后续工作 |
参考文献 |
致谢 |
在学期间主要科研成果 |
(6)云存储中基于属性加密的数据访问控制和隐私保护研究(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究背景 |
1.2 研究现状 |
1.2.1 针对属性加密外包计算 |
1.2.2 针对加密文件的可搜索加密 |
1.2.3 针对加密数据库的查询 |
1.3 论文的主要工作和组织结构 |
第二章 相关知识 |
2.1 双线性对算法 |
2.2 访问控制树J |
2.3 线性秘密共享方案 |
2.4 基础算法模型和具体构造 |
2.4.1 基于密文策略的属性加密 |
2.4.2 同态加密 |
2.5 实验仿真模拟平台 |
第三章 云存储中支持可验证外包加解密的基于属性加密方案 |
3.1 引言 |
3.2 准备工作 |
3.2.1 外包计算安全相关定义 |
3.3 可验证模指数外包计算算法 |
3.3.1 可验证模指数外包算法的具体设计 |
3.3.2 可验证模指数外包算法的安全分析 |
3.4 支持可验证外包加解密的基于属性加密方案 |
3.4.1 方案系统模型 |
3.4.2 方案安全模型 |
3.4.3 方案具体的设计 |
3.5 方案的安全分析 |
3.6 方案的性能分析和实验结果 |
3.6.1 性能分析 |
3.6.2 实验结果 |
3.7 本章小结 |
第四章 关键词密文聚合的基于属性多关键词可搜索加密方案 |
4.1 引言 |
4.2 准备工作 |
4.2.1 关键词字典树 |
4.2.2 关键词的路径节点 |
4.2.3 关键词的子集覆盖 |
4.2.4 方案设计思路 |
4.3 关键词密文聚合的基于属性多关键词可搜索加密方案 |
4.3.1 方案系统模型 |
4.3.2 方案安全模型 |
4.3.3 方案具体的设计 |
4.4 方案的安全分析 |
4.5 方案性能分析和实验结果 |
4.5.1 性能分析 |
4.5.2 实验结果 |
4.6 本章小结 |
第五章 支持矩形区域搜索的用户隐私保护LBS方案 |
5.1 引言 |
5.2 系统模型概述 |
5.2.1 系统模型和攻击模型 |
5.2.2 设计目标和设计思路 |
5.3 准备工作 |
5.3.1 0&1编码技术 |
5.3.2 访问策略树和属性转化 |
5.3.3 可比较属性加密算法 |
5.3.4 改进的可比较属性加密算法 |
5.3.5 k匿名技术 |
5.4 支持矩形区域搜索的用户隐私保护LBS方案 |
5.4.1 方案系统概述 |
5.4.2 盲过滤协议 |
5.4.3 方案具体的设计 |
5.5 方案的安全分析 |
5.5.1 针对代理用户查询结果隐私安全 |
5.5.2 针对权威中心用户查询结果隐私安全 |
5.5.3 针对LBS服务商用户隐私安全 |
5.5.4 针对代理用户隐私安全 |
5.5.5 针对权威中心用户位置隐私安全 |
5.6 方案的性能分析和实验结果 |
5.6.1 性能分析 |
5.6.2 实验结果 |
5.7 本章小结 |
第六章 基于位置服务中实现用户隐私保护的圆形区域搜索方案 |
6.1 引言 |
6.2 系统模型概述 |
6.2.1 系统模型和攻击模型 |
6.2.2 设计目标和设计思路 |
6.3 基于位置服务中实现用户隐私保护的圆形区域搜索方案 |
6.3.1 方案系统概述 |
6.3.2 盲过滤协议 |
6.3.3 方案具体的设计 |
6.4 方案的安全分析 |
6.4.1 针对代理用户隐私的安全性 |
6.4.2 针对LBS服务商用户隐私的安全 |
6.4.3 方案的细微粒度访问控制 |
6.5 方案性能分析和实验结果 |
6.5.1 性能分析 |
6.5.2 实验结果 |
6.6 本章小结 |
第七章 总结和展望 |
参考文献 |
致谢 |
攻读学位期间发表的学术论文目录 |
(7)PAR平台中Apla-Python程序自动生成系统数据库处理方案研究(论文提纲范文)
摘要 |
Abstract |
第一章 引言 |
1.1 研究背景 |
1.2 研究现状 |
1.3 论文的主要内容 |
1.4 本文篇章结构 |
第二章 PAR方法与Python语言概述 |
2.1 PAR方法概述 |
2.1.1 软件形式化方法 |
2.1.2 Apla语言机制 |
2.2 Python数据库程序开发 |
2.2.1 Python DB-API与 Python数据库程序开发 |
2.2.2 Python DB-API访问数据库流程 |
2.2.3 MySQLdb与 cx_Oracle |
2.3 PAR平台中Python数据库自动生成系统框架 |
2.4 本章小结 |
第三章 数据库管理操作机制 |
3.1 Apla数据库操作描述以及对应的SQL语句 |
3.1.1 基本操作 |
3.1.2 组合操作 |
3.2 Apla语法规则 |
3.2.1 多媒体数据中的delete()方法 |
3.2.2 多媒体数据中的update()方法 |
3.3 操作多媒体数据的方法 |
3.4 本章小结 |
第四章 Apla-Python数据库程序生成系统 |
4.1 数据库程序语句转换的总体结构 |
4.2 数据库表结构的定义声明处理 |
4.3 查询表达式的转换 |
4.4 数据库赋值语句的转换 |
4.5 本章小结 |
第五章 PAR平台中多对媒体数据操作的实现 |
5.1 多媒体数据类型 |
5.1.1 多媒体数据 |
5.1.2 Oracle多媒体数据类型 |
5.2 InterMedia体系结构 |
5.3 InterMedia中多媒体数据处理方式 |
5.3.1 通用对象数据处理方式 |
5.3.2 ORDDoc对象类型及处理方式 |
5.3.3 ORDImage对象类型及处理方式 |
5.3.4 ORDVideo对象类型及处理方式 |
5.3.5 ORDAudio对象类型及处理方式 |
5.4 可行性与必要性分析 |
5.4.1 可行性分析 |
5.4.2 必要性分析 |
5.5 多媒体程序生成系统拓展 |
5.5.1 Table类的拓展 |
5.5.2 Apla多媒体代码 |
5.6 总体结构 |
5.6.1 词法分析 |
5.6.2 语法分析 |
5.7 多媒体数据的程序生成 |
5.7.1 程序转换模块的总体结构 |
5.7.2 数据库表结构的定义声明处理 |
5.8 本章小结 |
第六章 应用实例分析 |
6.1 系统的安装 |
6.2 简单数据库实例 |
6.2.1 创建数据库表 |
6.2.2 数据库表的赋值与操作 |
6.3 多媒体数据实例 |
6.4 系统运行情况与前景应用 |
6.5 本章小结 |
第七章 总结与展望 |
参考文献 |
致谢 |
在读期间公开发表论文(着)及科研情况 |
(8)北方环境乘用车行驶工况和代表工况构建方法研究(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 研究背景 |
1.2 行驶工况研究综述 |
1.3 行驶工况构建方法综述 |
1.4 论文研究内容与方法 |
第2章 行驶大样本数据库的建立 |
2.1 道路行驶试验与数据采集 |
2.1.1 试验方法 |
2.1.2 数据采集方法 |
2.2 短行程样本的划分与特征参数的计算 |
2.3 短行程滤波 |
2.3.1 傅里叶变换滤波 |
2.3.2 小波滤波 |
2.3.3 核函数滤波 |
2.4 短行程样本数据库的建立 |
2.5 本章小结 |
第3章 基于无监督学习聚类算法的行驶工况构建 |
3.1 基于无监督学习聚类算法的行驶工况开发研究架构 |
3.1.1 行驶工况开发的目标 |
3.1.2 行驶工况开发的技术难点与研究架构 |
3.2 样本数据库聚类的基本技术原理 |
3.2.1 主成分分析的技术原理 |
3.2.2 K均值聚类算法的计算原理 |
3.2.3 密度峰聚类的计算原理 |
3.2.4 模糊聚类算法的计算原理 |
3.2.5 自组织映射神经网络聚类的计算原理 |
3.2.6 聚类品质评估方法 |
3.3 聚类算法对比分析与选择 |
3.4 短行程大样本数据的处理与统计分析 |
3.4.1 主成分降维处理 |
3.4.2 自组织映射神经网络的建立与训练 |
3.4.3 主成分样本数据库的聚类 |
3.4.4 聚类结果统计与分析 |
3.5 代表行驶工况的构建 |
3.5.1 行驶工况构建的实现方法 |
3.5.2 构建代表行驶工况 |
3.6 本章小结 |
第4章 基于混合概率分布模型的行驶工况构建 |
4.1 基于混合概率分布模型的行驶工况构建开发研究架构 |
4.1.1 基于混合概率分布模型聚类的可行性与研究意义 |
4.1.2 基于混合概率分布模型聚类的研究目标 |
4.2 混合概率分布模型聚类算法的基本原理 |
4.2.1 最大期望算法的计算原理 |
4.2.2 判别分析的计算原理 |
4.2.3 多维正态分布的验证方法 |
4.3 面向有监督学习聚类的样本数据库的建立 |
4.3.1 典型道路行驶特征分析 |
4.3.2 行驶样本集的正态分布验证 |
4.3.3 建立训练样本集和未知样本集 |
4.4 未知样本数据集的聚类 |
4.4.1 基于最大期望算法的聚类 |
4.4.2 基于判别分析的聚类 |
4.5 基于道路等级的行驶工况构建 |
4.5.1 行驶工况构建的实现方法 |
4.5.2 构建代表行驶工况 |
4.6 本章小结 |
第5章 基于随机过程的行驶工况构建 |
5.1 马尔科夫链的基本原理 |
5.2 状态转移概率矩阵的计算方法 |
5.3 状态转移概率计算方法的对比分析 |
5.4 马尔科夫链行驶工况构建方法 |
5.5 工况构建分析 |
5.6 本章小结 |
第6章 总结与展望 |
6.1 研究结论与创新点 |
6.2 研究展望 |
参考文献 |
作者简介及在学期间所取得的科研成果 |
致谢 |
(9)时空对象关联关系生成、管理与可视化关键技术研究(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 研究背景及意义 |
1.1.1 研究背景 |
1.1.2 研究意义 |
1.2 研究现状及问题 |
1.2.1 理论研究现状 |
1.2.2 技术研究现状 |
1.2.3 应用研究现状 |
1.2.4 存在问题分析 |
1.3 研究目标与内容 |
1.3.1 研究范畴 |
1.3.2 研究目标 |
1.3.3 研究内容 |
1.4 论文的组织结构 |
第二章 时空对象关联关系基础理论 |
2.1 时空对象关联关系的基本问题 |
2.1.1 关联关系的概念 |
2.1.2 关联关系的特点 |
2.1.3 关联关系的分类 |
2.2 时空对象关联关系的基础数据模型 |
2.2.1 关联关系图模型 |
2.2.2 关联关系节点模型 |
2.2.3 关联关系连边模型 |
2.2.4 关联关系的属性 |
2.2.5 关联关系的强度 |
2.2.6 关联关系的规则 |
2.3 时空对象关联关系的动态数据模型 |
2.3.1 快照模型 |
2.3.2 增量模型 |
2.3.3 SIGM模型 |
2.4 本章小结 |
第三章 时空对象关联关系数据生成方法 |
3.1 关联关系数据生成概述 |
3.1.1 关联关系数据生成的基本概念 |
3.1.2 现有方法及其适用性分析 |
3.1.3 关联关系数据生成的方法体系 |
3.2 关联关系数据生成的基本方法 |
3.2.1 数据生成理念 |
3.2.2 基础数据生成 |
3.2.3 动态数据生成 |
3.2.4 强度数据生成 |
3.2.5 方法适用性分析 |
3.3 基于算子的关联关系数据计算生成 |
3.3.1 筛选条件 |
3.3.2 过滤器 |
3.3.3 布尔算子 |
3.3.4 元算子 |
3.3.5 方法适用性分析 |
3.4 基于规则的关联关系数据推理生成 |
3.4.1 规则的结构定义 |
3.4.2 规则集合的性质 |
3.4.3 规则的提取方法 |
3.4.4 规则的生成策略 |
3.4.5 规则质量的度量 |
3.4.6 方法适用性分析 |
3.5 基于改进重力模型的关联关系数据推理生成 |
3.5.1 特征参数选择 |
3.5.2 特征参数分析 |
3.5.3 改进重力模型 |
3.5.4 模型参数标定 |
3.5.5 实验结果与分析 |
3.5.6 方法适用性分析 |
3.6 本章小结 |
第四章 时空对象关联关系数据管理技术 |
4.1 关联关系数据的存储策略 |
4.1.1 关系型数据库存储策略 |
4.1.2 图数据库存储策略 |
4.1.3 对比与分析 |
4.1.4 混合模式存储策略 |
4.2 混合模式下的关联关系数据存储 |
4.2.1 主数据库存储设计 |
4.2.2 从数据库存储设计 |
4.2.3 主从数据库同步 |
4.3 混合模式下的关联关系数据访问 |
4.3.1 访问框架设计 |
4.3.2 访问模式分析 |
4.3.3 访问接口设计 |
4.3.4 访问语句映射 |
4.4 混合模式下的关联关系数据组织 |
4.4.1 时空对象数据组织 |
4.4.2 关联关系数据组织 |
4.4.3 动态数据组织 |
4.5 本章小结 |
第五章 时空对象关联关系可视化算法 |
5.1 时空对象关联关系的可视化体系框架 |
5.1.1 关联关系可视化的基本概念 |
5.1.2 关联关系可视化的分类体系 |
5.1.3 关联关系可视化存在问题分析 |
5.2 顾及节点分布特征的关联关系图化简算法 |
5.2.1 算法步骤 |
5.2.2 节点重要性度量 |
5.2.3 节点空间聚类 |
5.2.4 节点选取 |
5.2.5 实验结果与分析 |
5.3 节点和连边的聚合可视化算法 |
5.3.1 算法设计 |
5.3.2 节点聚合 |
5.3.3 连边聚合 |
5.3.4 实验结果与分析 |
5.4 空间位置耦合的关联关系节点布局算法 |
5.4.1 相关工作 |
5.4.2 算法设计 |
5.4.3 算法改进 |
5.4.4 算法评价 |
5.4.5 实验结果与分析 |
5.5 以节点为中心的关联关系连边捆绑算法 |
5.5.1 边方向聚类 |
5.5.2 边捆绑 |
5.5.3 渲染处理 |
5.5.4 实验结果与分析 |
5.6 本章小结 |
第六章 时空对象关联关系实验系统设计与实现 |
6.1 系统总体设计 |
6.1.1 体系结构 |
6.1.2 功能组成 |
6.2 实验数据 |
6.3 系统功能实现及验证 |
6.3.1 关联关系数据交互生成 |
6.3.2 关联关系数据计算生成 |
6.3.3 关联关系数据推理生成 |
6.3.4 关联关系化简可视化 |
6.3.5 关联关系聚合可视化 |
6.3.6 关联关系节点布局 |
6.3.7 关联关系连边布局 |
6.4 实验结论 |
第七章 总结与展望 |
7.1 论文的主要工作总结 |
7.2 论文的主要创新点 |
7.3 进一步研究方向展望 |
致谢 |
参考文献 |
作者简历 |
(10)数据挖掘技术在提高网管告警处理效率中的研究(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 课题背景及研究意义 |
1.2 国内外研究现状 |
1.3 论文主要研究内容及贡献 |
1.4 论文的主要结构 |
2 网络告警研究概述 |
2.1 网络结构概述 |
2.2 告警数据分析 |
2.2.1 告警故障与告警特点分析 |
2.2.2 网络告警数据预处理分析 |
2.2.3 关联相关性的分析与应用 |
2.3 并行化计算框架平台介绍 |
2.3.1 Hadoop编程模式概述 |
2.3.2 Yarn模块介绍 |
2.3.3 MapReduce框架介绍 |
2.4 本章小结 |
3 数据挖掘和关联算法 |
3.1 数据挖掘 |
3.2 关联算法 |
3.2.1 Apriori算法的主要原理描述 |
3.2.2 关联算法改进 |
3.3 改进关联算法验证 |
3.3.1 改进关联算法实例分析 |
3.3.2 改进关联算法实验验证 |
3.4 本章小结 |
4 数据压缩算法的设计 |
4.1 哈夫曼编码介绍 |
4.1.1 哈夫曼编码原理介绍 |
4.1.2 哈夫曼编码示例 |
4.1.3 传统编码方案对数据库压缩的不足性分析 |
4.2 基于哈夫曼的混合非全量编码 |
4.3 对比分析 |
4.4 抗干扰能力分析 |
4.5 本章小结 |
5 关联规则与压缩算法的综合应用设计 |
5.1 告警数据整体框架设计 |
5.2 关联算法的并行化实现 |
5.3 关联规则与压缩算法综合应用设计 |
5.3.1 告警设计流程图 |
5.3.2 告警界面设计图 |
5.4 本章小结 |
6 总结与展望 |
6.1 总结 |
6.2 展望 |
参考文献 |
致谢 |
附录1 攻读硕士学位期间参与的项目和发表论文 |
四、关系数据库中传统集合运算的实现(论文参考文献)
- [1]支持复合条件查询的位置信息检索系统的设计与实现[D]. 李翔. 北京邮电大学, 2021(01)
- [2]基于区块链的跨域数据共享技术研究[D]. 陈嘉熳. 电子科技大学, 2021(01)
- [3]基于图神经网络的数据库查询方法优化与实现[D]. 何东升. 电子科技大学, 2021(01)
- [4]基于大数据分析的输电线路系统故障时空预测方法的研究[D]. 孙辰昊. 上海交通大学, 2020(01)
- [5]基于位图压缩技术的关联规则挖掘算法设计及应用研究[D]. 李梦男. 齐鲁工业大学, 2020(02)
- [6]云存储中基于属性加密的数据访问控制和隐私保护研究[D]. 李志单. 北京邮电大学, 2020(01)
- [7]PAR平台中Apla-Python程序自动生成系统数据库处理方案研究[D]. 喻浩泓. 江西师范大学, 2020(12)
- [8]北方环境乘用车行驶工况和代表工况构建方法研究[D]. 曹骞. 吉林大学, 2020(08)
- [9]时空对象关联关系生成、管理与可视化关键技术研究[D]. 张政. 战略支援部队信息工程大学, 2020(01)
- [10]数据挖掘技术在提高网管告警处理效率中的研究[D]. 叶峰. 武汉邮电科学研究院, 2020(11)