文档介绍：
独创性声明
本人声明,所呈交的论文是本人在导师指导下进行的研究工作及
取得的研究成果。尽我所知,除了文中特别加以标注和致谢的地方外,
论文中不包含其他人已经发表或撰写过的研究成果,也不包含为获得
武汉理工大学或其他教育机构的学位或证书而使用过的材料。与我一
同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说
明并表示了谢意。

签名: 日期:

学位论文使用授权书
本人完全了解武汉理工大学有关保留、使用学位论文的规定,即
学校有权保留并向国家有关部门或机构送交论文的复印件和电子版,
允许论文被查阅和借阅。本人承诺所提交的学位论文(含电子学位论
文)为答辩后经修改的最终定稿学位论文,并授权武汉理工大学可以
将本学位论文的全部内容编入有关数据库进行检索,可以采用影印、
缩印或其他复制手段保存或汇编本学位论文。同时授权经武汉理工大
学认可的国家有关机构或论文数据库使用或收录本学位论文,并向社
会公众提供信息服务。
(保密的论文在解密后应遵守此规定)

研究生(签名): 导师(签名): 日期:

万方数据
武汉理工大学硕士学位论文
摘要
随着信息平台“大数据”时代的到来,传统关系数据库无法满足海量非结构数
据的高效管理,多种异构数据源的加入极大提高了互联网异构数据的管理性能。
然而在异构数据源数据交互时,开发人员需要针对不同的数据源编写类似的代
码实现数据的转移,工作量大,可扩展性差,维护开销呈指数增加。
为改善多数据源系统的数据交互功能开发效率,提高可维护性,本文提出
了一种基于 JSON 的异构数据源的数据交换模型,在异构数据源之间充当中间逻
辑模块,以接口的形式供开发人员调用,以期降低开发代码量,提高软件开发
效率。本文的主要研究工作包括:
(1)针对互联网应用场景对大数据存储的新要求,讨论并研究了现有异构
多数据源系统的数据交互方案,结合新兴 NoSQL 数据库的使用,提出本文基于
JSON 的异构多数据源数据交互模型。
(2)分析 MySQL、MongoDB 和 Redis 的内部数据格式和 JSON 数据格式。
通过对三种数据库数据存储格式的分析得出不同数据库擅长处理的数据类型,
为多数据库结合使用来处理复杂数据的方案设计提供参考。通过数据格式的对
比,讨论 JSON 与各个数据库之间的交互能力,研究现有的交互方案并作出部分
改进。
(3)实现一套标准 API 接口,该接口使用 Java 语言开发,内部封装了 MySQL、
MongoDB 和 Redis 三种数据与 JSON 数据之间的相互转换函数,使开发者能够
调用统一接口函数完成数据转换工作。
(4)通过函数功能和执行效率测试对接口进行评价,将接口应用到实验平
台——起重机风险管理平台中,验证不同业务场景下异构数据库的交互功能。
通过与原生代码编写量对比,表明该方案具有更统一、方便的使用效果,具备
良好的封装性和可扩展性。

关键词:大数据,异构数据库,JSON,API
I
万方数据
武汉理工大学硕士学位论文
Abstract
With the advent of big data era, the traditional data platform solely consisting of
relational databases cannot adapt to the efficient management of large volumes of
unstructured data, while a variety of heterogeneous data sources join the data
platform, the management performance of heterogeneous data is greatly
improved. However, in the interaction of the data from heterogeneous data sources,
application developers need to write different source code for different data sources.
The number of source code is large and the structure plex. It is difficult to
maintain and extend, resulting a big burden to developers.
In order to improve the efficiency of data exchange code development and the
maintainability of heterogeneous data sources, this thesis studies data exchange
model of heterogeneous data sources based on JSON, in the form of database
middleware in the heterogeneous databases and acting as intermediate interface
between the client logic modules for developers to use. This thesis presents the
research work in four parts:
Firstly, for the new requirements of big data storage put forward by the
applications, it studies the existing multi-database interaction cases and presents
JSON database middleware bined with the emerging NoSQL databases.
Secondly, it analyses the internal data formats used in MySQL, MongoDB and
Redis, as well as JSON data formats. Through the analysis of these three kinds of
database format for storing data, it finds out the most suitable dat

1