德诚智能科技大数据管理平台，既可以为公司内部的多个大数据提供支撑，又能够承载公司下级单位或者其他公司委托的大数据应用。此外，德诚智能科技大数据管理平台还能够有效帮助客户进行数据资产管理。

一、大数据管理平台系统组成

德诚智能科技大数据管理平台产品体系分为三个层面：大数据基础组件层、大数据管理平台层和大数据应用层。

1、大数据基础组件层

大数据基础模块是覆盖当前最新Hadoop技术体系的常用组件。德诚智能科技公司一方面对软件统一提供了图形化的安装、部署能力以及统一的监控能力，并且还对开源模块中的一些功能进行了增强，比如对于HDFS，增加了HDFS-Raid的支持;对于Hadoop Map-Reduce框架，增强了对于调度策略的增强，不仅可以支持内置的容量型的优先级调度策略，还支持公平调度策略，以及自定义的调度策略，实现对任务执行时间的精确控制;在容器的增强上，除了可以实现对于内存的控制之外，还可以实现对于磁盘I/O和网络I/O的控制。

2、大数据平台层

是德诚智能科技大数据核心产品。该平台实现数据的统一存储和统一管理，并可以有效解决竖井式的大数据建设模式带来的重复存储、重复计算、数据不一致等一系列问题，实现资源的集中管控、资源在租户、应用之间的统一调配，从而可以有效提升资源的利用率。企业级大数据管理平台提供的各应用之间负载的统一调度策略，可以使各个应用根据应用自身的特点选用自身不同的调度策略，可以更好的实现各应用中的服务质量的保障。企业级大数据平台还通过一系列的企业级特性，有效防止数据信息泄露，保障数据信息的安全。通过德诚智能科技企业级大数据管理平台，不但可以实现企业内多个应用的支撑，构建企业大数据PaaS平台，将资源租赁给下属单位或者外部客户使用。

3、大数据应用层

包括企业内部的应用，也包括客户委托在该平台上的客户应用。每个大数据应用都会归属于一个特定的组织，也就是租户。同一个应用，也可以具有以上几种能力的组合。在同一个应用中，既可以包含Hadoop的分布式数据库HBase的一个或者多个实例，又可以包含一个或者多个Hadoop分布式数据仓库Hive的实例，甚至还可以包含数据挖掘工具Mahout或者R的实例等。

二、大数据管理平台作用

有效解决竖井式的大数据建设模式带来的重复存储、重复计算、数据不一致等一系列问题，并可以实现资源的集中管控、资源在租户、应用之间的统一调配，有效提升资源的利用率。企业级大数据管理平台提供的各应用之间负载的统一调度策略，使各个应用根据应用自身的特点选用自身不同的调度策略，更好的实现各应用中的服务质量的保障。企业级大数据平台还通过一系列的企业级特性，有效防止数据信息泄露，保障数据信息的安全。

在应用层，一个租户承载多个应用，每个应用拥有自己的数据资产，数据资产的上报根据资产名称、描述、存档路径、存档格式等进行上报。可以通过多种方式进行数据资产的管理，比如数据共享、数据发布、数据订阅、数据推送、以及产生的相应数据服务。大数据应用中的用户采用驱动来实现数据的读取，从而保证数据的安全性，通过德诚智能科技提供的驱动，不改变客户的编码习惯，只要链接不同的库即可。通过数据访问方式的限制，实现了数据主权和数据分析的分离。

基于德诚智能科技大数据管理平台，用户可以开发各类应用，如大数据查询类应用、大数据分析类应用、大数据挖掘类应用、数据采集类应用等。

三、大数据管理平台特色

1、产品设计优势

集中的数据存储；集中的资源管理； 集中的负载调度；集中的数据管控，有效保障数据信息安全；应用与数据分离

2、产品功能优势

多租户、多应用支撑：实现大数据的集约化建设;不改变应用开发习惯。

数据统一管控：企业级数据集中存储，安全隔离，有效共享。

资源精细控制：多负载的协调，保障SLA单负载的精细控制。

扩展性：

德诚智能科技的大数据产品具有很强的扩展性，可以满足不同大型单位系统建设的需求。

提供线性的系统扩展能力，可以通过扩展硬件设备线性地提高系统性能和容量。

提供高效的在线数据重分布功能，增加或减少的节点后系统中数据可平均分布到每个节点。

当用户数据量成倍增加时，对于同一个系统(指硬件配置不变的情况下)，响应时间是按照比例线性增加的。

当并发用户数增加时，对于同一个系统(指硬件配置不变的情况下)，响应时间也按照比例线性增加。

平台支持横向扩展，最大计算节点数支持不少于500个;

支持在线增加或减少节点。

系统稳定性：

系统支持连续7×24小时不间断地工作，系统中的任一构件更新、加载时，在不更新与上下构件接口的前提下，不影响业务运转和服务。

支持系统在长时间、多任务场景下的稳定运行。在计算机硬件、操作系统、存储系统及应用系统业务进程出现故障时，能迅速响应并进行任务的切换;某一节点出现故障时，其他节点应能够自动分担故障节点的 处理任务，保证服务持续可用。

能实时监控各节点的状态，依据不同的监测方法，可以监测出服务器节点是否存在，以及是否可以正常提供服务，支持节点失效报警和节点恢复过程的监控。

支持某节点失效后，整个系统能继续运行，系统整体性能不能有显著下降。

系统可维护性：

系统易于修改，对某一个模块的修改，不影响其他模块的正常运行。

系统易于扩展，新增服务时要求对系统做尽可能少的修改。

系统具备自管理和监控功能，能够实时监控各模块的执行。

系统具备利用已有时间同步系统进行时间同步和时间自动调整的功能。

系统支持通过统一的图形界面，监控各应用构件的运行状态，能够监控到系统所有的报警、异常信息。

系统采用构件化设计思想，系统框架与业务逻辑分离，具备开放的体系结构。

系统支持通过统一的图形界面能够访问到系统各构件、合约的版本信息及相应功能说明。

系统支持各构件的单独升级，并应该尽可能实现在线升级功能。

系统可靠性：

系统提供软件容错机制，包括数据库、日志镜像、自动恢复和集群机制，具有高度的数据可靠性、容错能力、完整性和有效性;

数据文件存放于分布式文件系统之上，在保持集群可用性不变的情况下，节省了大量的存储空间(数据存储空间由原来的3倍降为1.4倍!)。

数据文件需要实现元数据备份和恢复功能，防止元数据破坏失效;

整体系统实现HA方案，系统没有单点失效点，保证系统高可靠性。

3、与云计算的完美结合

德诚智能科技大数据平台可以与WinCloud云操作系统无缝集成，为企业提供完善的云计算、大数据整体解决方案：

(1)集群的管理和软件的部署。可以通过云计算实现集群的完善的管理功能。特别是通过对于物理机的管理优势，可以实现整个操作系统的全自动化、无人工干预的安装、部署软件。

(2)全面的监控能力。可以通过云计算提供的完善的监控能力，实现对于包括虚拟节点和物理节点在内的所有节点的性能监控。

(3)通过云计算的虚拟化技术，可以有效屏蔽不同厂商或者品牌的物理机之间的差异，从而更加有效的实现了资源的虚拟化，简化了大数据统一管理平台中的关键部件统一资源管理的开发难度。

(4)通过云计算的高可用性(High Avaibility)、容错(Fault Tolerence)技术，加强大数据中包括Hadoop的JobTracker、HDFS的namenode、Hive的服务进程节点等的关键节点的安全性。

(5)通过云计算的弹性计算特性，可以有效实现节点的计算能力扩容。这对于HDFS的namenode类型的关键节点是十分重要的。

(6)通过云计算中的计量功能，可以实现更加精确、多样化的计量策略。

(7)通过云计算的灵活的资源池管理策略，实现大数据的开发环境和测试环境的快速部署。

德诚智能科技大数据解决方案应用场景

1、大数据分析类应用

2、数据采集类应用

3、大数据查询类应用

4、大数据挖掘类应用

大数据平台, 敏捷BI, 自助式BI, 数据分析, 数据仓库, 大数据开发, 自助分析, 流式计算, 数据集市, ETL, 商业智能, 报表软件, 数据可视化