OA | 项目 | 合同 | 知识 | 档案 | CRM | KM | ERP |  设备 |  专题       
伟创首页 易企管 定制软件 解决方案 经典案例 行业资讯
关于我们  |  联系我们  | 400-0906-395

伟创软件:办公软件专家

+ 企业信息化咨询顾问      + 办公软件集成方案      + 企业信息化解决方案     
+ 数据集成及安全方案      + 数据挖掘解决方案      + 移动办公及云办公     
当前位置:伟创软件 -> 文章正文

大数据分布式存储应考虑哪些问题?

作者:佚名  来源:网络
导语:“大数据”来袭时,传统的数据存储方式已不能满足要求,需要开展分布式存储的研究,大数据分布式存储主要考虑以下几个问题:
 
“大数据”来袭时,传统的数据存储方式已不能满足要求,需要开展分布式存储的研究,大数据分布式存储主要考虑以下几个问题:
 
    1)存储资源管理方法
 
    为了解决集群存储环境下的存储资源管理问题,采用存储资源映射方法通过在物理存储资源和虚拟存储资源请求之间建立合理的映射关系,来进行有效的存储资源管理。国内外相关研究提出合理的集群存储资源映射方法,将虚拟存储资源请求均匀地分配到节点上,然后进行节点内部设备级别的资源映射。
 
    2)支持多用户的资源使用和存储环境隔离机制
 
    当用户数量增多,有限的存储资源已经不能满足用户对该类资源的需求时,用户与资源的矛盾就会突显出来。解决这种矛盾的最有效办法就是采取有效资源共享机制,将有限数量的资源按需动态共享给多个用户使用。此外,在存储资源共享的同时,从用户角度看每个应用系统是独立的,不依赖于其他应用系统运行而运行,也不受其他应用系统和资源的运行结果影响,因此需要存储环境隔离技术来屏蔽各个应用系统对存储资源运行的互相影响。
 
    研究表明,利用存储虚拟化技术来整合不同厂商的存储系统。通过隔离主机层与物理存储资源,存储虚拟化技术可以将来自于不同存储设备(即使是不同厂商的设备)的存储容量汇集到一个共享的逻辑资源池中,这样存储的管理就更容易了。任何单体存储阵列所创建的物理卷的容量都是有限制的,而多个异构的存储系统联合在一起就可以创建出一个更大的逻辑卷。
 
    3)基于Hadoop的大数据存储机制
 
    大数据的各类描述方式的多样性,存在着结构化数据、半结构化数据和非结构化数据需要进行处理。对于结构化数据,虽然现在出现了各种各样的数据库类型,但通常的处理方式仍是采用关系型数据知识库进行处理;对于半结构化和非结构化的知识,Hadoop框架提供了很好的解决方案。
 
    Hadoop分布式文件系统HDFS是建立在大型集群上可靠存储大数据的文件系统,是分布式计算的存储基石。基于HFDS的Hive和HBase能够很好地支持大数据的存储。具体来说,使用Hive可以通过类SQL语句快速实现MapReduce统计,十分适合数据仓库的统计分析。HBase是分布式的基于列存储的非关系型数据库,它的查询效率很高,主要用于查询和展示结果;Hive是分布式的关系型数据仓库,主要用来并行处理大量数据。将Hive与HBase进行整合,共同用于大数据的处理,可以减少开发过程,提高开发效率。使用HBase存储大数据,使用Hive提供的SQL查询语言,可以十分方便地实现大数据的存储和分析。

【正-文-结-束】

大数据时代对企业经营决策的影响分析

伟创软件 -> 在互联网时代获得数据的方式多样,获得的数据形态丰富,有很多数据只是能够单纯的判断出结果而无法判断出处和因果。而传统观念是要获知事情的因果,也就是说不仅仅要知其然,而且还要知其所以然。而大数据时代的背景下这一点是非常难以做到的,所以获得的参考数据在形态上和数量上虽然获得了大规模提升,而对于数据做出合理的审核和判断也是未来决策者的难题。..


专业定制软件/服务
OA协同办公系统 ERP企业资源计划 CRM客户管理系统 KM知识管理系统 项目管理系统
合同管理系统 HR人力管理系统 进销存管理系统 流程管理系统 设备管理系统
工程管理系统 社区管理系统 房源管理系统 工时管理系统 档案管理系统
制造业OA办公系统 联合办公系统 考勤管理系统 仓储管理系统 实验室管理系统
零售管理系统 工会管理系统 企业ERP系统 KM知识软件 案件管理系统
供应商管理系统 企业资源计划系统 CRM软件系统 办公自动化系统 采购管理系统
客户管理软件 HR管理系统 知识库管理系统 资料管理系统 电子合同管理软件
产品管理系统 人力资源管理系统 项目管理软件 CRM系统 BPM流程软件
车辆管理系统 生产管理系统 行政管理系统 进销存软件 餐厅管理系统
订货管理系统 医疗管理系统 资产管理系统 销售管理系统 建筑施工管理系统
 
 
关键词: OA  ERP  CRM  KM  HR  合同  ERP  流程  档案  设备  考勤  项目  协同  知识  移动  OA概念  工会  施工  车辆  行政  资产  供应商  物业  工程  工时  不动产  国有资产  自建房  宅基地  公租房  国有不动产 
 
热线电话:400-0906-395  伟创软件-办公软件专家 All Rights Reserved. 资讯专题  行业专题  伟创软件  京ICP备17005839号 
项目 | 设备 | 知识 | 合同 | 档案 | 物业 | 工程 | OA |