现在每个人都说大数据，但是它是概念的意义大于实质的意义。我们每个人觉得它像石油，金矿一样宝贵。但即便他是石油，如果没有用于汽车，没有用于飞机，其实它就是没有价值的。
尽管中国的大数据产业还处于发展的初级阶段，具有广阔的市场发展前景。但我们发现，并不是我们完成数据分析了，就完全可以被用户所接受。必须得是一个优秀的产品，才能够去变成商品产生价值。在这个过程里面，数据可视化的意义就会凸显出来。也就是说，我们是通过数据分析加上数据的可视化，才能够去真正地让用户了解到大数据，不再是很生硬的看不懂的东西，而是说真正的能够去使用，去用于他自己的公司产品的预判预测和企业决策。我们觉得这个数据可视化的意义基本上就在这里。事实上，海云的价值点就在这里。
“我们一直在倡导大数据+的概念。就是说让大数据去成为产品，去落地，去帮助用户更加科学地运用数据。现在政府在倡导的互联网+的概念，跟我们这个也有相同之处。互联网+也是说互联网这个概念要落地，要去结合传统行业，对传统行业进行产业的升级换代进行整体的提升，互联网化的改造。大数据+也是一样，我们希望大数据这个飘在天上的概念，去真正落到实际当中去，让各行各业的用户能够利用大数据产生价值。” "大数据"是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。 "大数据"首先是指数据体量(volumes)?大，指代大型数据集，一般在10TB?规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。 SAS企业挖掘系统(SAS/Enterprise Miner)广泛应用于解决欺诈侦测、雇员流动、客户获取与维持、网络销售、市场细分、风险分析、亲和性分析、客户满意度、破产预测和投资组合分析等多样化问题。根据大数据时代的企业挖掘的特征，SAS INSTITUTE提出了数据挖掘的SEMMA方法论——在SAS/EM环境中，数据挖掘过程被划分为Sample、Explore、Modify、Model、Assess这五个阶段，简记为SEMMA: 1.Sample 抽取一些代表性的样本数据集(通常为训练集、验证集和测试集)。样本容量的选择标准为：包含足够的重要信息，同时也要便于分析操作。该步骤涉及的处理工具为：数据导入、合并、粘贴、过滤以及统计抽样方法。 2.Explore 通过考察关联性、趋势性以及异常值的方式来探索数据，增进对于数据的认识。该步骤涉及的工具为：统计报告、视图探索、变量选择以及变量聚类等方法。 3.Modify 以模型选择为目标，通过创建、选择以及转换变量的方式来修改数据集。该步骤涉及工具为：变量转换、缺失处理、重新编码以及数据分箱等。 4.Model 为了获得可靠的预测结果，我们需要借助于分析工具来训练统计模型或者机器学习模型。该步骤涉及技术为：线性及逻辑回归、决策树、神经网络、偏最小二乘法、LARS及LASSO、K近邻法以及其他用户(包括非SAS用户)的模型算法。 5.Assess 评估数据挖掘结果的有效性和可靠性。涉及技术为：比较模型及计算新的拟合统计量、临界分析、决策支持、报告生成、评分代码管理等。数据挖掘者可能不会使用全部SEMMA分析步骤。然而，在获得满意结果之前，可能需要多次重复其中部分或者全部步骤。 "大数据"的概念远不止大量的数据（TB）和处理大量数据的技术，或者所谓的"4个V"之类的简单概念，而是涵盖了人们在大规模数据的基础上可以做的事情，而这些事情在小规模数据的基础上是无法实现的。换句话说，大数据让我们以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革之力.
..
|
