当前位置: 首页>>读书讲堂>>前沿科技>>正文
大数据
2016-04-12 13:52  360百科

    大数据(big data,mega data),或称巨量资料,指的是需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。 在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据进行分析处理。大数据的5V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值密度)、Veracity(真实性)。

概念

大数据大数据

“大数据”是指以多元形式,自许多来源搜集而来的庞大数据组,往往具有实时性。在企业对企业销售的情况下,这些数据可能得自社交网络、电子商务网站、顾客来访纪录,还有许多其他来源。这些数据,并非公司顾客关系管理数据库的常态数据组。[13]

从技术上看,大数据[1]与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和/或虚拟化技术。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代[4]》中大数据指不用随机分析法(抽样调查)这样的捷径,而采用所有数据的方法)大数据的4V特点:Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。

早在1980年,著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中,将大数据热情地赞颂为“第三次浪潮的华彩乐章”。不过,大约从2009年开始,“大数据”才成为互联网信息技术行业的流行词汇。美国互联网数据中心指出,互联网上的数据每年将增长50%,每两年便将翻一番,而目前世界上90%以上的数据是最近几年才产生的。此外,数据又并非单纯指人们在互联网上发布的信息,全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化,也产生了海量的数据信息。[3]

大数据的意义是由人类日益普及的网络行为所伴生的,受到相关部门、企业采集的,蕴含数据生产者真实意图、喜好的,非传统结构和意义的数据 。2013年5月10日,阿里巴巴集团董事局主席马云在淘宝十周年晚会上,将卸任阿里集团CEO的职位,并在晚会上做卸任前的演讲,马云说,大家还没搞清PC时代的时候,移动互联网来了,还没搞清移动互联网的时候,大数据时代来了。

借着大数据时代的热潮,微软公司生产了一款数据驱动的软件,主要是为工程建设节约资源提高效率。在这个过程里可以为世界节约40%的能源。抛开这个软件的前景不看,从微软团队致力于研究开始,可以看他们的目标不仅是为了节约了能源,更加关注智能化运营。通过跟踪取暖器、空调、风扇以及灯光等积累下来的超大量数据,捕捉如何杜绝能源浪费。“给我提供一些数据,我就能做一些改变。如果给我提供所有数据,我就能拯救世界。”微软史密斯这样说。而智能建筑正是他的团队专注的事情。

从海量数据中“提纯”出有用的信息,这对网络架构和数据处理能力而言也是巨大的挑战。在经历了几年的批判、质疑、讨论、炒作之后,大数据终于迎来了属于它的时代。2012年3月22日,奥巴马政府宣布投资2亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家战略。奥巴马政府甚至将大数据定义为“未来的新石油”。

大数据时代已经来临,它将在众多领域掀起变革的巨浪。但我们要冷静的看到,大数据的核心在于为客户挖掘数据中蕴藏的价值,而不是软硬件的堆砌。因此,针对不同领域的大数据应用模式、商业模式研究将是大数据产业健康发展的关键。我们相信,在国家的统筹规划与支持下,通过各地方政府因地制宜制定大数据产业发展策略,通过国内外IT龙头企业以及众多创新企业的积极参与,大数据产业未来发展前景十分广阔。[2]

大数据就是互联网发展到现今阶段的一种表象或特征而已,没有必要神话它或对它保持敬畏之心,在以云计算为代表的技术创新大幕的衬托下,这些原本很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。[1]

折叠编辑本段意义

现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物。 阿里巴巴创办人马云来台演讲中就提到,未来的时代将不是IT时代,而是DT的时代,DT就是Data Technology数据科技,显示大数据对于阿里巴巴集团来说举足轻重。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。对于很多行业而言,如何利用这些大规模数据是成为赢得竞争的关键。

大数据的价值体现在以下几个方面:

1)对大量消费者提供产品或服务的企业可以利用大数据进行精准营销

2) 做小而美模式的中长尾企业可以利用大数据做服务转型[15]

3) 面临互联网压力之下必须转型的传统企业需要与时俱进充分利用大数据的价值

不过,“大数据”在经济发展中的巨大意义并不代表其能取代一切对于社会问题的理性思考,科学发展的逻辑不能被湮没在海量数据中。著名经济学家路德维希·冯·米塞斯曾提醒过:“就今日言,有很多人忙碌于资料之无益累积,以致对问题之说明与解决,丧失了其对特殊的经济意义的了解。”这确实是需要警惕的。

在这个快速发展的智能硬件时代,困扰应用开发者的一个重要问题就是如何在功率、覆盖范围、传输速率和成本之间找到那个微妙的平衡点。企业组织利用相关数据和分析可以帮助它们降低成本、提高效率、开发新产品、做出更明智的业务决策等等。例如,通过结合大数据和高性能的分析,下面这些对企业有益的情况都可能会发生:

1)及时解析故障、问题和缺陷的根源,每年可能为企业节省数十亿美元。

2)为成千上万的快递车辆规划实时交通路线,躲避拥堵。

3)分析所有SKU,以利润最大化为目标来定价和清理库存。

4)根据客户的购买习惯,为其推送他可能感兴趣的优惠信息。

5)从大量客户中快速识别出金牌客户。

6)使用点击流分析和数据挖掘来规避欺诈行为。

折叠编辑本段介绍

大数据时代的中国涂料行大数据时代的中国涂料行    

随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。《著云台》的分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

简言之,从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。

大数据的5个“V”,或者说特点有五层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”——Volume,Variety,Value,Velocity。

物联网、云计算、移动互联网车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器,无一不是数据来源或者承载的方式。

折叠编辑本段领域的应用

在时下商界的流行语中,很难找出一个比“大数据”更吸引眼球的术语了。大数据的颠覆和创新作用几乎在每个行业都有体现,风电行业也不例外。

上世纪90年代末,美国航空航天局的研究人员创造了大数据一词,自诞生以来,它一直是一个模糊而诱人的概念,直到最近几年,才跃升为一个主流词汇。但是,人们对它的态度却仍占据了光谱的两端,一些人对它抱有近乎宗教崇拜的热情,认为大数据时代将释放出巨大的价值,是通往未来的必然之途。在一些观察者眼中,大数据已成为劳动力和资本之外的第三生产力。而怀疑者称,大数据会威胁到知识产权,威胁到隐私保护,无法形成气候。[10]

产业洞察研究院表示无论如何,大数据在风电领域已有所建树。

首先,结合了大数据分析和天气建模技术的能源电力系统能够提高风电的可靠性。以往对风资源的预测不够精准,在风能无法贡献预期功力时,火电就要作为后备电力。这样,电网对风电的依赖程度越高,需要建设后备电站的成本就越高。另外,启用火电站的就等于向环境中释放碳排。然而,在大数据分析的帮助下,温度、气压、湿度、降雨量、风向和风力等变量都得到充分考虑,对风电的预测更加精准。电网调度人员可以提前做好调度安排,也有助于电网消纳更多风电。

除了做到更精准的预测,检测和采集风机的运转数据、风场的运营数据还有利于风机制造商更好地改善风机的性能,风电场业主在追求风场效益最大化时也离不开大数据。

大数据在风电领域的应用前景看起来很美,但当前存在的问题是,将风机、风场的数据汇集起来并非易事。这些数据分散在风机制造商、风场业主、系统运营商和运维服务商等多个环节手中,他们能从这些数据中得到利益却无法做到合理分配,所以,有些利益相关方宁愿不分享这些数据。

知识产权问题也是大数据影响风电进程的一个拦路虎。试想,如果多家风机制造商都公开风机的设计数据,那将是整个行业的幸事,通过交流和分享,风机的设计会有所改善性,性能会提高。但出于商业竞争考虑,风机制造商往往将这些数据视为商业机密、竞争利器,不愿公开。同理,风场业主收集和保存的风电运行数据不但有助于他们做出更好的业务决策,也有利于第三方运维企业提供更好的服务,但在实际情况下,运维商却很难得到这些数据。

风电行业的意义在于向终端消费者提供更稳定、更清洁、更廉价的电力,这是行业存在合理性的根据,也是业界努力的方向。共建并分享运营数据,进而激发这些数据的全部潜力才是风电行业迎接大数据时代的应有姿态。

关闭窗口
   
 
 
 首页 | 本馆概况 | 入馆指南 | 读者服务 | 资源检索 | 参考咨询 | 读书讲堂 | 相关下载 

版权所有:图书馆