一文带你暴力拆解大数据

在写这篇文章之前,我发现身边很多IT人对于这些热门的新技术、新趋势往往趋之若鹜却又很难说的透彻,如果你问他大数据和你有什么关系?估计很少能说出一二三来。究其原因,一是因为大家对新技术有着相同的原始渴求,至少知其然在聊天时不会显得很“土鳖”;二是在工作和生活环境中真正能参与实践大数据的案例实在太少了,所以大家没有必要花时间去知其所以然。

我希望有些不一样,所以对该如何去认识大数据进行了一番思索,包括查阅了资料,翻阅了最新的专业书籍,但我并不想把那些零散的资料碎片或不同理解论述简单规整并堆积起来形成毫无价值的转述或评论,我很真诚的希望进入事物探寻本质。

如果你说大数据就是数据大,或者侃侃而谈4个V,也许很有深度的谈到BI或预测的价值,又或者拿Google和Amazon举例,技术流可能会聊起Hadoop和Cloud Computing,不管对错,只是无法勾勒对大数据的整体认识,不说是片面,但至少有些管窥蠡测、隔衣瘙痒了。也许,“解构”是最好的方法。

怎样结构大数据

首先,我认为大数据就是互联网发展到现今阶段的一种表象或特征而已,没有必要神话它或对它保持敬畏之心,在以云计算为代表的技术创新大幕的衬托下,这些原本很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。

其次,想要系统的认知大数据,必须要全面而细致的分解它,我着手从三个层面来展开:

 

  第一层面是理论,理论是认知的必经途径,也是被广泛认同和传播的基线。我会从大数据的特征定义理解行业对大数据的整体描绘和定性;从对大数据价值的探讨来深入解析大数据的珍贵所在;从对大数据的现在和未来去洞悉大数据的发展趋势;从大数据隐私这个特别而重要的视角审视人和数据之间的长久博弈。

 

第二层面是技术,技术是大数据价值体现的手段和前进的基石。我将分别从云计算、分布式处理技术、存储技术和感知技术的发展来说明大数据从采集、处理、存储到形成结果的整个过程。

第三层面是实践,实践是大数据的最终价值体现。我将分别从互联网的大数据,政府的大数据,企业的大数据和个人的大数据四个方面来描绘大数据已经展现的美好景象及即将实现的蓝图。

 大数据相关的理论

  1、特征定义

最早提出大数据时代到来的是麦肯锡:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”

业界(IBM 最早定义)将大数据的特征归纳为4个“V”(量Volume,多样Variety,价值Value,速Velocity),或者说特点有四个层面:

第一,数据体量巨大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T);

第二,数据类型繁多。比如,网络日志、视频、图片、地理位置信息等等;

第三,价值密度低,商业价值高。

第四,处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。

其实这些V并不能真正说清楚大数据的所有特征,下面这张图对大数据的一些相关特性做出了有效的说明。

古语云:三分技术,七分数据,得数据者得天下。先不论谁说的,但是这句话的正确性已经不用去论证了。维克托·迈尔-舍恩伯格在《大数据时代》一书中举了百般例证,都是为了说明一个道理:在大数据时代已经到来的时候要用大数据思维去发掘大数据的潜在价值。书中,作者提及最多的是Google如何利用人们的搜索记录挖掘数据二次利用价值,比如预测某地流感爆发的趋势;Amazon如何利用用户的购买和浏览历史数据进行有针对性的书籍购买推荐,以此有效提升销售量;Farecast如何利用过去十年所有的航线机票价格打折数据,来预测用户购买机票的时机是否合适。

那么,什么是大数据思维?维克托·迈尔-舍恩伯格认为,1-需要全部数据样本而不是抽样;2-关注效率而不是精确度;3-关注相关性而不是因果关系。

阿里巴巴的王坚对于大数据也有一些独特的见解,比如:

“今天的数据不是大,真正有意思的是数据变得在线了,这个恰恰是互联网的特点。”

“非互联网时期的产品,功能一定是它的价值,今天互联网的产品,数据一定是它的价值。”

“你千万不要想着拿数据去改进一个业务,这不是大数据。你一定是去做了一件以前做不了的事情。”

特别是最后一点,我是非常认同的,大数据的真正价值在于创造,在于填补无数个还未实现过的空白。

有人把数据比喻为蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。

2、价值探讨

大数据是什么?投资者眼里是金光闪闪的两个字:资产。比如,Facebook上市时,评估机构评定的有效资产中大部分都是其社交网站上的数据。

如果把大数据比作一种产业,那么这种产业实现盈利的关键,在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”。

Target 超市以20多种怀孕期间孕妇可能会购买的商品为基础,将所有用户的购买记录作为数据来源,通过构建模型分析购买者的行为相关性,能准确的推断出孕妇的具体临盆时间,这样Target的销售部门就可以有针对的在每个怀孕顾客的不同阶段寄送相应的产品优惠卷。

Target的例子是一个很典型的案例,这样印证了维克托·迈尔-舍恩伯格提过的一个很有指导意义的观点:通过找出一个关联物并监控它,就可以预测未来。Target通过监测购买者购买商品的时间和品种来准确预测顾客的孕期,这就是对数据的二次利用的典型案例。如果,我们通过采集驾驶员手机的GPS数据,就可以分析出当前哪些道路正在堵车,并可以及时发布道路交通提醒;通过采集汽车的GPS位置数据,就可以分析城市的哪些区域停车较多,这也代表该区域有着较为活跃的人群,这些分析数据适合卖给广告投放商。

不管大数据的核心价值是不是预测,但是基于大数据形成决策的模式已经为不少的企业带来了盈利和声誉。

从大数据的价值链条来分析,存在三种模式:

手握大数据,但是没有利用好;比较典型的是金融机构,电信行业,政府机构等。

没有数据,但是知道如何帮助有数据的人利用它;比较典型的是IT咨询和服务企业,比如,埃森哲,IBM,Oracle等。

既有数据,又有大数据思维;比较典型的是Google,Amazon,Mastercard等。

未来在大数据领域最具有价值的是两种事物:

拥有大数据思维的人,这种人可以将大数据的潜在价值转化为实际利益;

还未有被大数据触及过的业务领域。这些是还未被挖掘的油井,金矿,是所谓的蓝海。

Wal-Mart作为零售行业的巨头,他们的分析人员会对每个阶段的销售记录进行了全面的分析,有一次他们无意中发现虽不相关但很有价值的数据,在美国的飓风来临季节,超市的蛋挞和抵御飓风物品竟然销量都有大幅增加,于是他们做了一个明智决策,就是将蛋挞的销售位置移到了飓风物品销售区域旁边,看起来是为了方便用户挑选,但是没有想到蛋挞的销量因此又提高了很多。

还有一个有趣的例子,1948年辽沈战役期间,司令员林彪要求每天要进行例常的“每日军情汇报”,由值班参谋读出下属各个纵队、师、团用电台报告的当日战况和缴获情况。那几乎是重复着千篇一律枯燥无味的数据:每支部队歼敌多少、俘虏多少;缴获的火炮、车辆多少,枪支、物资多少……有一天,参谋照例汇报当日的战况,林彪突然打断他:“刚才念的在胡家窝棚那个战斗的缴获,你们听到了吗?”大家都很茫然,因为如此战斗每天都有几十起,不都是差不多一模一样的枯燥数字吗?林彪扫视一周,见无人回答,便接连问了三句:“为什么那里缴获的短枪与长枪的比例比其它战斗略高?”“为什么那里缴获和击毁的小车与大车的比例比其它战斗略高?”“为什么在那里俘虏和击毙的军官与士兵的比例比其它战斗略高?”林彪司令员大步走向挂满军用地图的墙壁,指着地图上的那个点说:“我猜想,不,我断定!敌人的指挥所就在这里!”果然,部队很快就抓住了敌方的指挥官廖耀湘,并取得这场重要战役的胜利。

这些例子真实的反映在各行各业,探求数据价值取决于把握数据的人,关键是人的数据思维;与其说是大数据创造了价值,不如说是大数据思维触发了新的价值增长。

 现在和未来

我们先看看大数据在当下有怎样的杰出表现:

大数据帮助政府实现市场经济调控、公共卫生安全防范、灾难预警、社会舆论监督;

大数据帮助城市预防犯罪,实现智慧交通,提升紧急应急能力;

大数据帮助医疗机构建立患者的疾病风险跟踪机制,帮助医药企业提升药品的临床使用效果,帮助艾滋病研究机构为患者提供定制的药物;

大数据帮助航空公司节省运营成本,帮助电信企业实现售后服务质量提升,帮助保险企业识别欺诈骗保行为,帮助快递公司监测分析运输车辆的故障险情以提前预警维修,帮助电力公司有效识别预警即将发生故障的设备;

大数据帮助电商公司向用户推荐商品和服务,帮助旅游网站为旅游者提供心仪的旅游路线,帮助二手市场的买卖双方找到最合适的交易目标,帮助用户找到最合适的商品购买时期、商家和最优惠价格;

大数据帮助企业提升营销的针对性,降低物流和库存的成本,减少投资的风险,以及帮助企业提升广告投放精准度;

大数据帮助娱乐行业预测歌手,歌曲,电影,电视剧的受欢迎程度,并为投资者分析评估拍一部电影需要投入多少钱才最合适,否则就有可能收不回成本;

大数据帮助社交网站提供更准确的好友推荐,为用户提供更精准的企业招聘信息,向用户推荐可能喜欢的游戏以及适合购买的商品。

其实,这些还远远不够,未来大数据的身影应该无处不在,就算无法准确预测大数据终会将人类社会带往到哪种最终形态,但我相信只要发展脚步在继续,因大数据而产生的变革浪潮将很快淹没地球的每一个角落。

比如,Amazon的最终期望是:“最成功的书籍推荐应该只有一本书,就是用户要买的下一本书。”

Google也希望当用户在搜索时,最好的体验是搜索结果只包含用户所需要的内容,而这并不需要用户给予Google太多的提示。

而当物联网发展到达一定规模时,借助条形码、二维码、RFID等能够唯一标识产品,传感器、可穿戴设备、智能感知、视频采集、增强现实等技术可实现实时的信息采集和分析,这些数据能够支撑智慧城市,智慧交通,智慧能源,智慧医疗,智慧环保的理念需要,这些都所谓的智慧将是大数据的采集数据来源和服务范围。

未来的大数据除了将更好的解决社会问题,商业营销问题,科学技术问题,还有一个可预见的趋势是以人为本的大数据方针。人才是地球的主宰,大部分的数据都与人类有关,要通过大数据解决人的问题。

比如,建立个人的数据中心,将每个人的日常生活习惯,身体体征,社会网络,知识能力,爱好性情,疾病嗜好,情绪波动……换言之就是记录人从出生那一刻起的每一分每一秒,将除了思维外的一切都储存下来,这些数据可以被充分的利用:

医疗机构将实时的监测用户的身体健康状况;

教育机构更有针对的制定用户喜欢的教育培训计划;

服务行业为用户提供即时健康的符合用户生活习惯的食物和其它服务;

社交网络能为你提供合适的交友对象,并为志同道合的人群组织各种聚会活动;

政府能在用户的心理健康出现问题时有效的干预,防范自杀,刑事案件的发生;

金融机构能帮助用户进行有效的理财管理,为用户的资金提供更有效的使用建议和规划;道路交通、汽车租赁及运输行业可以为用户提供更合适的出行线路和路途服务安排;

当然,上面的一切看起来都很美好,但是否是以牺牲了用户的自由为前提呢?只能说当新鲜事物带来了革新的同时也同样带来了“病菌”。比如,在手机未普及前,大家喜欢聚在一起聊天,自从手机普及后特别是有了互联网,大家不用聚在一起也可以随时随地的聊天,只是“病菌”滋生了另外一种情形,大家慢慢习惯了和手机共渡时光,人与人之间情感交流仿佛永远隔着一张“网”。

大数据隐私

你或许并不敏感,当你在不同的网站上注册了个人信息后,可能这些信息已经被扩散出去了,当你莫名其妙的接到各种邮件,电话,短信的滋扰时,你不会想到自己的电话号码,邮箱,生日,购买记录,收入水平,家庭住址,亲朋好友等私人信息早就被各种商业机构非法存储或贱卖给其它任何有需要的企业或个人了。

更可怕的是,这些信息你永远无法删除,它们永远存在于互联网的某些你不知道的角落。除非你更换掉自己的所有信息,但是这代价太大了。

用户隐私问题一直是大数据应用难以绕开的一个问题,如被央视曝光过的分众无线、罗维邓白氏以及网易邮箱都涉及侵犯用户隐私。目前,中国并没有专门的法律法规来界定用户隐私,处理相关问题时多采用其他相关法规条例来解释。但随着民众隐私意识的日益增强,合法合规地获取数据、分析数据和应用数据,是进行大数据分析时必须遵循的原则。

说到隐私被侵犯,爱德华?斯诺登应该占据一席之地,这位前美国中央情报局(CIA)雇员一手引爆了美国“棱镜计划”(PRISM)的内幕消息。“棱镜”项目是一项由美国国家安全局(NSA)自2007年起开始实施的绝密电子监听计划,年耗资近2000亿美元,用于监听全美电话通话记录,据称还可以使情报人员通过“后门”进入9家主要科技公司的服务器,包括微软、雅虎、谷歌、Facebook、PalTalk、美国在线、Skype、YouTube、苹果。这个事件引发了人们对政府使用大数据时对公民隐私侵犯的担心。

再看看我们身边,当微博,微信,QQ空间这些社交平台肆意的吞噬着数亿用户的各种信息时,你就不要指望你还有隐私权了,就算你在某个地方删除了,但也许这些信息已经被其他人转载或保存了,更有可能已经被百度或Google存为快照,早就提供给任意用户搜索了。

因此在大数据的背景下,很多人都在积极的抵制无底线的数字化,这种大数据和个体之间的博弈还会一直继续下去……

专家给予了我们一些如何有效保护大数据背景下隐私权的建议:

减少信息的数字化;

隐私权立法;

数字隐私权基础设施(类似DRM数字版权管理);

人类改变认知(接受忽略过去);

创造良性的信息生态;

语境化。

但是这些都很难立即见效或者有实质性的改善。

比如,现在有一种职业叫删帖人,专门负责帮人到各大网站删帖,删除评论。其实这些人就是通过黑客技术侵入各大网站,破获管理员的密码然后进行手工定向删除。只不过他们保护的不是客户的隐私,而大多是丑闻。还有一种职业叫人肉专家,他们负责从互联网上找到一个与他们根本就无关系用户的任意信息。这是很可怕的事情,也就是说,如果有人想找到你,只需要两个条件:1-你上过网,留下过痕迹;2-你的亲朋好友或仅仅是认识你的人上过网,留下过你的痕迹。这两个条件满足其一,人肉专家就可以很轻松的找到你,可能还知道你现在正在某个餐厅和谁一起共进晚餐。

当很多互联网企业意识到隐私对于用户的重要性时,为了继续得到用户的信任,他们采取了很多办法,比如google承诺仅保留用户的搜索记录9个月,浏览器厂商提供了无痕冲浪模式,社交网站拒绝公共搜索引擎的爬虫进入,并将提供出去的数据全部采取匿名方式处理等。

在这种复杂的环境里面,很多人依然没有建立对于信息隐私的保护意识,让自己一直处于被滋扰,被精心设计,被利用,被监视的处境中。可是,我们能做的几乎微乎其微,因为个人隐私数据已经无法由我们自己掌控了,就像一首诗里说到的:“如果你现在继续麻木,那就别指望这麻木能抵挡得住被”扒光”那一刻的惊恐和绝望……”

大数据相关技术

  云技术

大数据常和云计算联系到一起,因为实时的大型数据集分析需要分布式处理框架来向数十、数百或甚至数万的电脑分配工作。可以说,云计算充当了工业革命时期的发动机的角色,而大数据则是电。

云计算思想的起源是麦卡锡在上世纪60年代提出的:把计算能力作为一种像水和电一样的公用事业提供给用户。

如今,在Google、Amazon、Facebook等一批互联网企业引领下,一种行之有效的模式出现了:云计算提供基础架构平台,大数据应用运行在这个平台上。

业内是这么形容两者的关系:没有大数据的信息积淀,则云计算的计算能力再强大,也难以找到用武之地;没有云计算的处理能力,则大数据的信息积淀再丰富,也终究只是镜花水月。

那么大数据到底需要哪些云计算技术呢?

这里暂且列举一些,比如虚拟化技术,分布式处理技术,海量数据的存储和管理技术,NoSQL、实时流数据处理、智能分析技术(类似模式识别以及自然语言理解)等。

云计算和大数据之间的关系可以用下面的一张图来说明,两者之间结合后会产生如下效应:可以提供更多基于海量业务数据的创新型服务;通过云计算技术的不断发展降低大数据业务的创新成本。

如果将云计算与大数据进行一些比较,最明显的区分在两个方面:

第一,在概念上两者有所不同,云计算改变了IT,而大数据则改变了业务。然而大数据必须有云作为基础架构,才能得以顺畅运营。

第二,大数据和云计算的目标受众不同,云计算是CIO等关心的技术层,是一个进阶的IT解决方案。而大数据是CEO关注的、是业务层的产品,而大数据的决策者是业务层。

分布式处理技术

分布式处理系统可以将不同地点的或具有不同功能的或拥有不同数据的多台计算机用通信网络连接起来,在控制系统的统一管理控制下,协调地完成信息处理任务—这就是分布式处理系统的定义。

以Hadoop(Yahoo)为例进行说明,Hadoop是一个实现了MapReduce模式的能够对大量数据进行分布式处理的软件框架,是以一种可靠、高效、可伸缩的方式进行处理的。

而MapReduce是Google提出的一种云计算的核心计算模式,是一种分布式运算技术,也是简化的分布式编程模式,MapReduce模式的主要思想是将自动分割要执行的问题(例如程序)拆解成map(映射)和reduce(化简)的方式, 在数据被分割后通过Map 函数的程序将数据映射成不同的区块,分配给计算机机群处理达到分布式运算的效果,在通过Reduce 函数的程序将结果汇整,从而输出开发者需要的结果。

再来看看Hadoop的特性,第一,它是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。其次,Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop 还是可伸缩的,能够处理 PB 级数据。此外,Hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用。

你也可以这么理解Hadoop的构成,Hadoop=HDFS(文件系统,数据存储技术相关)+HBase(数据库)+MapReduce(数据处理)+……Others

Hadoop用到的一些技术有:

HDFS: Hadoop分布式文件系统(Distributed File System) – HDFS (HadoopDistributed File System)

MapReduce:并行计算框架

HBase: 类似Google BigTable的分布式NoSQL列数据库。

Hive:数据仓库工具,由Facebook贡献。

Zookeeper:分布式锁设施,提供类似Google Chubby的功能,由Facebook贡献。

Avro:新的数据序列化格式与传输工具,将逐步取代Hadoop原有的IPC机制。

Pig:大数据分析平台,为用户提供多种接口。

Ambari:Hadoop管理工具,可以快捷的监控、部署、管理集群。

Sqoop:用于在Hadoop与传统的数据库间进行数据的传递。

说了这么多,举个实际的例子,虽然这个例子有些陈旧,但是淘宝的海量数据技术架构还是有助于我们理解对于大数据的运作处理机制:

淘宝大数据

如上图所示,淘宝的海量数据产品技术架构分为五个层次,从上至下来看它们分别是:数据源,计算层,存储层,查询层和产品层。

数据来源层:存放着淘宝各店的交易数据。在数据源层产生的数据,通过DataX,DbSync和Timetunel准实时的传输到下面第2点所述的“云梯”。

计算层:在这个计算层内,淘宝采用的是Hadoop集群,这个集群,我们暂且称之为云梯,是计算层的主要组成部分。在云梯上,系统每天会对数据产品进行不同的MapReduce计算。

存储层:在这一层,淘宝采用了两个东西,一个使MyFox,一个是Prom。MyFox是基于MySQL的分布式关系型数据库的集群,Prom是基于Hadoop Hbase技术的一个NoSQL的存储集群。

查询层:在这一层中,Glider是以HTTP协议对外提供restful方式的接口。数据产品通过一个唯一的URL来获取到它想要的数据。同时,数据查询即是通过MyFox来查询的。

最后一层是产品层,这个就不用解释了。

存储技术

大数据可以抽象的分为大数据存储和大数据分析,这两者的关系是:大数据存储的目的是支撑大数据分析。到目前为止,还是两种截然不同的计算机技术领域:大数据存储致力于研发可以扩展至PB甚至EB级别的数据存储平台;大数据分析关注在最短时间内处理大量不同类型的数据集。

提到存储,有一个着名的摩尔定律相信大家都听过:18个月集成电路的复杂性就增加一倍。所以,存储器的成本大约每18-24个月就下降一半。成本的不断下降也造就了大数据的可存储性。

比如,Google大约管理着超过50万台服务器和100万块硬盘,而且Google还在不断的扩大计算能力和存储能力,其中很多的扩展都是基于在廉价服务器和普通存储硬盘的基础上进行的,这大大降低了其服务成本,因此可以将更多的资金投入到技术的研发当中。

以Amazon举例,Amazon S3 是一种面向 Internet 的存储服务。该服务旨在让开发人员能更轻松的进行网络规模计算。Amazon S3 提供一个简明的 Web 服务界面,用户可通过它随时在 Web 上的任何位置存储和检索的任意大小的数据。 此服务让所有开发人员都能访问同一个具备高扩展性、可靠性、安全性和快速价廉的基础设施,Amazon 用它来运行其全球的网站网络。再看看S3的设计指标:在特定年度内为数据元提供 99.999999999% 的耐久性和 99.99% 的可用性,并能够承受两个设施中的数据同时丢失。

S3很成功也确实卓有成效,S3云的存储对象已达到万亿级别,而且性能表现相当良好。S3云已经拥万亿跨地域存储对象,同时AWS的对象执行请求也达到百万的峰值数量。目前全球范围内已经有数以十万计的企业在通过AWS运行自己的全部或者部分日常业务。这些企业用户遍布190多个国家,几乎世界上的每个角落都有Amazon用户的身影。

感知技术

大数据的采集和感知技术的发展是紧密联系的。以传感器技术,指纹识别技术,RFID技术,坐标定位技术等为基础的感知能力提升同样是物联网发展的基石。全世界的工业设备、汽车、电表上有着无数的数码传感器,随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化,都会产生海量的数据信息。

而随着智能手机的普及,感知技术可谓迎来了发展的高峰期,除了地理位置信息被广泛的应用外,一些新的感知手段也开始登上舞台,比如,最新的”iPhone 5S”在home键内嵌指纹传感器,新型手机可通过呼气直接检测燃烧脂肪量,用于手机的嗅觉传感器面世可以监测从空气污染到危险的化学药品,微软正在研发可感知用户当前心情智能手机技术,谷歌眼镜InSight新技术可通过衣着进行人物识别。

除此之外,还有很多与感知相关的技术革新让我们耳目一新:比如,牙齿传感器实时监控口腔活动及饮食状况,婴儿穿戴设备可用大数据去养育宝宝,Intel正研发3D笔记本摄像头可追踪眼球读懂情绪,日本公司开发新型可监控用户心率的纺织材料,业界正在尝试将生物测定技术引入支付领域等。

其实,这些感知被逐渐捕获的过程就是就世界被数据化的过程,一旦世界被完全数据化了,那么世界的本质也就是信息了。

就像一句名言所说,“人类以前延续的是文明,现在传承的是信息。”

 大数据的实践

  互联网的大数据

互联网上的数据每年增长50%,每两年便将翻一番,而目前世界上90%以上的数据是最近几年才产生的。据IDC预测,到2020年全球将总共拥有35ZB的数据量。互联网是大数据发展的前哨阵地,随着WEB2.0时代的发展,人们似乎都习惯了将自己的生活通过网络进行数据化,方便分享以及记录并回忆。

互联网上的大数据很难清晰的界定分类界限,我们先看看BAT的大数据:

百度拥有两种类型的大数据:用户搜索表征的需求数据;爬虫和阿拉丁获取的公共web数据。搜索巨头百度围绕数据而生。它对网页数据的爬取、网页内容的组织和解析,通过语义分析对搜索需求的精准理解进而从海量数据中找准结果,以及精准的搜索引擎关键字广告,实质上就是一个数据的获取、组织、分析和挖掘的过程。搜索引擎在大数据时代面临的挑战有:更多的暗网数据;更多的WEB化但是没有结构化的数据;更多的WEB化、结构化但是封闭的数据。

阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现,挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据。如微博和高德。

腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息,甚至预测未来。

在信息技术更为发达的美国,除了行业知名的类似Google,Facebook外,已经涌现了很多大数据类型的公司,它们专门经营数据产品,比如:

Metamarkets:这家公司对Twitter、支付、签到和一些与互联网相关的问题进行了分析,为客户提供了很好的数据分析支持。

Tableau:他们的精力主要集中于将海量数据以可视化的方式展现出来。Tableau为数字媒体提供了一个新的展示数据的方式。他们提供了一个免费工具,任何人在没有编程知识背景的情况下都能制造出数据专用图表。这个软件还能对数据进行分析,并提供有价值的建议。

ParAccel:他们向美国执法机构提供了数据分析,比如对15000个有犯罪前科的人进行跟踪,从而向执法机构提供了参考性较高的犯罪预测。他们是犯罪的预言者。

QlikTech:QlikTech旗下的Qlikview是一个商业智能领域的自主服务工具,能够应用于科学研究和艺术等领域。为了帮助开发者对这些数据进行分析,QlikTech提供了对原始数据进行可视化处理等功能的工具。

GoodData:GoodData希望帮助客户从数据中挖掘财富。这家创业公司主要面向商业户和IT企业高管,提供数据存储、性能报告、数据分析等工具。

TellApart:TellApart和电商公司进行合作,他们会根据用户的浏览行为等数据进行分析,通过锁定潜在买家方式提高电商企业的收入。

DataSift:DataSift主要收集并分析社交网络媒体上的数据,并帮助品牌公司掌握突发新闻的舆论点,并制定有针对性的营销方案。这家公司还和Twitter有合作协议,使得自己变成了行业中为数不多可以分析早期tweet的创业公司。

Datahero:公司的目标是将复杂的数据变得更加简单明了,方便普通人去理解和想象。

举了很多例子,这里简要归纳一下,在互联网大数据的典型代表性包括:

用户行为数据(精准广告投放、内容推荐、行为习惯和喜好分析、产品优化等)

用户消费数据(精准营销、信用记录分析、活动促销、理财等)

用户地理位置数据(O2O推广,商家推荐,交友推荐等)

互联网金融数据(P2P,小额贷款,支付,信用,供应链金融等)

用户社交等UGC数据(趋势分析、流行元素分析、受欢迎程度分析、舆论监控分析、社会问题分析等)

政府的大数据

奥巴马政府曾宣布投资2亿美元拉动大数据相关产业发展,将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”,并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分,未来,对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。

在国内,政府各个部门都握有构成社会基础的原始数据,比如,气象数据,金融数据,信用数据,电力数据,煤气数据,自来水数据,道路交通数据,客运数据,安全刑事案件数据,住房数据,海关数据,出入境数据,旅游数据,医疗数据,教育数据,环保数据等等。这些数据在每个政府部门里面看起来是单一的,静态的。但是,如果政府可以将这些数据关联起来,并对这些数据进行有效的关联分析和统一管理,这些数据必定将获得新生,其价值是无法估量的。

具体来说,现在城市都在走向智能和智慧,比如,智能电网、智慧交通、智慧医疗、智慧环保、智慧城市,这些都依托于大数据,可以说大数据是智慧的核心能源。从国内整体投资规模来看,到2012年底全国开建智慧城市的城市数超过180个,通信网络和数据平台等基础设施建设投资规模接近5000亿元。“十二五”期间智慧城市建设拉动的设备投资规模将达1万亿元人民币。大数据为智慧城市的各个领域提供决策支持。在城市规划方面,通过对城市地理、气象等自然信息和经济、社会、文化、人口等人文社会信息的挖掘,可以为城市规划提供决策,强化城市管理服务的科学性和前瞻性。在交通管理方面,通过对道路交通信息的实时挖掘,能有效缓解交通拥堵,并快速响应突发状况,为城市交通的良性运转提供科学的决策依据。在舆情监控方面,通过网络关键词搜索及语义智能分析,能提高舆情分析的及时性、全面性,全面掌握社情民意,提高公共服务能力,应对网络突发的公共事件,打击违法犯罪。在安防与防灾领域,通过大数据的挖掘,可以及时发现人为或自然灾害、恐怖事件,提高应急处理能力和安全防范能力。

另外,作为国家的管理者,政府应该有勇气将手中的数据逐步开放,供给更多有能力的机构组织或个人来分析并加以利用,以加速造福人类。比如,美国政府就筹建了一个data.gov网站,这是奥巴马任期内的一个重要举措:要求政府公开透明,而核心就是实现政府机构的数据公开。截止目前,已经开放了有91054 个datasets;349citizen-developed apps;137 mobile apps;175 agencies and subagencies;87 galleries;295 Government APIs。

企业的大数据

企业的CXO们最关注的还是报表曲线的背后能有怎样的信息,他该做怎样的决策,其实这一切都需要通过数据来传递和支撑。在理想的世界中,大数据是巨大的杠杆,可以改变公司的影响力,带来竞争差异、节省金钱、增加利润、愉悦买家、奖赏忠诚用户、将潜在客户转化为客户、增加吸引力、打败竞争对手、开拓用户群并创造市场。

那么,哪些传统企业最需要大数据服务呢?抛砖引玉,先举几个例子:1) 对大量消费者提供产品或服务的企业(精准营销);2) 做小而美模式的中长尾企业(服务转型);3) 面临互联网压力之下必须转型的传统企业(生死存亡)。

对于企业的大数据,还有一种预测:随着数据逐渐成为企业的一种资产,数据产业会向传统企业的供应链模式发展,最终形成“数据供应链”。这里尤其有两个明显的现象:1) 外部数据的重要性日益超过内部数据。在互联互通的互联网时代,单一企业的内部数据与整个互联网数据比较起来只是沧海一粟;2) 能提供包括数据供应、数据整合与加工、数据应用等多环节服务的公司会有明显的综合竞争优势。

对于提供大数据服务的企业来说,他们等待的是合作机会,就像微软史密斯说的:“给我提供一些数据,我就能做一些改变。如果给我提供所有数据,我就能拯救世界。”

然而,一直做企业服务的巨头将优势不在,不得不眼看新兴互联网企业加入战局,开启残酷竞争模式。为何会出现这种局面?从 IT 产业的发展来看,第一代 IT 巨头大多是 ToB 的,比如 IBM、Microsoft、Oracle、SAP、HP这类传统 IT 企业;第二代 IT 巨头大多是ToC 的,比如 Yahoo、Google、Amazon、Facebook 这类互联网企业。大数据到来前,这两类公司彼此之间基本是井水不犯河水;但在当前这个大数据时代,这两类公司已经开始直接竞争。比如 Amazon 已经开始提供云模式的数据仓库服务,直接抢占 IBM、Oracle 的市场。这个现象出现的本质原因是:在互联网巨头的带动下,传统 IT 巨头的客户普遍开始从事电子商务业务,正是由于客户进入了互联网,所以传统 IT 巨头们不情愿地被拖入了互联网领域。如果他们不进入互联网,他们业务必将萎缩。在进入互联网后,他们又必须将云技术,大数据等互联网最具有优势的技术通过封装打造成自己的产品再提供给企业。

以IBM举例,上一个十年,他们抛弃了PC,成功转向了软件和服务,而这次将远离服务与咨询,更多地专注于因大数据分析软件而带来的全新业务增长点。IBM执行总裁罗睿兰认为,“数据将成为一切行业当中决定胜负的根本因素,最终数据将成为人类至关重要的自然资源。”IBM积极的提出了“大数据平台”架构。该平台的四大核心能力包括Hadoop系统、流计算(StreamComputing)、数据仓库(Data Warehouse)和信息整合与治理(Information Integration and Governance)

IBM大数据

另外一家亟待通过云和大数据战略而复苏的巨头公司HP也推出了自己的产品:HAVEn,一个可以自由扩展伸缩的大数据解决方案。这个解决方案由HP Autonomy、HP Vertica、HP ArcSight 和惠普运营管理(HP OperationsManagement)四大技术组成。还支持Hadoop这样通用的技术。HAVEn不是一个软件平台,而是一个生态环境。四大组成部分满足不同的应用场景需要,Autonomy解决音视频识别的重要解决方案;Vertica解决数据处理的速度和效率的方案;ArcSight解决机器的记录信息处理,帮助企业获得更高安全级别的管理;运营管理解决的不仅仅是外部数据的处理,而是包括了IT基础设施产生的数据。

个人的大数据

个人的大数据这个概念很少有人提及,简单来说,就是与个人相关联的各种有价值数据信息被有效采集后,可由本人授权提供第三方进行处理和使用,并获得第三方提供的数据服务。

举个例子来说明会更清晰一些:

未来,每个用户可以在互联网上注册个人的数据中心,以存储个人的大数据信息。用户可确定哪些个人数据可被采集,并通过可穿戴设备或植入芯片等感知技术来采集捕获个人的大数据,比如,牙齿监控数据,心率数据,体温数据,视力数据,记忆能力,地理位置信息,社会关系数据,运动数据,饮食数据,购物数据等等。用户可以将其中的牙齿监测数据授权给XX牙科诊所使用,由他们监控和使用这些数据,进而为用户制定有效的牙齿防治和维护计划;也可以将个人的运动数据授权提供给某运动健身机构,由他们监测自己的身体运动机能,并有针对的制定和调整个人的运动计划;还可以将个人的消费数据授权给金融理财机构,由他们帮你制定合理的理财计划并对收益进行预测。当然,其中有一部分个人数据是无需个人授权即可提供给国家相关部门进行实时监控的,比如罪案预防监控中心可以实时的监控本地区每个人的情绪和心理状态,以预防自杀和犯罪的发生。

以个人为中心的大数据有这么一些特性:

数据仅留存在个人中心,其它第三方机构只被授权使用(数据有一定的使用期限),且必须接受用后即焚的监管。

采集个人数据应该明确分类,除了国家立法明确要求接受监控的数据外,其它类型数据都由用户自己决定是否被采集。

数据的使用将只能由用户进行授权,数据中心可帮助监控个人数据的整个生命周期。

展望过于美好,也许实现个人数据中心将遥遥无期,也许这还不是解决个人数据隐私的最好方法,也许业界对大数据的无限渴求会阻止数据个人中心的实现,但是随着数据越来越多,在缺乏监管之后,必然会有一场激烈的博弈:到底是数据重要还是隐私重要;是以商业为中心还是以个人为中心。

物联网大数据七大应用五大战场

 

微软全球执行副总裁陆奇曾指出,如果大数据被充分利用,全球企业将额外获得1.6万亿美元的数字红利。当然,前提是要对海量信息进行分析,无论是深度学习还是神经网络,最终都要转换为产品或服务惠及用户。数字经济、分享经济、工业4.0…背后都少不了大数据和云计算的支持。

随着信息化与工业化的深度融合,信息技术渗透到了工业企业产业链的各个环节,条形码、二维码、RFID、工业传感器、工业自动控制系统、工业物联网、ERP、CAD/CAM/CAE/CAI等技术在工业企业中得到广泛应用,尤其是互联网、移动互联网、物联网等新一代信息技术在工业领域的应用,工业企业也进入了互联网工业的新的发展阶段,工业企业所拥有的数据也日益丰富。因此,工业大数据应用所面临的问题和挑战并不比互联网行业的大数据应用少,某些情况下甚至更为复杂。

工业大数据应用将带来工业企业创新和变革的新时代。通过互联网、移动物联网等带来的低成本感知、高速移动连接、分布式计算和高级分析,信息技术和全球工业系统正在深入融合,给全球工业带来深刻的变革,创新企业的研发、生产、运营、营销和管理方式。这些创新不同行业的工业企业带来了更快的速度、更高的效率和更高的洞察力。

现代化工业制造生产线安装有数以千计的小型传感器,来探测温度、压力、热能、振动和噪声。因为每隔几秒就收集一次数据,利用这些数据可以实现很多形式的分析,包括设备诊断、用电量分析、能耗分析、质量事故分析等。

工业企业中生产线处于高速运转,由工业设备所产生、采集和处理的数据量远大于企业中计算机和人工产生的数据,从数据类型看也多是非结构化数据,生产线的高速运转则对数据的实时性要求也更高,大数据分析有以下七大应用。

 1.加速产品创新

客户与工业企业之间的交互和交易行为将产生大量数据,挖掘和分析这些客户动态数据,能够帮助客户参与到产品的需求分析和产品设计等创新活动中,为产品创新作出贡献。福特公司是这方面的表率,他们将大数据技术应用到了福特福克斯电动车的产品创新和优化中,这款车成为了一款名副其实的“大数据电动车”。第一代福特福克斯电动车在驾驶和停车时产生大量数据。在行驶中,司机持续地更新车辆的加速度、刹车、电池充电和位置信息。这对于司机很有用,但数据也传回福特工程师那里,以了解客户的驾驶习惯,包括如何、何时以及何处充电。即使车辆处于静止状态,它也会持续将车辆胎压和电池系统的数据传送给最近的智能电话。

这种以客户为中心的大数据应用场景具有多方面的好处,因为大数据实现了宝贵的新型产品创新和协作方式。司机获得有用的最新信息,而位于底特律的工程师汇总关于驾驶行为的信息,以了解客户,制订产品改进计划,并实施新产品创新。而且,电力公司和其他第三方供应商也可以分析数百万英里的驾驶数据,以决定在何处建立新的充电站,以及如何防止脆弱的电网超负荷运转。

 2.产品故障诊断与预测

这可以被用于产品售后服务与产品改进。无所不在的传感器、互联网技术的引入使得产品故障实时诊断变为现实,大数据应用、建模与仿真技术则使得预测动态性成为可能。在马航MH370失联客机搜寻过程中,波音公司获取的发动机运转数据对于确定飞机的失联路径起到了关键作用。我们就拿波音公司飞机系统作为案例,看看大数据应用在产品故障诊断中如何发挥作用。在波音的飞机上,发动机、燃油系统、液压和电力系统等数以百计的变量组成了在航状态,这些数据不到几微秒就被测量和发送一次。以波音737为例,发动机在飞行中每30分钟就能产生10TB数据。

这些数据不仅仅是未来某个时间点能够分析的工程遥测数据,而且还促进了实时自适应控制、燃油使用、零件故障预测和飞行员通报,能有效实现故障诊断和预测。再看一个通用电气(GE)的例子,位于美国亚特兰大的GE能源监测和诊断(M&D)中心,收集全球50多个国家上千台GE燃气轮机的数据,每天就能为客户收集10G的数据,通过分析来自系统内的传感器振动和温度信号的恒定大数据流,这些大数据分析将为GE公司对燃气轮机故障诊断和预警提供支撑。风力涡轮机制造商Vestas也通过对天气数据及期涡轮仪表数据进行交叉分析,从而对风力涡轮机布局进行改善,由此增加了风力涡轮机的电力输出水平并延长了服务寿命。

 3.工业物联网生产线的大数据应用

现代化工业制造生产线安装有数以千计的小型传感器,来探测温度、压力、热能、振动和噪声。因为每隔几秒就收集一次数据,利用这些数据可以实现很多形式的分析,包括设备诊断、用电量分析、能耗分析、质量事故分析(包括违反生产规定、零部件故障)等。首先,在生产工艺改进方面,在生产过程中使用这些大数据,就能分析整个生产流程,了解每个环节是如何执行的。一旦有某个流程偏离了标准工艺,就会产生一个报警信号,能更快速地发现错误或者瓶颈所在,也就能更容易解决问题。利用大数据技术,还可以对工业产品的生产过程建立虚拟模型,仿真并优化生产流程,当所有流程和绩效数据都能在系统中重建时,这种透明度将有助于制造商改进其生产流程。再如,在能耗分析方面,在设备生产过程中利用传感器集中监控所有的生产流程,能够发现能耗的异常或峰值情形,由此便可在生产过程中优化能源的消耗,对所有流程进行分析将会大大降低能耗。

  4.工业供应链的分析与优化

当前,大数据分析已经是很多电子商务企业提升供应链竞争力的重要手段。例如,电子商务企业京东商城,通过大数据提前分析和预测各地商品需求量,从而提高配送和仓储的效能,保证了次日货到的客户体验。RFID等产品电子标识技术、物联网技术以及移动互联网技术能帮助工业企业获得完整的产品供应链的大数据,利用这些数据进行分析,将带来仓储、配送、销售效率的大幅提升和成本的大幅下降。

以海尔公司为例,海尔公司供应链体系很完善,它以市场链为纽带,以订单信息流为中心,带动物流和资金流的运动,整合全球供应链资源和全球用户资源。在海尔供应链的各个环节,客户数据、企业内部数据、供应商数据被汇总到供应链体系中,通过供应链上的大数据采集和分析,海尔公司能够持续进行供应链改进和优化,保证了海尔对客户的敏捷响应。美国较大的OEM供应商超过千家,为制造企业提供超过1万种不同的产品,每家厂商都依靠市场预测和其他不同的变量,如销售数据、市场信息、展会、新闻、竞争对手的数据,甚至天气预报等来销售自己的产品。

利用销售数据、产品的传感器数据和出自供应商数据库的数据,工业制造企业便可准确地预测全球不同区域的需求。由于可以跟踪库存和销售价格,可以在价格下跌时买进,所以制造企业便可节约大量的成本。如果再利用产品中传感器所产生的数据,知道产品出了什么故障,哪里需要配件,他们还可以预测何处以及何时需要零件。这将会极大地减少库存,优化供应链。

 5.产品销售预测与需求管理

通过大数据来分析当前需求变化和组合形式。大数据是一个很好的销售分析工具,通过历史数据的多维度组合,可以看出区域性需求占比和变化、产品品类的市场受欢迎程度以及最常见的组合形式、消费者的层次等,以此来调整产品策略和铺货策略。在某些分析中我们可以发现,在开学季高校较多的城市对文具的需求会高很多,这样我们可以加大对这些城市经销商的促销,吸引他们在开学季多订货,同时在开学季之前一两个月开始产能规划,以满足促销需求。对产品开发方面,通过消费人群的关注点进行产品功能、性能的调整,如几年前大家喜欢用音乐手机,而现在大家更倾向于用手机上网、拍照分享等,手机的拍照功能提升就是一个趋势,4G手机也占据更大的市场份额。通过大数据对一些市场细节的分析,可以找到更多的潜在销售机会。

 6.产品计划与排程

制造业面对多品种小批量的生产模式,数据的精细化自动及时方便的采集(MES/DCS)及多变性导致数据剧烈增大,再加上十几年的信息化的历史数据,对于需要快速响应的APS来说,是一个巨大的挑战。大数据可以给予我们更详细的数据信息,发现历史预测与实际的偏差概率,考虑产能约束、人员技能约束、物料可用约束、工装模具约束,通过智能的优化算法,制定预计划排产,并监控计划与现场实际的偏差,动态的调整计划排产。帮我们规避“画像”的缺陷,直接将群体特征直接强加给个体(工作中心数据直接改变为具体一个设备、人员、模具等数据)。通过数据的关联分析并监控它,我们就能计划未来。虽然,大数据略有瑕疵,只要得到合理的应用,大数据会变成我们强大的武器。当年,福特问大数据的客户需求是什么?而回答是“一匹更快的马”,而不是现在已经普及的汽车。所以,在大数据的世界里,创意、直觉、冒险精神和知识野心尤为重要。

 7.产品质量管理与分析

传统的制造业正面临着大数据的冲击,在产品研发、工艺设计、质量管理、生产运营等各方面都迫切期待着有创新方法的诞生,来应对工业背景下的大数据挑战。例如在半导体行业,芯片在生产过程中会经历许多次掺杂、增层、光刻和热处理等复杂的工艺制程,每一步都必须达到极其苛刻的物理特性要求,高度自动化的设备在加工产品的同时,也同步生成了庞大的检测结果。这些海量数据究竟是企业的包袱,还是企业的金矿呢?如果说是后者的话,那么又该如何快速地拨云见日,从“金矿”中准确地发现产品良率波动的关键原因呢?这是一个已经困扰半导体工程师们多年的技术难题。

某半导体科技公司生产的晶圆在经过测试环节后,每天都会产生包含一百多个测试项目、长度达几百万行测试记录的数据集。按照质量管理的基本要求,一个必不可少的工作就是需要针对这些技术规格要求各异的一百多个测试项目分别进行一次过程能力分析。如果按照传统的工作模式,我们需要按部就班地分别计算一百多个过程能力指数,对各项质量特性一一考核。这里暂且不论工作量的庞大与繁琐,哪怕有人能够解决了计算量的问题,但也很难从这一百多个过程能力指数中看出它们之间的关联性,更难对产品的总体质量性能有一个全面的认识与总结。然而,如果我们利用大数据质量管理分析平台,除了可以快速地得到一个长长的传统单一指标的过程能力分析报表之外,更重要的是,还可以从同样的大数据集中得到很多崭新的分析结果。

 物联网五大新兴战场

物联网正在快速发展。市场研究机构gartner曾预测,到2020年全球将拥有250亿个联网设备,并带来3000亿美元的利润。该报告介绍了物联网的五个新兴“战场”,旨在帮助企业正确界定物联网。

消费者物联网

随着苹果、谷歌和三星等公司将业务延伸到可穿戴设备、智能家居、汽车等领域,它们将引领消费者物联网的发展。预计今后,许多软件和硬件供应商都能从这一领域中找到一席之地。提高平台黏性和与各细分行业的客户建立联系是成功的关键。

工业互联网

工业互联网规模将比消费者市场更大。工业互联网能帮助企业降低成本、增加需求和扩大影响,越来越多的企业包括国际大企业都开始采用工业互联网技术。对于涉足工业互联网的企业来说,与科技公司合作可以帮助其获得相关行业的专业知识,提高其分析能力和安全防范能力,并在未来几年获得巨大回报。

网络

思科、爱立信、华为和诺基亚等网络服务巨头已经在物联网领域投入巨资以获得新的利润,因为许多行业将要求能够实时分析其网络,而实现网络实时分析的唯一方法就是拥有能够支持超高网速的高效网络。同样,智能家居也需要更多的网络资源,消费者渴求访问速度更快、覆盖范围更广的网络,而建设这样的网络需要网速更快的路由器和网络基础设施以确保wifi网络覆盖到家里的每一个角落。

实时分析

物联网的普及将导致企业对网络、服务器、传感器和机器的实时分析产生更大的需求。因此企业需要专门的云服务器来执行,从而让亚马逊aws和微软azure等能够提供此需求的云供应商从中受益。企业和分析服务提供商之间的紧密合作将会带来多个领域的创新。

自动化

无人驾驶汽车、无人机和机器人等自动化技术的出现和发展,将为消费者和企业提供许多好处。亚马逊和谷歌正在测试他们的无人机执行快递、调查等多项任务。在日本,机器人已经在酒店和餐馆等服务业从事人类的工作,而网约车公司uber和谷歌已经在测试自动驾驶汽车。具备实时分析功能、掌握计算机视觉技术和机器学习技术是取得成功的重要优势。

 

 

 

 

人工智能时代 云和大数据到底有多重要?

第1页:数字经济和工业4.0少不了云助力

60年前的某个夏天,麦卡锡、明斯基等年轻的科学家们举办了一次聚会,共同研究用机器模拟智能的问题,也是在那时,“人工智能(AI)”的理念正式被提出。如今,人工智能已经应用于语音识别、图像处理器、计算机视觉、机器人等多个领域,甚至击败了围棋九段李世石,这种进步是难以置信的。而这一系列成绩的背后,是海量数据的积累与学习,在没有云的时代,是无法想象的。

 

 

图片来自The Huffington Post

  人工智能涉及的领域非常广泛,工业、航天、商业都有应用,并且已经深入人们的生活,打开手机中的Cortana或者Siri,这就是AI的产物。要知道,在几十年前,这种超前的技术是不受认可的,教授相关课程的学校也是寥寥无几。究其原因,主要就是数据的积累和应用。高容量存储设备丰富了数据量的留存,随着数据的不断增加,人们开始在其中发现某种规律,引发了分析的需求。

分析让大量的数据有了价值,机器开始懂得用户想要什么,可以预测未来的天气和球赛的比分,这种人工智能与场景的结合,要实现的就是改变生活方式和解放生产力。具体来说,很多过去只有人能做的事情,现在更多的情况下能够通过机器实现,典型的例子包括语音助手、无人驾驶汽车。更重要的是,当硬件性能逐渐提升、计算资源越来越强大时,成本却越来越低廉。

微软全球执行副总裁陆奇曾指出,如果大数据被充分利用,全球企业将额外获得1.6万亿美元的数字红利。当然,前提是要对海量信息进行分析,无论是深度学习还是神经网络,最终都要转换为产品或服务惠及用户。数字经济、分享经济、工业4.0…背后都少不了大数据和云计算的支持。

不过,要想在人工智能时代分一杯羹,绝非易事。AI的基础是大数据,这些资源通常掌握在巨头手中,这也是为什么你会看到,这个领域的头条总是被微软、谷歌、IBM、苹果、亚马逊、Facebook这些公司抢去。在国内,BAT、京东这样的企业同样拥有足够的用户基础,并且已经开展了应用。

在今年的中国大数据产业峰会上,腾讯公司董事会主席兼CEO马化腾主要就讲了一件事:大数据。通过18年的运营,腾讯数据中心的存储总量超过1000个PB。日常使用方面,用户每天在微信朋友圈和QQ空间上传的图片达到10亿张,腾讯视频(含微信公众号H5视频)每天播放量达20亿次,除夕当天红包支付超过25亿笔,每天移动支付超过5亿笔。围绕这么多的数据资源,腾讯也开发了一系列技术和功能。

第2页:在人工智能领域 腾讯做了哪些事?

海量数据时代,搜索的重要性可想而知。基于在搜索领域多年的技术积累,腾讯云搜TCS通过对腾讯微信、QQ等各大垂直业务搜索需求进行高度抽象,把搜索引擎组件化、平台化、服务化,为移动应用开发者和网站站长提供了一站式搜索服务。云搜TCS支持分词和建立索引功能,搜索封装和技术门槛较低,具有可视化的数据预处理和离线排序定制能力,允许用户自主配置,检索耗时毫秒计算。

 

人工智能时代 云和大数据到底有多重要?

 

  腾讯云搜TCS

  此外,腾讯云搜还建立了自然语言处理技术团队,整合“文智”NLP开放平台,提供中文分词、智能纠错、同义词识别、意图识别等能力。针对准确性,该服务还支持高级纠错、按域检索、分词定制、智能联想词等功能。开发方面,开发者可以对搜索结果的排序自主灵活控制,云搜还具有文档求交、相关性排序、排序表达式等策略。

搜索到的数据怎么使用,能否安全可靠,所提供的数据服务是否有针对性,是用户关心的问题。为此,腾讯大数据处理套件TBDS提供一键式部署能力,降低了大数据系统部署运维门槛,统一的控制台可以对集群进行配置、启停,通过DashBoard集中监控各组件实时运行指标,还支持多种数据接入以及输出方式,提供统一的数据源以及元数据的管理。

值得一提的是,腾讯还借助QQ、微信等产品建立了10亿级别覆盖度的基础库,对范围内的人群进行统计和分析,能够实现动态跟踪区域内人群流动、评估人流拥挤等级、捕捉开放社交网络的情况、分析目标客户群轨迹,让客户更精准的定位目标人群。这么多的隐私信息,泄露了怎么办?我们了解到,所有通信及数据存放都建立在腾讯云合规独立的机房,以保障用户数据资产安全。

 

人工智能时代 云和大数据到底有多重要?

 

  区域人流检测

  机器学习是人工智能的核心要素,主要就是研究计算机如何模拟或实现人类的学习行为,以获取新的知识或技能。应用过程中,并行计算可以利用多个处理器解决一个大问题,提升了计算效率,这也是腾讯机智机器学习TML正在做的,其是简化用户对算法的接口调用、可视化、参数调优等自动化任务管理的开放平台。

 

人工智能时代 云和大数据到底有多重要?

 

  卷积神经网络实例,卷积层→子抽样层→卷积层→子抽样层之后→全连接后输出

  该平台搭载了万兆网卡的大量CPU实体机,集成分类、聚类、搜索/排序、推荐等机器学习和深度学习领域的算法,针对在性能、效果等方面的特殊需求,可以一对一深度定制。功能方面,机智机器学习TML支持LDA(非监督机器学习)技术,可以用来识别大规模文档集或语料库中潜藏的主题信息。通过训练,能够把对文本内容的处理简化为K维向量空间中的向量运算,而向量空间上的相似度可以用来表示文本语义上的相似度。此外,CNN(卷积神经网络)能用来解决图像高层特征提取、分类、识别等计算机视觉难题,LR(逻辑回归)则具有易训练、易并行、泛化能力强等特性,适用于高维度海量数据的二分类任务。

 

人工智能时代 云和大数据到底有多重要?

 

  子抽样层(左图为全连接,右图为局部连接)

  每一项技术的最终目标都是惠及大众,人工智能也是如此。要说AI领域最接地气的应用,应该就是图像和语音识别了。先说语音,国内厂商已经可以保证稳定性和准确率,以腾讯为例,通用领域的识别率能达到93.8%,可以做到情绪识别、区分说话人、云存储弹性扩容等功能。不过,要想进入更深层次的语音识别,还要有对情境的理解,这方面有很大的努力空间。至于图像,人脸识别算是最常用的技术之一,腾讯提供了“人脸检测与分析”、“人脸比对”、“人脸验证”、“人脸识别”等一整套技术方案。其中,人脸检测技术准确率和召回率分别超过99%和95%,人脸验证技术准确率为99.65%。

 

人工智能时代 云和大数据到底有多重要?

 

  用户洞察分析产品结构

  第3页:云和大数据指引人工智能改变未来

无论是搜索、智能识别,还是机器学习,BAT在人工智能领域的覆盖面已经很广,背后的技术实力也与谷歌、微软等逐渐缩小。在数据规模上,国内企业的资源并不输海外,需要加强的就是如何更有效地利用这些数据,从而改善人们的生活。

得益于大数据和云计算的支持,互联网正在向物联网扩展,人工智能则是升级体验、解放生产力的重要手段。迈克尔·戴尔称,今天的处理能力、带宽、存储正以每年10倍的速度成倍增长,未来15年的技术将比现在强大1000倍。

如今,大数据影响着各个行业,创造了巨大的商业价值。通过结合大数据和云计算,人工智能将更好地服务于人们的生活,推动时代进步。这一发展过程中,巨头企业已经开始利用数据规模和技术优势深耕布局,腾讯就是其中之一。

 

 

 

 

大数据下演绎的物流“小”时代

wuliu79

小徐,公司策划文员,5月20日中午在淘宝某宠物用品店购买了一款狗粮,下午3:30收到短信提示天天快递已收件,第二天中午便收到了天天快递送来的狗粮。中间,小徐通过淘宝提供的物流查询,实时关注快递的动向。一份快递的传递,不仅仅是商品在短时间里跨越数百公里的空间传递,也是大数据运用的简单表现。快递行业因为淘宝网等电子购物的兴起,在交通物流的舞台上大放异彩。

与之有着巨大反差的是,大件商品的公路运输在近年来却陷入了发展的泥沼。受到行业准入门槛低、竞争价格混乱、快递行业冲击等因素的影响,近几年宁波市的大件物品公路交通运输货运量呈现出每年10%的速度下滑。如何适应“互联网+”的新时代,成为当下宁波交通物流企业最为关心的问题。

依港而兴,演绎交通物流的“小时代”

宁波依港而兴,城市的快速发展可以说就是建立在轮车和车轮上的。一直以来,宁波作为重要的国际运输港,带来了大量的商品流通,每天都有大型的货轮在宁波靠岸或从宁波出发,前往世界各地的港口。2014年宁波港的货物吞吐量首破5亿吨,达5.26亿吨,比2013年增长6.2%;集装箱吞吐量首破1800万标准箱,达1870万标准箱,增长11.5%,增幅居中国大陆主要港口首位,两项吞吐量指标均居大陆港口第三位。频繁的货物流通为宁波物流运输行业发展打造了坚实的基础。

如果要用比较时髦的词汇来形容宁波交通物流企业的发展阶段,那么用“小时代1.0”、“小时代2.0”和“小时代3.0”来形容最为合适。

“宁波交通物流小时代1.0”,小、散是物流企业的基本特征。宁波很多的物流企业绝大多数是从家庭式组织发展起来,“夫妻两人一家店,一张桌子一间房”就是他们的真实写照。他们在集装箱堆场、货运铁路场站和汽车场站附近租一个门面,一个物流小企业就算成立了,有的甚至连固定办公场所也没有。就在这样简陋的环境和松散的组织结构下,他们一步一步发展,有的逐渐做大成为行业中的领袖,有的则在市场的残酷竞争中被淘汰。

“宁波交通物流小时代2.0”,规模化经营是物流企业的基本标志。宁波一些大型的交通物流企业在激烈的市场竞争中脱颖而出,通过多年的积累和发展,他们拥有了较为完善的基础设施,形成了一定的经营规模,建成了独立管理经营的物流基地,有些龙头企业甚至建立了属于自己的物流园区。

“宁波交通物流小时代3.0”,互联网思维和创新驱动是物流企业的两大亮点。随着互联网与产业融合发展的不断拓展,在“互联网+制造业”“物联网+农业”“互联网+金融”之后,“互联网+交通物流”已经成为新的行业发展趋势,互联网思维在物流企业的经营和管理中不断涌现。在当前传统交通物流发展的瓶颈制约越来越明显,宁波交通物流企业的企业家意识到只有创新才能实现新的突破,因此创新理念和创新成果在宁波交通物流企业中不断闪现。

 顺势而为,奏响交通物流新时代华美乐章

为了让更多的宁波交通物流企业能够进入“小时代3.0”,实现传统交通物流行业的转型发展,宁波交通运输管理局和市交协物流分会专门组织全市的交通物流企业代表参加交通物流培训班,并邀请了蓝源资本总裁武军、上海众美联常务副总马海松和浙大宁波理工学院王浩教授3位知名的交通物流行业前沿技术专家,从新视角、新理念、新思路进行分析探讨,与企业家共同寻找“宁波交通物流小时代3.0”的切入点。同时,组织企业家到阿里巴巴总部进行参观,感受物流信息、云计算物联网技术的深度融合。

在阿里巴巴的滨江总部,站在阿里的大数据平台显示器前,宁波的企业家们被震撼了,物流的传递被数字化,商品的物流信息瞬息变化,卖家与买家之间商品的传递以光点的形式,在电子地图上快速移动。同时,阿里的菜鸟物流订单以每秒几十件的速度快速上升,从凌晨0点到中午11点,菜鸟物流已经完成了近900万件的物流订单,并通过菜鸟的物流通道快速完成收件和发件的工作。企业家代表表示:“在阿里巴巴我们看到的不仅仅是物流信息、云计算、物联网技术之间无缝对接,也发现了当前快递行业对我们传统交通物流产生冲击的原因,更感受到了智慧物流不可阻挡的前进步伐。我们一致认为,只有主动采取物流产业优化和提高管理的透明度,实现物流产业各个环节的信息共享和协同运作,才能在激烈的市场竞争中赢得主动,才能实现传统交通物流业的跨越发展。”

如何才能顺利跨入“宁波交通物流小时代3.0”?推进整个行业的信息整合是关键。

“宁波交通物流小时代3.0”离不开信息的汇总和整理。但要实现这一目标非常困难,难在哪里?难在企业的利益。信息的汇总一定是建立在整个行业的有效价值服务之上,即要把企业所有的信息都汇总起来,而这又恰恰与企业的利益相违背。因为有效信息包括了企业的车辆、企业的客户、车辆的行驶线路等等,这些信息是所有企业家不能说也不愿说的秘密,它们是企业构筑市场竞争力的核心所在,所以说难整合。

那宁波的物流改如何进行大数据的整合分析?宁波交通物流要实现信息的汇总,可以借鉴一些其他行业信息整合的成功案例,其中最典型的就是利益交换的模式,即用服务换取信息的管理。简单说就是鼓励各个交通物流企业用自己信息的管理权去换取信息服务。企业把信息数据给第三方平台,第三方平台将信息服务给企业,企业再将更多的信息传递给第三方平台,第三方平台再为企业提供更多的服务……这样循环起来,就产生了更多的价值,企业也不会损失利益。

信息整合,需要专业的第三方平台

企业提供信息以后,如何确保企业的信息不会被竞争对手所利用,如何能得到有用的信息服务?第三平台可以是个行业组织也可以是专业机构,但最重要的是第三方平台一定要有专业的能力。

一方面,数据的收集整理能力要专业,在大数据时代,数据的数量非常庞大,数据的质量不再是第一位的,数据的质量缺陷通过庞大的数据量进行弥补。但不可避免的是,行业内缺少统一的信息标准,很多信息缺乏关联性,因此对收集到的信息进行有效整合很重要。另一方面,对数据的分析能力要专业,第三方平台的服务就是要帮助企业在数据的海洋里找到有关联性的数据。

在大数据时代,我们事先无法获知众多的数据是否存在关联,但是通过数据处理获得的相关性结果,能够告诉我们里面可能有什么样的因果关系,这就要求平台分析能力要专业。数据只有经过及时、有效的处理,才能帮助企业制定科学的管理决策,帮助企业合理地布局站点,帮助企业有效地降低成本。

如果说,信息的整合是“宁波交通物流小时代3.0”的身体,第三方平台是“宁波交通物流小时代3.0”的大脑,为宁波交通物行业流注入文化基因就是为“宁波交通物流小时代3.0”灌输灵魂。宁波的交通物流企业家需要继承宁波帮商人“团结互助、诚信经营”的优良传统,贴上宁波的文化标签。为交通物流行业注入群体意识,抱团发展,才能共同应对行业发展中的难题,走出属于自己的智慧发展道路。
[消息来源:东南商报]

 

 

 

回顾2015年度云计算应用案例TOP100

Yunjisuan

通过广泛的征集、调研、评选,我们在制作”2015年度云计算应用案例TOP100″的时候也在思考,这一榜单是否可以将那些云计算带来的改变完整地呈现在大众眼前。不论怎样,这是一个光荣榜,是对云计算落地的见证。本榜单亦按照云计算在不同行业的应用加以梳理,希望尽可能全面地展现这些案例带来的行业和社会价值。

上个世纪,Oracle、亚马逊就有云计算的雏形级产品和服务问世,但直到2006年谷歌正式将云计算的概念从幕后推到前台,云计算才被视为一项标准互联网分支被广泛关注。现在,即将迈向第十个年头的云计算技术已经出现在诸多科技领域。

根据预测,2018年全球云计算市场的容量将达到791亿美元。从谷歌的在线办公软件到亚马逊的云存储服务,云计算离我们已经如此之近,它就像网络一样,覆盖我们工作和生活的每一寸空间。现在世人达成的共识是:云计算应该和供电供水服务一样,按需分配,即需即用。

“三十辐共一毂,当其无,有车之用。埏埴以为器,当其无,有器之用。凿户牖以为室,当其无,有室之用。故有之以为利,无之以为用”,这是《道德经》里对有形的物质和无形的应用的描述。老子认为,看得见的东西可以带来利益,但是这种利益是短期的、有限的、可以预见的,看不见的东西可以带来应用,这种应用是长久的、无限的、不可预见的。

回首来路,云计算经过近十年的发展,为我们的商业生活所带来的改变已经显而易见,只是这种改变大多是发生在较为基础的服务层,所以不那么容易被觉察到,但这并不妨碍这些改变的发生。

以下是互联网周刊发布的《2015年度云计算应用案例TOP100》。

 

       以下是以20个应用场景为例,供参考。

1,IBM为中国中化集团公司打造的企业云计算平台

中化面临的调整是,任何业务的调整都需要与信息化建设同步协作,要求IT做出快速响应,而这个过程遭遇资源瓶颈,孤立的数据中心令全球化的运作难以为继。中化希望通过创新技术,在不影响现有设备本身工作作用的同时,将它们进行最大化的利用。

IBM基于对中化现有IT状况和业务发展需要的全面深入了解,参考IBM蓝云6+1解决方案中的场景设计,IBM Cloud Labs 和GTS为中化搭建了企业云计算平台。该平台能够支持中化员工访问整合的资源共享池,并按需运行ERP系统和其它数据密集型应用。

2,惠普为佛山市政府建设政务信息化

佛山携手惠普进行政务改革。佛山市政府希望通过服务转型,将各职能部门集中一起,通过统一号码、统一标准、统一机构、统一监管,实现节约成本,监管政府,提升市民体验。惠普主要从4 个方面进行支撑:建立佛山12345 政务云,将所有资源进行整合,将各个职能部门的IT系统部署到惠普云服务平台,统一管理;以大数据技术为支撑,通过Autonomy 提供数据分析,搜索市民的意见,也可实现趋势分析及市场预警;建设政府流程引擎,政府以往工作流程的再造;打造政务移动互联应用,涉及到手机、智能移动终端等应用服务。

佛山政务综合服务体系通过整合政府服务的门、网、线、自助及移动服务终端等各种服务渠道,为市民提供更为全面便捷的服务,并提高政府各部门工作效率。

3,戴尔为广州大学部署云基础架构平台

作为高校,广州大学2009年信息化一期工程主要包括三部分:应用支撑平台、5个核心应用以及现有应用系统的集成和整合。对于很多高校来说,这三部分内容适普性很强–例如应用支撑平台包括共享数据中心平台、统一身份认证平台、统一信息门户平台;而核心应用也基本上是OA系统、教务管理信息系统、HR系统、学籍管理系统等。

广州大学目前已经完成了校园信息化的一期和二期建设,装备了戴尔M1000e刀片在内的高密度计算节点。在戴尔的帮助下,广州大学成功部署了基于云计算基础架构平台的集中化管理解决方案,为广州大学的不同用户提供了各种资源系统和服务。

4,华为为深圳市罗湖区政府建立统一的电子政务云平台

为推进电子政务发展,促进政府职能转变和管理创新,2013 年工信部确定首批基于云计算的电子政务公共平台建设和应用试点示范地区名单,深圳市福田区和罗湖区同时入选首批试点名单。华为提出利用FusionSphere 云计算平台,实现政务外网30 多套业务的集中部署、资源共享的思路,即可实现罗湖区云计算IAAS 平台全区计算资源、存储资源和网络资源集中共享,按需申请、弹性分配、统一运营监管。

云平台的建设表面看起来是实行技术路线,但本质上是电子政务资源整合的重要抓手。云计算彻底改变了传统的建设模式、管理模式和应用模式。

5,思科助力盛大云搭建公有云平台网络

公有云计算平台出现以来,得到越来越多企业用户的关注和使用。为更好提供优质全线云服务,盛大计划建立一个基于虚拟化技术的云计算平台。针对盛大公有云计算平台建设需求,思科设计了全新的组网解决方案,网络核心部分采用2台Nexus7009,分成2个VDC使用:VDC1作为所有使用公网地址的每个Vlan的网关;VDC2则为所有物理机器管理Vlan网关。

通过这种独特的数据中心网络设计,盛大云未来将有条件实现跨地域数据中心的二层互通,真正实现多个数据中心全网内虚拟机的自由迁移,彻底消除生成树,快速故障收敛,真正塑造了高性能的双活数据中心。

6,甲骨文ERP云助上海海天天盈捷纺织科技有限公司提高供应链管理

海天轻纺集团是一家集研发、生产、商贸及投资为一体的高科技纺织企业集团,已经形成完整的纺织服装产业链。在业务发展的同时,公司ERP需求愈加强劲。甲骨文凭借全面、全球化和集成化的ERP,帮助进行财务、采用、项目组合管理和供应链管理。

Oracle ERP云服务通过利用最新的移动和社交技术,关注消费驱动的用户体验的信息及相关分析,从而提高了用户采用度。甲骨文的ERP套件支持金融财务、风险和控制管理、采购、库存和项目组合管理。通过支持拥有多GAAP、多货币、多语言、多分支机构的全球企业,Oracle ERP可确保用户所有分支机构都能保持端到端的一致流程。

7,微软为上海市浦东教育发展研究院建设教育云平台

上海市浦东教育发展研究院希望借助云的力量,消除目前教育信息化遇到的部分问题,让每一名教师都能从信息化普及中获益。目前的挑战集中在管理和应用方面:各学校分散进行信息化建设,成本高且后期运维难度大,繁杂的IT运维工作会占用教师大量的时间;在应用上,教育资源缺乏共享,形成”孤岛”,教师需要不同的账号访问分散的教学资源,繁琐的登录过程在一定程度上降低了教师使用信息技术的积极性。

上海市浦东教育发展研究院与微软中国公共事业部教育团队展开深入的合作,引入微软私有云解决方案构建起一个整合资源的”浦东教育云”平台为全区教育事业提供信息化支持。

8,英特尔助力锦州市政府”健康城市”战略

我国”医改”目标明确提出要建立实用共享的医药卫生信息系统,2012年锦州市政府正式启动”健康城市”战略,建立区域卫生数据中心,以居民健康卡为纽带覆盖卫生信息化的主要业务领域。

英特尔协助用友医疗制定了基于英特尔大数据解决方案的区域卫生数据中心建设目标,并在锦州区域卫生数据中心基于英特尔E5至强服务器平台以及英特尔Hadoop发行版大数据软件平台,形成了为企业级客户服务的完整的大数据解决方案。经过反复测试和调优,这一区域医疗大数据计算架构可以满足海量数据(一亿以上记录数)的高并发检索和实时数据分析的性能要求。

9,EMC Isilon助力中国石油勘探开发研究院西北分院数据存储建设

中国石油勘探开发研究院西北分院(简称”西北分院”)从事地质、物探研究工作,需要进行海量的计算和数据处理,配备有来自Sun(Oracle)、SGI、ORIGIN、IBM等公司的10多套大中型计算机系统。在3D 和4D 地震影像技术广泛运用于钻井作业之后,无论上游的勘探、开采和地震数据的采集,还是下游的数据管理和传输,都会产生巨大的数据集。研究院从野外采集回来的数据往往一次就高达几十TB,这些数据导入后需要经过大量的后期计算和分析,因此,西北分院对数据存取速度的要求非常高。

虽然使用了并行文件系统,但是用户还是感觉存储的带宽无法满足要求。西北分院采用Isilon应对科学家即时、高度并发地访问地震数据和应用的需求,提高协作和运营效率。根据应用的需求,西北分院可以随时调整客户端可访问存储节点的数量。

10,中兴助力艾尼科绿色数据中心建设

艾尼科致力于为中国市场提供节能环保的创新方案,同时为国际市场提供工业设备。艾尼科在华业务迅速扩张,现有员工250多人,其中技术人员占38%,原有的几台服务器已经无法满足公司业务快速发展的需要。

艾尼科2011年3月启动了在华数据中心建设项目,并要求在一个季度内建成并投入使用。采用中兴通讯桌面云解决方案,艾尼科的设计数据和办公信息统一放置在数据中心,实现统一软件管理和控制,降低数据风险;员工通过价格更低、使用寿命更长的瘦终端开展日常业务工作。桌面云方案降低了桌面系统的采购成本与管理成本,提高了运维效率;瘦终端的使用也降低了整体办公的功耗。

11,华三助力联通集团沃云建设

沃o云是中国联通集团推出的为满足用户信息/文件跨平台跨终端分享和同步需求的信息聚合业务。华三通过扁平化网络结构,全网IRF虚拟化,构建满足横向流量交互、虚拟机迁移的二层网络,在可靠性、分布性和易管理性方面具有强大的优势,满足沃o云横向流量交互、虚拟机迁移需求。

华三以其成熟的数据中心服务模式和交付流程,使项目以最快的速度响应了客户需求,在较短的时间内完成整个系统上线,保障联通集团移动互联时代战略举措的实施,为今后沃云平台的发展打下扎实的基础。

12,联想助力中信银行总行云计算建设

近年来,随着中信银行自身金融业务的快速发展,银行各单位的业务压力持续增加,原有IT平台的负载和服务能力已经渐渐不能适应工作需求,尤其在流程控制系统、渠道接入系统、MIS系统、OA系统等应用中,硬件平台的扩容和升级显得极为迫切。

在这次合作中,联想为中信银行提供技术咨询、方案可行性论证及测试;联想服务器云计算虚拟化系统大大降低了能耗,节省可空间,减少了维护难度;系统安全可靠,有完整的高可用性和可扩展性。

13,东软为泰州构建统一的信息系统

泰州各业务部门信息系统各自分立,医疗保险、养老保险、劳动就业三套系统由不同开发商承建,独立运行,形成无法关联的信息孤岛,且系统带病运行多年,补丁重重,技术落后服务水平低下,建立一套先进、完善、业务和数据高度整合的系统已势在必行。

东软在最短的时间内启动上线的金保工程项目,使得五险系统成为全国第一个成功上线运行的社保核心平台二版项目。上线后,系统经过不断的完善和性能调优,获得了泰州市劳动和社会保障局的满意和业界的高度评价,真正起到了试点效果。

14,趋势科技助力苏州市立医院云安全

苏州市立医院是集医疗、教学、科研、保健于一体的综合性三级甲等医院,不仅要承担每年172万人次的年门、急诊总量,还要管理多个社区卫生服务机构,因此对于网络的依赖达到不可或缺的地步。如何保证网络的安全,成为苏州市立医院基建中心的重要话题。

自2008年以来,在趋势科技云安全技术的保护下,苏州市立医院的网络已经很少受到病毒攻击,特别是应用了采用云安全技术的OfficeScan,以及最近测试的TDS,不仅为内网网络安全防护构筑起立体式、多层次的防护体系,还实现了极为重要的终端行为管理作用,彻底解决了内网的两大隐患,让苏州市立医院内网更干净、更高效、更安全。

15,神州数码助力兰州市云计算中心建设

兰州市云计算中心是由政府牵头采用云平台方式提供多种服务的电子政务数据中心,中心以围绕建设”数字兰州”的四大战略基础性信息资源库(人口基础信息库、自然资源与空间地理基础信息库、法人基础信息库、宏观经济信息库)为核心,提供面向动态数据中心云应用及基础设施管理的集中式云管理;用户能够通过数据中心以随需即取的方式获取到云平台和虚拟化平台的计算、存储和网络资源。

神州信息负责建设的兰州市云计算中心提供了虚拟化计算、存储资源池,以及资源动态管理能力,快速构建政务信息资源库处理和应用服务平台,为实现政府信息资源的共享交换和深入应用提供了安全、高效保障,促进政务信息资源的充分共享利用,完全满足政府办公、行业应用、政府决策、城市管理、公共服务等应用的需要,加快了数字兰州建设的进程。

16,阿里云为浙商证券迁移云平台

为了保证分布在全国的客户感受到相似网络访问速度, 浙商证券在全国各地的不同运营商机房设立了数个集群来保证给用户提供良好的使用体验。但在全国多个地域部署集群不仅建设周期长、成本高,而且系统的扩容和管理都会面临很大的挑战。

目前浙商证券已经将部分的行情和委托系统部署在阿里云上,通过阿里云强大的网络平台的支撑,实现多线BGP接入。不管最终客户是通过那个运营商接入的,不管是在北方还是南方,都可以获得良好的网络访问速度和质量,并降低了管理的难度和成本,便于进行弹性的扩容,从而保证了最终客户的良好体验。

17,初志科技为泸州市公安局天网工程搭建云平台

庐州市公安局为建设”天网工程”应用平台项目,需要构建如下系统:市局视频共享平台系统、市级公安视频联网平台系统、视频图像信息数据库系统和公安视频业务应用系统。由于涉及的业务系统的数据量大,对数据安全要求很高,因此对前端的应用系统和后端存储系统提出了很高的要求;同时考虑到未来的发展需求,需要搭建一套先进的云平台来实现。

初志科技采用初志A2000云存储系统和C2000 云存储系统作为该天网工程的基础存储系统。未来可以自由的扩展,满足不断增长的应用需求。项目实施后,泸州市公安局信息资源的综合利用率提高80%-100 %;项目区实现泸州公安局系统网络化的统一平台,提高业务协同的水平;各部门的应用运行于统一共用平台,实现资源高度集中统一,消除信息共享和流程互通障碍,从根本上消除了网络环境下的”信息孤岛”和”业务割据”风险。

18,Ucloud助力刀塔传奇解决技术架构难题

作为一款注册玩家千万,DAU破200万的手游,《刀塔传奇》对于玩法的创新,带来最直接的变化就是,后台更复杂的数据结构、更频繁的网络交互和更大量的后端运算,这对服务端的性能和稳定性提出了更高的要求,而只有优质的体验才是吸引和留住玩家的基础。

刀塔传奇创新的玩法带来了更多的玩家操作,游戏逻辑处理也变得复杂,云主机UHost提供了高效的计算和稳定的运营服务。通过UCloud云主机的自定义镜像功能预先配置好环境,当有扩容需求时,可在分钟级别内创建新游戏服即刻投入到生产环境,不用担心基础架构的固化而耽误玩家的导入。

19,浪潮助力齐鲁证券网上交易系统

齐鲁证券有限公司是经中国证监会批准设立的大型综合类创新试点证券公司,管理客户资产逾千亿元。服务器与使用的网络带宽因业务情况需求数量大幅度波动的种种问题一直困扰齐鲁证券。

浪潮云服务通过弹性计算资源部署方式,将齐鲁证券的证券行情系统和咨询系统部署在浪潮云平台上。全新的云上系统可根据业务情况按需调整所需资源,即可解决忙时所需,亦可规避闲时浪费。不仅为客户节省了大量的资金投入与设备资源,也有效的提高了信息处理速度与平台服务质量。

20,华胜天成助力中邮速递物流打造综合信息平台

当前物流市场的竞争激烈,客户对现代物流企业要求也越来越高,中邮速递物流原有系统从基础规模、体系架构、软件功能上都已经不能满足业务的可持续发展性。由华胜天成公司承建的中国邮政EMS 综合处理平台系统改变了中国邮政速递业务整体信息化落后的不利局面,有效促进了邮政速递服务水平的提高,使得邮政体系的经营管理水平有了快速的提升,此系统也进一步帮助中国邮政提高了市场占有率,从而进一步提升了企业的核心能力。

结语

其实,不论是哪个行业的与计算技术与服务,可以看到一个典型的特点还是无法离开以人为中心所产生的各种用户需求,这些需求的相关性再加上产业格局的逐渐完备形成了一个完整的云计算生态环境。

和其它所有技术、行业、产业一样,最终沉淀出来的最优秀的云计算提供商,还将是更有愿景、有格局、有情怀的公司。
[消息来源:物联中国]

 

 

 

 

大数据工业化应用会带来什么

我国在大数据工业应用方面仍然处于弱势地位,推广面很窄,这与传统企业势力庞大不无关系,但是,经济的发展又要求生产率的提高,因此大数据工业化应用在我国的推广势在必行。为什么这么说?

 


 1、员工工作量减少  

 

高效性是工业大数据应用的一大特征。在工业大数据设备自动化应用过程中,可以将机械设备远程监控引入生产中,这样就可以节省人力资源成本,加强设备的智能化,远程监督,一个人就可以代替好多人盯着机器运转,从而解放闲置劳动力。一旦任何一台设备出现问题,可以及时地维修或纠正错误,将以前全靠人力维修的模式颠覆。机械控制和人为控制相比较,另外一个优点就是事故率减少,正因为统一控制,程序审定比较严格,整体配性能更好,因此比人工操作出现事故的概率小很多,如今,有些智能机械自动化设备植入智能芯片,可以最大限度模拟人脑来处理突发事故,开创了工业大数据技术先河。这些都大大地保证了产品质量,减轻工作负担,解放劳动力。

 

 2、工业大数据生产拥有更高的效率  

 

工业的发展有目共睹,趋势就是逐渐迈向自动化、智能化。传统机械自动化应用的生产受到许多因素的制约,比如环境,厂房,人工,天气等一系列外界或人为的因素。多种因素共同作用下就会制约生产效率的提高,进而阻碍经济效益的提高。而智能型机械自动化应用相对而言就保持了更稳定的生产性能。在一定程度上讲生产程序规范化,统一化,其稳定性是产品生产的保证。只要提前设置好生产程序,那么机器就会在后续的运行过程中沿着这一规定执行,从而自动排出外界环境的影响。另外,事故率也是影响生产的一大要素。工业大数据应用因为科技含量高,拥有较低的事故率,从而在侧面节省了机器运行的维修成本,进而提高经济效益。

 

 3、引进国外先进管理水平  

 

工业大数据应用之所以称为智能,是因为其依赖于科学技术,拥有更高的科技含量。这种生产方式有利于人们从整体上对生产进行统一调控,将各个环节统一连接起来,使生产线一目了然的呈现在人们面前,从而加大对生产过程的掌握和保护。在资源利用率方面,工业大数据应用拥有较强的资源利用率,利用发达的科学技术将原材料进行有机整合加工,在生产线上避免了原材料的浪费,因此其生产活动就更加高效。从管理方面的角度来说,可以通过判断机械设备运行参数,了解设备的运行能力,可以对数据进行合理的评估,从而提高管理的效率。在工业大数据自动化系统后,有效提高了机械生产的质量,而且提高了机械管理的水平。

 

工业生产涉及环节较多,每一个环节都需要采用不同种类和数量的软件系统和硬件设备,这些软硬件资源在运行过程中产生了海量的数据,利用K均值、BP神经网络等构件大数据挖掘与分析系统,能够有效提升工业大数据分析和挖掘能力,从海量数据资源中发现潜在的有价值信息,提高工业生产决策的准确度,进一步改进工业生产效率。