开源力量公开课 加入小组

27个成员 1360个话题 创建时间:2014-11-14

厦门大学张德富谈互联网+大数据=大智慧

发表于 2017-03-21 1747 次查看

厦门大学张德富谈互联网+大数据=大智慧

2月25日,厦门大学信息科学与技术学院计算机系副主任张德富在CIO时代APP微讲座作了题为《互联网+大数据=大智慧》的主题分享,进一步阐释了互联网+大数据如何变成大智慧。

厦门大学张德富谈互联网+大数据=大智慧

一、大数据时代来临

随着移动互联网和物联网的发展,人、设备与传感器均有机联结在一起,人们从移动互联网和物联网上获得了很多数据,其中包括结构化数据、半结构化数据及非结构化数据。大数据主要由非结构化数据构成。

1.大数据之“大”

众所周知,我们每天都面临着大量的数据,无论是Internet网络传输的电子邮件、Facebook、微信,还是QQ。2020年,全球数据总量将达到40ZB(1ZB=1万亿GB字节),将1ZB数据用A4纸打印出来,堆叠起来相当于585栋帝国大厦。

2.大数据的概念

大数据是指数量大、变化快和多样化的信息资产,需要快速地处理,从而给出决策,促进洞察力及优化流程。大数据有不同的定义,但其意义在于通过对海量数据的获取、整合、分析发现新的知识,创造新的价值,带来大知识和大智慧。通常所说的海量数据的规模,即是否具有1TB数据以上。

3.大数据的“4V”特性

体量/Volume——传统是指数据量的大小,随着计算机技术的发展,存储视频、图像数据变得容易。非结构化数据占总量数据80%~90%。

多样性/Variety——由于数据采集的方式多种多样,特别是数据的格式也各不相同,如文本、图像、视频、机器数据都具有异构和多样性。

价值密度/Value——挖掘大数据的价值类似沙里淘金,从海量数据中挖掘稀疏但珍贵的信息。

速度/Velocity——要实时处理,例如1秒内给出答案。

4.大数据带来的挑战

1)从数据的不同维度看待数据也会得到不同的结果

大数据要想挖出有价值的信息,需从不同维度、全方位考虑。

2)存储、计算、可视化

需要更高性价比的数据计算和存储方式。

3)不同的数据管理策略

即海量数据管理的问题。多数企业正在试图建设自己的数据中心,来满足大规模的数据量的产生,但随着数据的进一步增多,很多数据的查询和分析性能急剧下降,有的数据中心甚至出现了无法响应的状况,为企业的业务带来的很大损失。此外,还有数据的安全和隐私问题。

4)超越企业现有IT的数据解决能力

只要少数企业,例如跨国企业,能够有实力处理大数据,对中小企业而言,超越了本身的解决能力范围,加之无法招到大数据处理人才。

5.大数据处理技术

包括数据采集(即从传感器、移动互联网、移动终端获取的数据)、对数据进行预处理、海量存储(数据存储很重要)、数据分析和挖掘、对结果进行可视化(方便决策)。

目前流行的大数据处理技术为Hadoop/Spark

Hadoop的特点:

并行模式简单、编程较易

为程序员屏蔽通信、并发、同步与一致性等问题

计算与存储一致,计算向数据靠拢,高效专用存储模式

任务之间无依赖,具有高系统延展性

Spark是一种基于内存和Hadoop的分布式系统,克服Hadoop不擅长迭代计算的弱点,因此比Hadoop快很多倍。

因此,大数据技术是真正的大智慧,可将大数据变废为宝。用户在线的每一次点击,每一次评论,每一个视频点播都是大数据的典型来源,通过互联网便可了解大数据带来的价值,如京东、阿里巴巴会捕捉用户的消费行为,进而给出推荐。

6.大数据的隐私安全

大数据是一把双刃剑,在给企业带来财富的同时,往往也会对企业和个人带来伤害。

二、互联网+大数据

“互联网+”是利用互联网的平台,利用互联网技术、物联网技术、云计算与大数据技术等,能将互联网和包括传统行业在内的各行各业结合起来,在新的领域创造一种新的模式。创新是互联网+的灵魂,互联网+是创新的引擎。

大数据、互联网+在某一方面的创新便是用户的竞争,如360安全免费、机场免费WiFi、滴滴打车等,均为大数据时代的商业模式。当然,很多商业模式是不可复制的,如小米。

因此,互联网+大数据如何实现大智慧,取决于不同的行业应用,需要对具体行业进行具体分析,明确应用需求,行业痛点,才能建立一个有价值的行业大数据平台,产生真正的大智慧。

三、互联网+大数据=大智慧的案例

以阿里的信用贷款为例,阿里通过掌握的企业交易数据,借助大数据技术自动分析判定是否给予企业贷款,全程不会出现人工干预。目前阿里信用贷的坏账率约0.3%左右,大大低于商业银行。大数据使阿里巴巴直接受益,成为整个阿里巴巴的财富。

大数据变废为宝的例子很多,如腾讯视频利用大数据受到大量用户的使用关注、助选奥巴马等,都为大数据成功的案例。目前,大数据与证券投资直接为消费者带来帮助,如新浪、腾讯利用大数据对每家企业的信息进行收集,建立指数基金,从而帮助决策与投资。

四、创业实践——我知盘中餐大数据平台

创建平台的原因:源于我的三个梦想:帮助农民解决农产品销路问题;致力解决食品安全问题;理论联系实际。

为了实现这个梦想,创立了我知盘中餐互联网+大数据平台。为了实现大智慧,我们深入调研了餐饮产业链的痛点问题。

痛点产生的原因:食材到达餐桌前会经过许多中间商,中间商需要赚钱,导致农民卖不出价钱,而城市消费价格又偏高,还可能产生食品安全问题。

解决方法:即互联网+大数据,该平台是一个连接农产品供应商,餐饮企业,物流企业以及广大消费者的餐饮采购产业链互联网+四大行业(现代农业、物流业、餐饮业、金融行业)平台,形成产业链的闭环。用户可以方便的在平台上进行采购和订餐。

厦门大学张德富谈互联网+大数据=大智慧

用大数据解决如下问题:

第一,农产品的销路问题:用大数据整合资源,实现按需生产和消费,实现订单式生产,精准扶贫,解决三农问题。

第二,吃的问题:用大数据实现农产品、餐饮企业质量排名推荐等,让大家采购到放心食材,吃得安全。

第三,食品安全问题:餐饮产业链大数据的有效整合,可以进行食品安全溯源,让造假者无处可藏。

第四,大物流问题:方便快捷的智能配送系统,通过整合物流大数据,减低物流成本,同时缓解交通拥挤状况。

第五,智能对接、精准营销:让农业、餐饮、物流大数据插上科技的翅膀,实现精准营销,消费行为分析,客户关系管理,用大数据为用户创造价值。

关键创新点:核心为大数据、智能配送、人工智能,具体模式创新包括食品安全溯源、模式创新、互联网金融、智能对接精准营销、产业链整合的创新。

厦门大学张德富谈互联网+大数据=大智慧

由于我知盘中餐平台对能保证品质的农产品供应商、餐馆、物流企业,免费入驻,消费者可以采购和点餐。产品数据,餐饮数据,物流数据以及消费者在平台留下的消费和点评数据等,会越来越多。利用这些大数据,可以指导我的博士、研究生进行深入研究和分析,创新出更多的产品,并始终保持技术的先进性,体现真正的大智慧,最终实现农餐大数据的共创、共享和共赢。

发表回复
功能维护升级中,维护完成完后将再次开放,非常抱歉给您学习造成的不便。