1

大数据简单说就是现实世界数据化!


而大数据对于个人的意义就是:个人与信息的强结合,个人自带可信的信息。


就拿健康码来说,为什么绿码就能放行?为什么各个检查口看到绿码就放行?因为绿码 是携带了个人安全的健康信息,表示这个人是低风险的。


换句话说,健康码是个人信息的一部分,而且是可信的。


健康码的存在,是基于大数据的。我们人会休息,但是手机不会休息,于是我们的位置信息随时随地被记录下来,形成一个个人的行动路径。我们有没有经过高风险地区,甚至可以划分到社区和小区。通过收集类似的个人大量数据,最终形成了一个绿色的健康码。以证明我们是安全的,我们没有携带病毒。


早期互联网,人和信息是分开的。电脑是固定在一个个地方,我们只能收集到ip,个人账户信息。地理位置只能通过ip来推测,那个时代,广告的精准推送是非常难的。只能根据地区来推送。


而现在,智能手机的大量普及,不可避免的,我们通过各种“用户协议”开始暴露我们的个人数据,去了哪里,买了什么东西,和谁是朋友和一些基本信息,性别,年龄等等。


于是,大数据算法可以推算出,我们的行动路径,我们的爱好,活跃时间,喜欢什么app,喜欢什么文章。最终逐渐的,我们数据个人形象越来越逼近真实的我们。


而健康码的出现,几乎就是一个正面的证明,说明我们的个人数据形象和真实的我们已经几乎等同了。


这就是大数据时代,我们逐渐在变得越来越透明,越来越数据化。


数据就是我们,我们就是数据!

最佳贡献者
2

大数据的含义

大数据(big data),又称巨量资料,指的是所涉及的数据资料量规模巨大到无法通过人脑甚至主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。简单的说就是数据量大,数据复杂,短时间内无法用常规手段和软件进行快速有效的利用。

大数据的作用

大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域。目前人们谈论最多的是大数据技术和大数据应用。其影响除了经济方面,同时也能在政治、文化等方面产生深远的影响,大数据可以帮助人们开启循“数”管理的模式,也是我们当下“大社会”的集中体现,三分技术,七分数据。对于一般企业来说,大数据主要用于数据的分析以及二次项目的开发(目前多用于数据分析),通过对大数据的分析,可以将企业的数据价值进行整合,将原来散落的数据进行统一的管理,这样有利于将企业中隐藏的数据进行挖掘,通过这些数据资源按照行业维度进行分析,可以为企业过去到现在为止业务状况进行评估,为未来企业的发展提供决策依据。

本次疫情来临,很多网站上都可以看到疫情变化的情况,全国乃至地区每天增减的人数统计,这也是大数据时效性的体现,通过每天实时数据的动态变化,让人们可以了解疫情控制的情况,根据趋势和态势,可以提前做好相应的预防准备,这也是大数据作用最直观的体现。

数通畅联 专注于企业IT架构、SOA综合集成、数据治理分析领域,感谢您的阅读与关注!

3

先解释大数据。

大数据是指大数据集,以前由于储存介质的限制,无法储存大量数据,每一个数据都是经过尽挑细选的,在保留了重要数据的同时也会丢失一些次要数据。

随着网速的增加,储存介质的低成本化,通过获取、存储,随着数据数量越来越多,我们能分析的数据也就越来越多。

我简单做个模型来解释大数据搜集和应用的过程。

如我要分析疫情期间世界人民对于韩国疫情的看法和态度,怎么办?

以前的方法就是问卷调查,选择几个人发几张问卷,然后分析,时间慢,样本量不足,都有很强的局限性,那么有了大数据呢?

首先用爬虫技术(搜集阶段)对社交媒体,如今日头条、微博等进行大规模的数据下载,仅仅这一下我就可以搜集到几百万条数据。

但因为搜集到的数据他没有逻辑性,他不是结构化数据:即有固定格式和有限长度的数据。例如填的表格就是结构化的数据,国籍:中华人民共和国,民族:汉,性别:男,这都叫结构化数据。

然后进行整理(数据清洗),如对发评论的人的地理位置,性别,年龄以及发的话的关键词进行清洗。转变为结构化数据

经过上面的步骤,我们就有可用的大规模的数据,然后利用简单的编程,提取出某些关键词,比如:“控制”,“口罩”,“完蛋”等。

就可以做情感分析,根据原本有的语言情感库,就可以知道大家对韩国疫情的看法,持有这些看法的人的年龄,地区和性别等。在进行更深一步的了解,为心理相关部门,政府部门提供决策参考。同时作为今后发生流行病我们应该怎么处理提供可行性方案。

对个人企业来说,你可以通过大数据分析,知道你的产品是否受欢迎,应该怎么改,你的同行是怎么做的,买家对他的评论是什么样子的。应用方向很多。

4

作为一名IT从业者,我来回答一下这个问题。

大数据经过多年的发展已经形成了一个庞大的技术体系和行业生态,关于大数据的定义也有了较大程度的拓展,当前大数据的含义也从数据层面向应用层面不断发展。

从当前的技术体系结构来看,大数据技术涵盖了从数据采集、传输、存储到分析、呈现和应用的一系列环节,大数据技术体系也正在从数据分析(基于大数据平台)向数据采集和数据应用两端发展,同时也出现了行业分工。所以,当前的大数据本身就代表了一个产业链,这个产业链的规模也将随着大数据的落地应用而不断发展和壮大。

从大数据的应用层面来看,大数据正在开辟出一个新的价值空间,这是大数据之所以被广泛重视的重要原因。大数据的价值空间非常大,基于大数据的价值空间可以完成大量的创新,而这些创新本身也将推动大数据全面与行业领域的结合。相信在工业互联网的推动下,大数据技术的落地应用将全面促进行业资源的数据化,这会进一步提升数据自身的价值密度。

对于行业领域来说,大数据的作用可以从三个方面来解读,其一是大数据会提升行业领域的管理能力,当前基于大数据的管理模式正在从互联网行业向传统行业覆盖,关键点在于价值衡量体系的打造;其二是大数据能够促进行业领域的创新,这个过程也会促进物联网和人工智能等技术的落地应用;其三是大数据能够为行业领域带来新的价值增量,这个价值增量的空间还是非常大的,关于价值增量的描述可以基于数据来体现,也可以通过模式来体现。

我从事互联网行业多年,目前也在带计算机专业的研究生,主要的研究方向集中在大数据和人工智能领域,我会陆续写一些关于互联网技术方面的文章,感兴趣的朋友可以关注我,相信一定会有所收获。

如果有互联网、大数据、人工智能等方面的问题,或者是考研方面的问题,都可以在评论区留言,或者私信我!

5

你好,很高心回答你的问题!

下面是我的见解!

大数据的意义:

大数据是帮助企业利用海量数据资产实时、精确的洞察未知逻辑领域的动态变化,并快速重塑业务流程、组织和行业的新型数据管理技术构建颠覆性优势:

①洞察未知:多样化的数据使企业可以利用更为广泛的数据以支撑企业更多维度的分析需求,而不再局限于已知事实的分析,进而增加战略洞察力;

②优化流程:动态的分析变化可以使企业实时监测分析业务流程的不足,进而不断优化业务流程;

③实时响应:数据可实时访问分析加速了企业获取信息及分析的速度,进而使用户更加灵敏的应对市场的变化。


大数据几种较为常用的功能:

1.追踪

互联网和物联网无时无刻不在记录,大数据可以追踪、追溯任何一个记录,形成真实的历史轨迹。追踪是许多大数据应用的起点,包括消费者购买行为、购买偏好、支付手段、搜索和浏览历史、位置信息等。

2.识别

在对各种因素全面追踪的基础上,通过定位、比对、筛选,可以实现精准识别,尤其是对语音、图像、视频进行识别,使可分析内容大大丰富,得到的结果更为精准。

3.画像

通过对同一主体不同数据源的追踪、识别、匹配,形成更立体的刻画和更全面的认识。对消费者画像,可以精准推送广告和产品;对企业画像,可以准确判断其信用及面临的风险。

4.提示

在历史轨迹、识别和画像基础上,对未来趋势及重复出现的可能性进行预测,当某些指标出现预期变化或超预期变化时给予提示、预警。以前也有基于统计的预测,大数据大大丰富了预测手段,对建立风险控制模型有深刻意义。

5.匹配在海量信息中精准追踪和识别,利用相关性、接近性等进行筛选比对,更有效率地实现产品搭售和供需匹配。大数据匹配功能是互联网约车、租房、金融等共享经济新商业模式的基础。

6.优化

按距离最短、成本最低等给定的原则,通过各种算法对路径、资源等进行优化配置。对企业而言,提高服务水平、提升内部效率;对公共部门而言,节约公共资源、提升公共服务能力。

6

大数据(英语:Big data),又称为巨量资料,指的是在传统数据处理应用软件不足以处理的大或复杂的数据集的术语

大数据的特点

  • 体积大

数据量很重要。对于大数据,将不得不处理大量的低密度,非结构化数据。这可能是价值未知的数据,例如Twitter数据供稿,网页或移动应用程序上的点击流或启用传感器的设备。对于某些组织,这可能是数十兆字节的数据。对于其他人,可能是数百PB。

PB是硬盘存储容量单位,存储容量:是该存储设备上可以存储数据的最大数量,通常使用千字节(kb kilobyte)、兆字节(MB megabyte)、吉字节(GB, gigabyte)、太字节(TB ,terabyte)和PB(Petabyte)、EB(Exabyte)等来衡量。
1PB=1024TB=1024 * 1024 GB
一部1080P高清电影 2G 左右,大概就是 50W部高清电影
  • 速度

速度是接收和(或可能)作用于数据的快速速率。通常,与直接写入磁盘相比,数据流直接进入内存的速度最高。一些支持互联网的智能产品会实时或近乎实时地运行,因此需要实时评估和采取措施。

  • 多样性

多样性是指可用的多种数据类型。传统的数据类型经过结构化,可以整齐地放置在关系数据库中。随着大数据的兴起,数据进入了新的非结构化数据类型。非结构化和半结构化的数据类型(例如文本,音频和视频)需要进行额外的预处理才能得出含义并支持元数据。

  • 真实性

它是指数据中的不一致和不确定性,即可用数据有时会变得混乱,并且质量和准确性难以控制。

大数据也是可变的,因为多种不同的数据类型和数据源会产生大量的数据维度。

  • 价值

除非将其转化为有用的东西,否则大量没有价值的数据对公司没有好处。

数据本身没有用处或重要性,但需要将其转换为有价值的信息以提取信息。

大数据作用

指引产品开发

Netflix和宝洁等公司使用大数据来预测客户需求。他们通过对过去和当前产品或服务的关键属性进行分类并对这些属性与产品的商业成功之间的关系进行建模,从而为新产品和服务建立了预测模型。此外,宝洁还使用焦点小组,社交媒体,测试市场和早期商店推出的数据和分析来计划,生产和推出新产品。

预测性维护

可以预测机械故障的因素可能深深地埋在结构化数据中,例如设备的年份,制造商和型号,以及覆盖数百万条日志条目,传感器数据,错误消息和发动机温度的非结构化数据。通过在问题发生之前分析这些潜在问题的征兆,组织可以更有效地部署维护并最大化零件和设备的正常运行时间。

提升客户体验

客户竞赛在进行中。现在比以往任何时候都更可能更清晰地了解客户体验。大数据使您能够从社交媒体,Web访问,呼叫日志和其他来源收集数据,以改善交互体验并最大程度地实现交付的价值。开始提供个性化报价,减少客户流失并主动处理问题。

机器学习

机器学习现在是一个热门话题。数据(尤其是大数据)是原因之一。现在,我们可以教授机器而不是对其进行编程。大数据的可用性可训练机器学习模型,从而使之成为可能。

推动创新

大数据可以通过研究人员,机构,实体和流程之间的相互依赖性,然后确定使用这些见解的新方法来帮助您进行创新。使用数据洞察力来改进有关财务和计划考虑因素的决策。检查趋势以及客户希望提供什么新产品和服务。实施动态定价。有无穷的可能性。

引申

现在社交媒体(微信,微博,短视频),电商都有海量数据。头条可以根据用户行为进行精准推送内容或是广告。电商可以根据数据推送有购买意向的产品。

当前大数据时代只要是有海量用户,就可以根据用户的行为进行分析从而衍生出新的价值信息。


人工智能的前提就是通过海量数据,进行模型训练从而形成自己的计算方式。16年时谷歌人工智能机器人阿尔法狗大败世界围棋冠军李世石。围棋是人类引以为傲的高智商游戏,但最终败给了机器人。机器人就是前期通过海量数据进行计算不断的完善。


大数据的快速发展,也带来了很多问题。例如鼎鼎大名的脸书用户隐私泄漏事件。大数据中含有很多用户隐私数据,不正当的使用会造成灾难事故。


大数据未来还可以在更多的领域中使用,未来也将会出现更多的技术弥补大数据的漏洞。


请点赞支持下吆,留言关注交流。

7

1、大数据的含义

大数据具有四大特点,即我们经常说的“4V”:Volume(大量);Velocity(高速);Variety(多样);Value(低价值密度)。

Volume(大量) 截至目前,人类生产的所有印刷材料的数量是200PB。一些大企业的数据量已经接近EB量级。全球数据总量在今年有望达到50ZB。(1GB=1024MB 1TB=1024GB 1PB=1024TB 1EB=1024PB 1ZB=1024EB......)

Velocity(高速)这是大数据区于传统数据挖掘的最显著特征。刚才说到全球数据总量在今年将达到50ZB,在如此海量的数据面前,如何快速、高效地处理这些数据,是一大挑战,毕竟谁也不愿意为了搜索一条信息等上一年。

Variety(多样)在大数据领域,除了我们常见的文本、表格等结构化数据以外,还有大量的音频、图片、视频等非结构化数据,这些多类型的数据对数据的处理能力也提出了更高的要求。

Value(低价值密度)价值密度的高低与数据总量的大小成反比。比如,在一天道路监控视频中,我们只关心某个车牌在那几秒钟内的行驶轨迹。那么如何快速地对有价值数据进行“筛选提纯”也是一大挑战。

2、大数据的作用

大数据对各行各业都能发挥巨大的作用,用于科学化决策,智能化决策,合理性决策等。

具体一点,例如:

气象预报:预报总是不准的话,就失去预报的意义。

打击犯罪:通过人脸识别、行动轨迹、DNA等手段可以快速定位犯罪分子。

工业制造:通过供求、市场等一系列的数据分析,可以提前指导生产,不至于产能过剩或者产能不足。

健康医疗:典型的例子,在美国,谷歌通过监测人们搜索的关键词,比如:流感、发热、胸闷、温度计等。在某一地区的某一时间段内,有大量关于这些关键词的搜索,那么就存在一种潜在的关联:这个地区很有可能存在对应的流感人群,尽早提醒相关部门发布预警信息。

精准营销:大数据能对客户进行人物画像,大家经常看今日头条,你每次浏览的内容,花时间多的阅读肯定是你感兴趣的内容,那么头条会针对性的把你感兴趣的内容或者广告推送给你。

金融:可以加强风险控制,并迅速发现欺诈行为,提供更广泛和更深入的数据分析和报告。 上面是举了一些相关的例子,现实生活中还有很多。

未来,大数据技术将无处不在。

8

大数据就是大量的数据,就是来自互联网的庞大的数据。

大数据往往与数据挖掘分不开,在庞大的数据寻找里面的规律或挖掘其中有用的数据,为下一步的二次开发做准备,从而实现更进一步的发展。

9

大数据

互联网行业发展迅速,传统模式已经满足不了大数据的增长。

1)存储问题

数据库存储数据:没有大数据之前,很多公司采用数据库存储数据,如mysql,postgres和oracle数据库等等。比如今日头条,每天要产生那么多数据,使用传统数据库存储技术肯定是不行的。自然地,就要用大数据存储技术,大数据分布式存储就应运而生。大数据存储:可以作用在低成本的硬件上,服务器不需要很高的性能,并且会把数据存到磁盘上,并且可以备份。如果磁盘空间满了,就增加磁盘,再存储。比如,HIVE适合数据分析的数据库,HBASE适合快速搜索的数据库,当然它们都是存储在HDFS上的。

2)分析数据问题

大数据分析:分布式计算,实时处理技术。磁盘计算:在计算过程中,多次落地磁盘。如离线计算,mapreduce。

内存计算:在内存中进行计算,类似实时处理技术。如 spark。

大数据的特点

1, 数据容量大(Volume)。从TB级别,跃升到PB级别。2, 数据类型繁多(Variety)。相对于以往便于存储的以文本为主的结构化数据,非结构化数据越来越多,包括网络日志、音频、视频、图片、地理位置信息等。3, 商业价值高(Value)。客户群体细分,提供定制化服务;发掘新的需求同时提高投资的回报率;降低服务成本。4, 处理速度快(Velocity)。这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告,预计到2020年,全球数据使用量将达到35.2ZB。在如此海量的数据面前,处理数据的效率就是企业的生命。

10

所有可以被记录的人文字,声音,图像都可以称作大数据,只不过是通过数字的方式被记录。

数据有很多作用,比如查询历史记录,分析经营状况,还可以预测未来发展趋势。

每一个领域的应用都不一样,欢迎关注我进行更多交流,我就是做大数据分析的。

你的回答

单击“发布您的答案”,即表示您同意我们的服务条款