大数据究竟是什么?大数据有哪些技术呢?

近几年,大数据的概念逐渐深入人心,大数据的趋势越来越火爆。但是,大数据到底是个啥?怎么样才能玩好大数据呢?
大数据的基本含义就是海量数据,麦肯锡全球研究所给出的定义是:一种规

本文最后更新时间:  2023-03-18 11:52:40

这是我通常与想要了解大数据的人进行对话:

问:什么是大数据?

答:大数据是描述庞大数据的术语。

问:现在,大数据有多大?

答:如此庞大,以至于无法用常规工具处理?

问:通常的工具是什么意思?

答:普通文件系统,数据库等工具。

所有这些大数据工具都有一个共同的特性:分布式计算。

因此,大数据是一个通常只能通过分布式的工具才能解决的问题。我知道这些天,每个人都在尝试将他们的BI(商业情报)工具描绘成大数据工具,但不要被喧闹声所欺骗。

问:哪些典型的大数据问题?

答:请考虑以下几点:

1,如何建立存储和保存500 TB电影/视频/文字的存储?

2,一台机器实际读取500 TB会花费多少时间?

3,如何建立可以存储数百万列和数十亿行数据而不会像乌龟一样慢的数据存储?

4,如何提供每秒数百万的读写?

5,如何解决真正复杂的问题?还记得时间的复杂性吗?想象一下,电子邮件哦公司,必须每秒钟来自不同用户30GB 电子邮件自动分类为5个类别(比如是否垃圾邮件),

或判断数百万个网站的内容,您必须准备网站名称的层次树,以使两个同级彼此非常相似。这种问题称为分类。

它们比通常的数据排序更为复杂。

随着数据的进一步增长,这些问题变得非常不可能解决。

解决此类问题需要巨大的计算能力-就RAM,CPU,磁盘读取速度而言。

问:大数据有什么用?

答:如果规模巨大,几乎每个业务计算问题都可以转换为大数据问题。

温馨提示:内容均由网友自行发布提供,仅用于学习交流,如有版权问题,请联系我们。