大数据开发吧 关注:2,643贴子:20,653
  • 0回复贴,共1

大数据技术的诞生?

只看楼主收藏回复

一般中型的互联网公司,每天处理的数据量都在50-500GB,如果人工去处理那是极其不现实的,比如用咱们普通用户常用到的Excel表格、Word文档、Txt文本文件等,一般性能的计算机去处理这么大的数据,结果只有一个——卡到死机,有兴趣的可以尝试一下,单纯的下载然后打开就可以了,可以检验一下电脑性能O不OK。
下载链接 :https://pan.baidu.com/s/1qnkbvpW4HxqHH1unvUeelQ 提取码:pvwf
下载声明:无毒无公害,可在指导下放心食用。
使用指导:下载后,将你电脑上所有打开的软件都保存应用信息后关闭,然后用相应的软件打开(如后缀为.txt的就用记事本软件,是.doc的就用Word办公软件),如果出现程序卡住无响应,在任务栏右键,选择任务管理器,找到你的无响应软件,右击选择结束进程,OK了。
很多看官会说:那肯定啊,那些公司的服务器肯定比我这小破电脑NB啊,怎么会打不开?
是的,以前公司就是这样处理数据的,但是以前局限于每天处理不到1G-10G的数据量,那用这样的处理方式还可以。后来随着用户的增长及软件反馈信息的增多,每天的信息量越来越大,一般想到的解决办法就是:一台服务器的运算能力不够了买两台嘛,再不够了再买嘛 ······
可是各位并不知道的是,高性能的单组服务器价格是极其昂贵的,随便截张图给大家欣赏一下。

可是哪怕是这样的服务器增容以后,能再延拓容纳的用户数量还是相对比较少的,同样企业里不但有处理数据的服务器,还得有备份服务器来存储数据和应对突发情况,在使用量上,高性能单机器利用率也不算高,万一出现故障维修费用也得不少钱,所以综合来看,这样的企业问题解决方案,性价比很低。
但是人类社会从已经淘汰的1G、2G,到正在使用的3G、4G,再到即将到来的5G时代,数据量的暴增是不可置否的客观事实。很多企业怕自己光是买服务器和维护服务器,就把自己整垮了,所以觉得技术上应该另辟蹊径,找到一种性价比高的策略方案来应对时代潮流,所以,大数据处理技术,诞生了。


IP属地:北京1楼2023-02-08 09:27回复