电信大数据吧 关注:152贴子:657
  • 0回复贴,共1

可以怎么提升智能数据算力?

只看楼主收藏回复

面对多样化算力堆砌和多计算域的要求,不同层面的算力通过不同的技术方式持续演进升级。共同推动算力螺旋上升。
存内计算——提升单机性能。在整机层面,提升算力的一个主要的方向是借助对服务器系统架构的优化,弱化或突破“存储墙”,打破数据读取瓶颈,从而提升单机算力。为了存储墙的问题,一个直接的想法就是让数据靠近计算单元,而且是物理临近。因此,出现了“存内处理”,也称之为“存内计算”,即在内存中加入运算回路,无需将数据传输到处理器中处理,只需将结果传送到处理器即可,显著减少数据在存储器和计算单元之间移动所产生延迟和能耗,提高内存计算系统的性能。但存内计算并非简单地将数据移至内存即可,PIM体系结构需要思考并优化其他可能的性能瓶颈与问题,比如数据持久化、超出内存数据的统一管理等问题。
分布式架构——提升集群性能。与单机数据库把数据存储在一个物理位置上不同,分布式数据库把数据分散存储在不同物理位置上,并可以轻松实现扩展。这种横向扩展能力,解决单机数据库的性能与存储瓶颈,同时更加安全与可靠。分布式架构显然也带来了其他问题,例如数据存取结构复杂、通信开销大、数据安全性和保密性较难控制等。
那么,怎么扬长避短提升算力呢,可以参考柏睿数据研发的全内存分布式数据库RapidsDB,是存内计算和分布式架构的集大成者。一方面,RapidsDB通过将数据全量加载到内存中进行处理,省去了磁盘I/O开销,具备更极致的读写速度,性能相对传统的磁盘数据库有数量级的提升;另一方面RapidsDB 分布式架构可以很好地通过集群及数据库分区的方式最大限度的提升高负载状态下的数据库性能。


1楼2022-05-30 13:47回复