BDP商业数据平台如何做到亿行数据秒级处理呢?这么高的性能是否真的低成本?

BDP商业数据平台如何做到亿行数据秒级处理呢?这么高的性能是否真的低成本?

简单来说就是通过分布式计算来对亿级数据进行并行处理,均摊到集群上每台机器需要处理的数据就小了很多,以100台机器为例,对一亿行的表做分析时,每台机器需要处理的数据只有100万行左右了,一两秒钟完成查询并不困难。当然实际的分析中计算复杂度千差万别,也不是所有的计算都能并行处理,BDP需要做非常多的优化才能保证绝大部分的分析能在几秒内完成。

至于成本问题就得谈到saas的一个核心优势了,平台资源是多租户共享的,而大多数客户并不会全天满负荷使用服务,所以对客户而言,付出几台服务器的钱也许就就能获得几百台服务器的计算能力,对于平台而言,越是有更多用户和更大集群,就越便于降低服务每个用户的平均成本。