柏拉图Plato(发布于2019年11月14日)
地址:https://github.com/tencent/plato
    腾讯开源的高性能图计算框架Plato,据介绍,Plato可满足十亿级节点的超大规模图计算需求,将算法计算时间从“天”级缩短到“分钟”级,性能全面领先于其他主流分布式图计算框架,并且打破了原本动辄需要数百台服务器的资源瓶颈。
    图计算的“图”并不是指普通的图像和照片,而是用于表示对象之间关联关系的一种抽象数据结构。图计算可以将不同来源、不同类型的数据融合到同一个图里进行分析,得到原本独立分析难以发现的结果,因此成为社会网络、推荐系统、网络安全、文本检索和生物医疗等领域至关重要的数据分析和挖掘工具。
    综合来讲,Plato在计算性能方面机器强悍,主要有以下贡献:
(1) Plato能高效地支撑腾讯超大规模社交网络图数据的各类计算,且性能达到了学术界和工业界的顶尖水平,比Spark GraphX高出1-2个数量级;
(2) Plato内存消耗比Spark GraphX减少了1-2个数量级,意味着只需中小规模的集群(10台服务器左右)即可完成腾讯数据量级的超大规模图计算;
(3) Plato隶属腾讯图计算TGraph,起源于大规模社交网络图数据,但也可以完美适配其他类型的图数据。
    Palto主要提供两大核心能力,腾讯数量级下的离线图计算和腾讯数据量级下的图表示学习。同时,Plato可运行在通用的X86集群,如Kubernetes集群、Yarn集群等。在文件系统层面,Plato提供了多种接口支持主流的文件系统,如HDFS、Ceph等,能为开发者提供更友好的运行环境。

参与评论

热门资讯