面向海量空间数据的分布式距离连接算法

Published in 计算机科学, 2021

摘要：空间距离连接是空间数据分析最基本的操作之一，具有广泛的应用场景。针对现有分布式方法的空间域选取过大、数据倾斜、自连接较慢的问题，提出了一种新的面向海量空间数据的分布式距离连接算法JUSTＧJoin。首先，JUSTＧJoin仅选取必要的空间区域作为全局域，能够提前过滤数据,减少无效的数据传输和不必要的计算开销；然后，同时考虑了参与连接的两个数据集的分布，从而缓解了数据倾斜问题；最后，针对自连接情形的冗余计算，采用平面扫描算法来进一步提高效率。文中使用Spark实现了JUSTＧJoin算法，并利用真实的数据集做了大量实验。实验结果表明,JUSTＧJoin算法在效率和扩展性方面都优于现有的最先进的分布式空间分析系统。