Tech Whims

Spark RPC 通信的作用 Spark 作为分布式的计算引擎，涉及非常多的地方需要进行网络通信，比如 spark 各个组件的消息通信、jar 包上传、shuffle 过程中节点间传输、Block 数据的广播等。 将所有的这些通信抽象出来，就和人体的框架类似，需要有管道结构进行各个器官（组件）的互通有无，将所有器官（组件）连接起来。在 spark 中，driver、executor、worker、master 等通信也是类似，通过 RPC（Remote Procedure Call） 框架实现。