IMerge实验结果数据与绘图

一、不同融合方案的吞吐量对比

由于原始数据缺失，只剩下论文里的柱状图，可以使用 WebPlotDigitizer 提取柱状图数据。

ResNet18 吞吐量

# of GPUs	静态阈值融合	自适应融合（基于AllReduce）	自适应融合（基于PS模型）
4	935	952	970
8	1833	1534	1886
16	3544	1992	3649
32	5501	2944	6224

在32节点规模下，基于新的通信模型的融合梯度通信策略比基于传统的通信模型的融合梯度通信策略加速111.4%

Vgg16 吞吐量

# of GPUs	静态阈值融合	自适应融合（基于AllReduce）	自适应融合（基于PS模型）
4	1014	980	997
8	2011	1845	1978
16	3824	1413	3840
32	5802	2144	6052

在32节点规模下，基于新的通信模型的融合梯度通信策略比基于传统的通信模型的融合梯度通信策略加速182.3%

AlexNet

# of GPUs	静态阈值融合	自适应融合（基于AllReduce）	自适应融合（基于PS模型）
4	4041	4414	4500
8	7898	8201	8269
16	15028	14551	15011
32	24965	19966	25648

在32节点规模下，基于新的通信模型的融合梯度通信策略比基于传统的通信模型的融合梯度通信策略加速28.5%

ResNet50

# of GPUs	静态阈值融合	自适应融合（基于AllReduce）	自适应融合（基于PS模型）
4	480	447	486
8	927	710	934
16	1723	986	1763
32	2565	1407	2565

在32节点规模下，基于新的通信模型的融合梯度通信策略比基于传统的通信模型的融合梯度通信策略加速82.3%

二、不同调度方案吞吐量对比

ResNet18

# of GPUs	默认	WFBP	基于优先级传输	MG-WFBP	IMerge
4	806	928	897	958	989
8	1460	1810	1704	1871	1933
16	2206	3226	2510	3667	3941
32	3606	4854	2906	6239	6650

Vgg16 吞吐量

# of GPUs	默认	WFBP	基于优先级传输	MG-WFBP	IMerge
4	848	959	885	995	1143
8	1420	1918	1438	1991	2157
16	1696	3282	1991	3836	4297
32	2747	4370	2323	6049	8409

AlexNet

# of GPUs	默认	WFBP	基于优先级传输	MG-WFBP	IMerge
4	3141	3739	3365	4487	4561
8	5833	7329	6506	8076	8749
16	9722	13685	10544	14882	16752
32	15779	21463	13012	25876	31335

ResNet50

# of GPUs	默认	WFBP	MG-WFBP	IMerge
4	390	480	480	498
8	698	907	916	970
16	834	1659	1777	1895
32	1387	2022	2548	3573

三、不同调度策略下的加速比

提醒：此处XY轴属于对数刻度，在使用WebPlotDigitizer时，标定刻度线时选择Log Scale

ResNet18

# of GPUs	Linear	Default	WFBP	Priority-based	MG-WFBP	IMerge
4	4	2.86	3.28	3.17	3.51	3.58
8	8	5.12	6.49	6.11	6.72	7.19
16	16	7.89	11.61	8.80	13.39	14.04
32	32	13.1	17.42	10.40	22.39	24.29

Vgg16

# of GPUs	Linear	Default	WFBP	Priority-based	MG-WFBP	IMerge
4	4	2.71	3.21	2.95	3.43	3.69
8	8	4.75	6.28	4.97	6.71	7.34
16	16	5.86	11.00	6.70	12.92	14.44
32	32	9.14	14.83	7.73	20.59	28.59

AlexNet

# of GPUs	Linear	Default	WFBP	Priority-based	MG-WFBP	IMerge
4	4	1.61	1.97	1.75	2.31	2.38
8	8	3.07	3.89	3.33	4.26	4.52
16	16	5.07	7.09	5.50	7.81	8.80
32	32	8.20	11.2	6.80	13.50	16.74

ResNet50

# of GPUs	Linear	Default	WFBP	MG-WFBP	IMerge
4	4	2.77	3.33	3.50	3.60
8	8	5.15	6.56	6.77	7.17
16	16	6.16	12.34	13.24	14.11
32	32	10.34	15.06	19.18	26.60

四、新的通信模型

4.1 size<36768

node	message size	communication time
8	10	0.002
16		0.022
32		0.07
8	100	0.003
16		0.025
32		0.075
8	1000	0.01
16		0.03
32		0.08
8	10000	0.02
16		0.04
32		0.095