@toc<>
1训练
1.1 进度条
python
import tqdm as tqdm
for i, data in tqdm(enumerate(train_loader),disable=hvd.rank()):
1.2 多进程通信
多线程通信依靠共享内存实现,但是多进程通信就麻烦很多,因此可以采用mpi库,如果是在python中使用,可以使用pmi4py
参考:Python多进程并行编程实践-mpi4py的使用