文章目录
背景
我有多个pytorch GPU模型,他们有不同的参数(也就是说不是共享的),但是相同的数据输入,想要并发运行。
不并发运行,当然就是循环喽。
for i in range(self.args.m):
self.models[i](batch)
我想要并发,因为m
有点大。像上面循环的话m=30
以上速度就有点受不了了。我看过了,我的GPU还有很多空间,起码放上去10个模型没有问题。
我的做法(但证明不起效果)
我想到了多线程,如下:
class MyThread_forward(threading.Thread): #自定义线程类
def __init__(self, model,batch):
threading.Thread.__init__(self)
self.model = model
self.batch=batch
def run(self):
self.result=self.model(self.batch)
def get_result(self):
return self.result
def multi_thread_forward():
threads=[]
for i in range(self.args.m):#创建多个线程
threads.append(MyThread_forward(self.models[i],batch))
for thread in threads:#各个线程开始并发运行。
thread.start()
for thread in threads:#等待各个线程运行完毕再执行下面代码。
thread.join()
results= []
for thread in threads:
results.append(thread.get_result()) #每个线程返回结果(result)加入列表中
return results
multi_thread_forward()#多线程运行。
结果就是不起效果好像,还是运行得很慢,咋回事捏。