为了提升插入数据的效率,通常采用批量插入的方式,当一批数据中有错误数据时,该批次数据报错,都插入失败。如何跳过引起报错的数据,将其他正确的数据插入,实现方式如下代码。
data_to_insert = []
for i, data in datas:
testDemo = TestDemo()
testDemo.ID = data[i].id
testDemo.NAME = data[i].name
data_to_insert.append(testDemo)
if (i + 1) % 1000 == 0:
try:
TestDemo.objects.bulk_create(data_to_insert, batch_size=1000)
except Exception as e:
# 处理批次插入错误,逐个插入并跳过异常数据
print("批次插入数据时出现错误:", e)
for item in data_to_insert:
try:
item.save()
except Exception as e:
# 处理逐条插入错误,可以打印错误信息或进行其他操作
print("逐条插入数据时出现错误:", e)
data_to_insert.clear()
# 处理最后可能剩余的数据
try:
TestDemo.objects.bulk_create(data_to_insert, batch_size=1000)
except Exception as e:
# 处理批次插入错误,逐个插入并跳过异常数据
print("批次插入数据时出现错误:", e)
for item in data_to_insert:
try:
item.save()
except Exception as e:
# 处理逐条插入错误,可以打印错误信息或进行其他操作
print("逐条插入数据时出现错误:", e)