将txt转成excel正则化公式的调整

将训练的结果转换成excel是送到画图的关键,但是在转的过程中出现了问题,发现是正则化公式的结果。

使用网站进行调试,最终可以转了。下面是调试的工具以及调试好的代码。

regex101: build, test, and debug regex

上面是正则化公式,下面是他的txt文件中的格式,要对应好才能转换。最后调好了,是没加空格的问题。

复制代码
import re
import pandas as pd

# 读取日志文件
log_file = r"origin\原始\20241102_191949.txt"  # 替换为你的日志文件路径
with open(log_file, "r", encoding="utf-8") as f:
    lines = f.readlines()

# 初始化存储数据的列表
data = []

# 正则表达式提取数据
pattern = r"\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2},\d{3} - pyskl - INFO - Epoch \[(\d+)\]\[(\d+)\/(\d+)\]\s+lr: ([\d.e+-]+),\s+eta: ([\d\w\s:,]+),\s+time: ([\d.]+),\s+data_time: ([\d.]+),\s+memory: ([\d]+),\s+top1_acc: ([\d.]+),\s+top5_acc: ([\d.]+),\s+loss_cls: ([\d.]+),\s+loss: ([\d.]+),\s+grad_norm: ([\d.]+)"

# 解析日志文件
for line in lines:
    print(f"Processing line: {line.strip()}")  # 调试信息
    match = re.search(pattern, line)
    if match:
        print(f"Match found: {match.groups()}")  # 调试信息
        # 提取匹配的数据
        epoch = int(match.group(1))
        current_step = int(match.group(2))
        total_steps = int(match.group(3))
        lr = float(match.group(4))
        eta = match.group(5)
        time = float(match.group(6))
        data_time = float(match.group(7))
        memory = int(match.group(8))
        top1_acc = float(match.group(9))
        top5_acc = float(match.group(10))
        loss_cls = float(match.group(11))
        loss = float(match.group(12))
        grad_norm = float(match.group(13))

        # 将数据添加到列表中
        data.append([epoch, current_step, total_steps, lr, eta, time, data_time, memory, top1_acc, top5_acc, loss_cls, loss, grad_norm])
    else:
        print("No match found")  # 调试信息

# 创建 DataFrame
columns = ["Epoch", "Current Step", "Total Steps", "Learning Rate", "ETA", "Time", "Data Time", "Memory", "Top1 Accuracy", "Top5 Accuracy", "Loss Cls", "Loss", "Grad Norm"]
df = pd.DataFrame(data, columns=columns)

# 保存为 Excel 文件
output_file = r"rigin\原始\20241102_191949.xlsx"  # 替换为你的输出文件路径
df.to_excel(output_file, index=False)

print(f"数据已保存到 {output_file}")
相关推荐
吹风看太阳2 分钟前
机器学习16-总体架构
人工智能·机器学习
Zonda要好好学习14 分钟前
Python入门Day4
java·网络·python
moonsims44 分钟前
全国产化行业自主无人机智能处理单元-AI飞控+通信一体化模块SkyCore-I
人工智能·无人机
MUTA️1 小时前
ELMo——Embeddings from Language Models原理速学
人工智能·语言模型·自然语言处理
海豚调度1 小时前
Linux 基金会报告解读:开源 AI 重塑经济格局,有人失业,有人涨薪!
大数据·人工智能·ai·开源
小龙在山东1 小时前
Python 包管理工具 uv
windows·python·uv
T__TIII1 小时前
Dify 插件非正式打包
人工智能
jerwey1 小时前
大语言模型(LLM)按架构分类
人工智能·语言模型·分类
令狐少侠20111 小时前
ai之RAG本地知识库--基于OCR和文本解析器的新一代RAG引擎:RAGFlow 认识和源码剖析
人工智能·ai
weixin_307779131 小时前
批量OCR的GitHub项目
python·github·ocr