案例一：数据处理场景 ------ 批量清洗 CSV 文件中的无效数据
1. 问题定义与需求拆解
核心问题
某业务场景下有一批用户信息 CSV 文件（存储在user_data/目录下），存在三类无效数据：① 关键列（user_id、phone）为空值；② 手机号（phone）不符合 11 位数字格式；③ 存在重复user_id的冗余数据。
需求目标
批量处理user_data/目录下所有 CSV 文件，清洗无效数据，将每个文件的清洗结果保存到cleaned_user_data/目录，保留列结构为user_id,name,phone,register_time，并记录清洗日志。
2. 信息收集与现状分析
- 收集样本 CSV 文件（
user_202601.csv），部分原始数据如下：| user_id | name | phone | register_time ||---------|-------|------------|---------------|| 1001 | 张三 | 13800138000| 2026-01-01 || 1002 | 李四 | | 2026-01-02 || 1003 | 王五 | 1390013800 | 2026-01-03 || 1001 | 张三 | 13800138000| 2026-01-01 || | 赵六 | 13700137000| 2026-01-04 | - 分析清洗规则：① 删除
user_id或phone为空的行；② 正则验证phone为 11 位纯数字；③ 按user_id去重，保留第一条记录； - 技术选型评估：Python 的
pandas库高效处理表格数据，os库遍历目录文件，re库验证手机号格式，方案轻量且易落地。
3. 方案实现与完整代码
import pandas as pd
import re
import os
from datetime import datetime
# 1. 定义基础配置与工具函数
INPUT_DIR = "user_data"
OUTPUT_DIR = "cleaned_user_data"
LOG_FILE = "data_cleaning_log.txt"
# 验证11位手机号的正则表达式
PHONE_PATTERN = re.compile(r"^1[3-9]\d{9}$")
# 定义日志记录函数
def write_log(content):
"""记录清洗过程日志"""
current_time = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
log_content = f"[{current_time}] {content}\n"
with open(LOG_FILE, "a", encoding="utf-8") as f:
f.write(log_content)
print(log_content.strip())
# 2. 定义单文件数据清洗函数
def clean_single_csv(file_path, output_path):
"""
清洗单个CSV文件
:param file_path: 输入CSV文件路径
:param output_path: 输出清洗后CSV文件路径
"""
try:
# 读取CSV文件
df = pd.read_csv(file_path, encoding="utf-8")
original_row_count = len(df)
write_log(f"开始清洗文件：{file_path}，原始数据行数：{original_row_count}")
# 步骤1：删除user_id或phone为空的行
df = df.dropna(subset=["user_id", "phone"])
drop_null_row_count = original_row_count - len(df)
write_log(f" - 删除空值行：{drop_null_row_count} 行")
# 步骤2：验证手机号格式，保留符合11位数字的行
df["phone"] = df["phone"].astype(str) # 统一转换为字符串格式
df = df[df["phone"].apply(lambda x: bool(PHONE_PATTERN.match(x)))]
drop_invalid_phone_count = original_row_count - drop_null_row_count - len(df)
write_log(f" - 删除无效手机号行：{drop_invalid_phone_count} 行")
# 步骤3：按user_id去重，保留第一条记录
df = df.drop_duplicates(subset=["user_id"], keep="first")
drop_duplicate_row_count = original_row_count - drop_null_row_count - drop_invalid_phone_count - len(df)
write_log(f" - 删除重复user_id行：{drop_duplicate_row_count} 行")
# 步骤4：保存清洗后的数据
os.makedirs(os.path.dirname(output_path), exist_ok=True)
df.to_csv(output_path, index=False, encoding="utf-8")
write_log(f"清洗完成：{output_path}，清洗后数据行数：{len(df)}\n")
except Exception as e:
error_msg = f"清洗文件 {file_path} 失败，错误信息：{str(e)}"
write_log(error_msg)
# 3. 定义批量处理函数
def batch_clean_csv():
"""批量处理INPUT_DIR下的所有CSV文件"""
# 初始化日志文件
write_log("="*50 + " 开始批量数据清洗 " + "="*50)
# 检查输入目录是否存在
if not os.path.exists(INPUT_DIR):
write_log(f"输入目录 {INPUT_DIR} 不存在，终止清洗")
return
# 遍历输入目录下的所有CSV文件
for root, dirs, files in os.walk(INPUT_DIR):
for file in files:
if file.endswith(".csv"):
# 构建输入与输出文件路径
input_file_path = os.path.join(root, file)
relative_path = os.path.relpath(input_file_path, INPUT_DIR)
output_file_path = os.path.join(OUTPUT_DIR, relative_path)
# 调用单文件清洗函数
clean_single_csv(input_file_path, output_file_path)
write_log("="*50 + " 批量数据清洗结束 " + "="*50)
# 4. 执行批量清洗
if __name__ == "__main__":
batch_clean_csv()4. 结果验证与优化迭代
（1）结果验证
- 运行代码前，创建
user_data/目录并放入样本 CSV 文件； - 运行代码后，生成
cleaned_user_data/目录（存放清洗后文件）和data_cleaning_log.txt（清洗日志）； - 验证核心指标：清洗后的文件无空值、手机号格式正确、无重复
user_id，日志记录完整可追溯。
（2）优化迭代
- 初始版本仅支持
utf-8编码 CSV，优化后添加gbk编码兼容（处理中文乱码问题）； - 新增列名校验，防止因 CSV 列名不一致导致报错；
- 优化去重逻辑，支持保留最新记录（按
register_time排序后去重）。
三、案例二：程序调试场景 ------ 排查 Python 平均分计算函数异常
1. 问题定义与需求拆解
核心问题
一个用于计算学生考试平均分的 Python 函数calculate_average()，存在两个异常：① 输入有效成绩列表[90, 85, 95, 88]，计算结果错误；② 输入包含非数字的列表[80, "90", 75, 92]，直接抛出类型错误。
需求目标
修复函数逻辑，实现：① 正确计算非空有效成绩列表（0-100 分）的平均分，保留 2 位小数；② 兼容字符串格式的数字（如"90"转换为90）；③ 对无效输入（空列表、非数字、成绩超出 0-100 范围）给出友好提示，而非直接报错。
2. 信息收集与现状分析
（1）原始错误代码
def calculate_average(scores):
"""计算学生成绩平均分"""
total = sum(scores)
average = total / len(scores)
return round(average, 2)（2）问题排查
- 测试用例 1：
calculate_average([90, 85, 95, 88])，预期结果89.50，实际返回错误（无语法错误，逻辑无问题？不，若输入包含字符串则报错）； - 测试用例 2：
calculate_average([80, "90", 75, 92])，抛出TypeError: unsupported operand type(s) for +: 'int' and 'str'，原因是无法直接对 int 和 str 求和； - 隐藏问题：输入空列表
[]会抛出ZeroDivisionError，输入成绩105或-5会被正常计算，不符合业务规则。
3. 方案实现与优化后代码
def calculate_average(scores):
"""
计算学生成绩平均分（优化版，支持容错与数据校验）
:param scores: 成绩列表（支持int、str格式的有效数字）
:return: 平均分（保留2位小数）或友好错误提示
"""
# 步骤1：校验输入是否为空列表
if not isinstance(scores, list):
return "错误：输入必须为列表类型"
if len(scores) == 0:
return "错误：成绩列表不能为空，请输入有效成绩"
# 步骤2：数据清洗与类型转换（兼容字符串格式数字）
valid_scores = []
for score in scores:
try:
# 转换为浮点数
num_score = float(score)
# 校验成绩是否在0-100范围内
if 0 <= num_score <= 100:
valid_scores.append(num_score)
else:
print(f"警告：成绩 {score} 超出0-100范围，已忽略")
except (ValueError, TypeError):
print(f"警告：成绩 {score} 不是有效数字，已忽略")
# 步骤3：校验清洗后是否有有效成绩
if len(valid_scores) == 0:
return "错误：无有效成绩可计算平均分"
# 步骤4：计算平均分并返回结果
total = sum(valid_scores)
average = total / len(valid_scores)
return round(average, 2)
# 测试用例验证
if __name__ == "__main__":
test_cases = [
[90, 85, 95, 88],
[80, "90", 75, 92],
[],
[105, -5, 90, "abc"],
"not a list"
]
for i, case in enumerate(test_cases, 1):
result = calculate_average(case)
print(f"测试用例 {i}：输入 {case} → 结果 {result}\n")4. 结果验证与优化迭代
（1）结果验证
运行测试用例，输出结果如下，符合预期需求：
- 测试用例 1：返回
89.50（正确计算有效成绩）； - 测试用例 2：返回
84.25（兼容字符串数字并转换）； - 测试用例 3：返回 "错误：成绩列表不能为空，请输入有效成绩"（友好提示空列表）；
- 测试用例 4：忽略无效成绩，返回
90.0（仅计算有效成绩）； - 测试用例 5：返回 "错误：输入必须为列表类型"（校验输入类型）。
（2）优化迭代
- 初始版本仅打印警告信息，优化后新增日志记录，便于追溯无效成绩；
- 支持自定义成绩范围（添加参数
min_score、max_score），提升函数复用性； - 新增返回值类型统一（异常场景返回字典格式
{"code": -1, "msg": "错误信息"}，成功场景返回{"code": 0, "data": 89.50}），便于后续业务调用。
四、计算机问题解决的核心技巧总结
- 重视问题拆解：将复杂问题拆分为多个可落地的小任务，避免 "胡子眉毛一把抓"，比如数据清洗拆分为 "空值处理、格式验证、去重" 三个小步骤；
- 善用工具与库 ：站在巨人的肩膀上，避免重复造轮子，比如数据处理用
pandas、正则验证用re、调试用pdb，提升解决效率； - 注重日志与测试：日志是排查问题的 "线索"，完善的测试用例能覆盖边界场景，避免上线后出现隐藏问题；
- 容错性优先：程序设计中要考虑异常场景，比如空输入、无效数据，给出友好提示而非直接崩溃；
- 积累可复用方案：将常见问题的解决方法整理为模板（如批量文件处理、数据校验），后续遇到同类问题可快速复用。
五、总结
计算机问题的解决，核心是建立 "系统化思维" 与 "落地能力" 的结合。通用方法论是指导方向，避免盲目试错；代码与案例是落地载体，验证方案的可行性。无论是数据处理、程序调试，还是更复杂的系统运维、算法实现，都可以遵循 "定义问题→收集信息→设计方案→落地实现→验证优化" 的流程。随着实践经验的积累，你会逐渐形成自己的问题解决体系，高效应对各类计算机场景中的挑战。