跨操作系统文本换行符问题完全指南

问题现象

在 Linux/macOS 系统上执行从 Windows 复制过来的脚本时，可能会遇到如下错误：

复制代码

/bin/bash^M: bad interpreter: No such file or directory

或

复制代码

: No such file or directory

注意：错误信息中的 ^M 有时不可见，但问题本质相同。

1. 背景知识：换行符的历史与差异

1.1 什么是换行符？

换行符（Line Ending）是标记文本行结束的特殊控制字符。由于历史原因，不同操作系统采用了不同的标准：

操作系统	换行符表示	十六进制值	说明
Unix/Linux/macOS	`LF` (Line Feed)	`0x0A`	现代 Unix 系统的标准
Windows/DOS	`CRLF` (Carriage Return + Line Feed)	`0x0D 0x0A`	继承自打字机时代的传统
经典 Mac OS	`CR` (Carriage Return)	`0x0D`	1999年以前的 Mac 系统

1.2 历史渊源

复制代码

┌─────────────────────────────────────────────────────────────┐
│                    换行符的历史演变                          │
├─────────────────────────────────────────────────────────────┤
│ 打字机时代：                                                 │
│   CR (Carriage Return, \r) - 将打印头移回行首               │
│   LF (Line Feed, \n)       - 将纸张向上滚动一行             │
│                                                             │
│ Windows 继承了 DOS，DOS 继承了 CP/M，都使用 CRLF            │
│ Unix 设计者认为一个字符就够了，选择了 LF                     │
│ 早期 Mac 选择 CR，OSX 后改为使用 LF (Unix 基础)             │
└─────────────────────────────────────────────────────────────┘

1.3 为什么会出问题？

当 Linux 读取脚本第一行 #!/bin/bash 时：

Unix 格式 (LF) ：#!/bin/bash\n → 解释器路径是 /bin/bash ✅
Windows 格式 (CRLF) ：#!/bin/bash\r\n → 解释器路径变成 /bin/bash\r ❌

那个额外的 \r（显示为 ^M）让系统找不到解释器。

2. 问题检测与识别

2.1 查看文件换行符格式

方法一：使用 `file` 命令

bash 复制代码

file script.sh

输出示例：

复制代码

script.sh: Bourne-Again shell script, ASCII text executable, with CRLF line terminators
# 或
script.sh: Bourne-Again shell script, ASCII text executable

方法二：使用 `cat -A` 显示特殊字符

bash 复制代码

cat -A script.sh

^M 表示 \r (CR)
$ 表示 \n (LF)

输出示例：

bash 复制代码

#!/bin/bash^M$          # ← 有 ^M 表示 CRLF 格式
echo "Hello"^M$         # ← Windows 格式

方法三：使用 `od` 或 `hexdump` 查看十六进制

bash 复制代码

od -c script.sh | head -5
# 或
hexdump -C script.sh | head -5

CRLF 文件会看到 \r \n：

复制代码

00000000  23 21 2f 62 69 6e 2f 62  61 73 68 0d 0a 65 63 68  |#!/bin/bash..ech|
                                    ↑↑
                                  0d 0a = \r\n

方法四：使用 `dos2unix` 的检测模式

bash 复制代码

dos2unix -i script.sh
# 输出: 1 0 0 0 0 0 0 0 0 0 0 0  (第一个数字 > 0 表示有 DOS 换行符)

2.2 批量检测目录中的文件

bash 复制代码

# 查找所有包含 CRLF 的 shell 脚本
find . -name "*.sh" -type f | xargs file | grep CRLF

# 统计各类文件数量
file **/* | grep -E "CRLF|CR line" | wc -l

3. 解决方案

3.1 单文件转换

方法一：使用 `dos2unix`（推荐）

bash 复制代码

# 转换单个文件
dos2unix script.sh

# 保留原文件，输出到新文件
dos2unix -n script.sh script_unix.sh

# 转换并显示详细信息
dos2unix -v script.sh

安装 dos2unix：

bash 复制代码

# Ubuntu/Debian
sudo apt-get install dos2unix

# CentOS/RHEL/Fedora
sudo yum install dos2unix        # 或 dnf

# macOS
brew install dos2unix

方法二：使用 `sed`（无需安装）

bash 复制代码

# 直接修改文件
sed -i 's/\r$//' script.sh

# macOS (BSD sed) 需要额外参数
sed -i '' 's/\r$//' script.sh

方法三：使用 `tr` 删除 CR

bash 复制代码

# 需要重定向到新文件
tr -d '\r' < script.sh > script_unix.sh
mv script_unix.sh script.sh

方法四：使用 Vim

bash 复制代码

vim script.sh

在 Vim 命令模式下：

vim 复制代码

:set fileformat?          " 查看当前格式
:set fileformat=unix      " 设置为 Unix 格式
:set fileformat=dos       " 设置为 DOS 格式 (反向转换)
:wq                       " 保存退出

快速转换命令：

bash 复制代码

vim -c "set ff=unix" -c "wq" script.sh

方法五：使用 `awk`

bash 复制代码

awk '{gsub(/\r$/,"")}1' script.sh > temp.sh && mv temp.sh script.sh

方法六：使用 `perl`

bash 复制代码

perl -pi -e 's/\r\n/\n/g' script.sh

3.2 批量转换

批量转换当前目录下所有 `.sh` 文件

bash 复制代码

# 使用 find + dos2unix
find . -name "*.sh" -type f -exec dos2unix {} \;

# 或使用 xargs (效率更高)
find . -name "*.sh" -type f | xargs dos2unix

# 只转换包含 CRLF 的文件
find . -name "*.sh" -type f | xargs grep -l $'\r' | xargs dos2unix

批量转换多种类型文件

bash 复制代码

# 转换 .sh, .py, .js, .md 文件
find . -type f \( -name "*.sh" -o -name "*.py" -o -name "*.js" -o -name "*.md" \) \
  -exec dos2unix {} \;

使用 `git` 自动转换（推荐团队协作使用）

配置 Git 自动处理换行符：

bash 复制代码

# 提交时转换为 LF，检出时根据操作系统转换
git config --global core.autocrlf true    # Windows 用户
git config --global core.autocrlf input   # Linux/Mac 用户

# 使用 .gitattributes 精细控制 (推荐)
# 在项目根目录创建 .gitattributes 文件：

.gitattributes 示例：

gitattributes 复制代码

# 自动处理换行符
* text=auto

# 指定特定文件类型使用 LF
*.sh text eol=lf
*.py text eol=lf
*.js text eol=lf
*.json text eol=lf
*.yml text eol=lf
*.yaml text eol=lf

# 指定 Windows 批处理文件使用 CRLF
*.bat text eol=crlf
*.cmd text eol=crlf

# 二进制文件不处理
*.png binary
*.jpg binary
*.gif binary
*.ico binary

4. 实用工具脚本

4.1 通用换行符修复脚本

创建一个可重用的脚本 fix-line-endings.sh：

bash 复制代码

#!/bin/bash

# ============================================
# 文件名: fix-line-endings.sh
# 描述: 跨平台换行符检测与修复工具
# 作者: Assistant
# 版本: 1.0
# ============================================

set -euo pipefail

# 颜色定义
RED='\033[0;31m'
GREEN='\033[0;32m'
YELLOW='\033[1;33m'
BLUE='\033[0;34m'
NC='\033[0m' # No Color

# 默认配置
DRY_RUN=false
VERBOSE=false
RECURSIVE=false
FILE_PATTERN="*.sh"
CONVERT_TO="unix"

# 显示帮助
show_help() {
    cat << EOF
用法: $(basename "$0") [选项] [文件或目录...]

检测并修复文本文件的换行符问题

选项:
    -h, --help          显示此帮助信息
    -d, --dry-run       仅检测，不实际修改
    -v, --verbose       显示详细信息
    -r, --recursive     递归处理目录
    -p, --pattern       文件匹配模式 (默认: *.sh)
    -t, --to            转换目标: unix|dos|mac (默认: unix)
    -i, --interactive   交互模式，每个文件询问确认

示例:
    $(basename "$0") script.sh              # 转换单个文件
    $(basename "$0") -r ./src               # 递归转换 src 目录下的 .sh 文件
    $(basename "$0") -r -p "*.py" ./src     # 递归转换 .py 文件
    $(basename "$0") -d -r .                # 仅检测，显示哪些文件需要转换
    $(basename "$0") -t dos script.sh       # 转换为 DOS 格式 (反向转换)

EOF
}

# 日志函数
log_info() {
    echo -e "${BLUE}[INFO]${NC} $1"
}

log_success() {
    echo -e "${GREEN}[OK]${NC} $1"
}

log_warn() {
    echo -e "${YELLOW}[WARN]${NC} $1"
}

log_error() {
    echo -e "${RED}[ERROR]${NC} $1"
}

# 检测文件换行符类型
detect_line_ending() {
    local file="$1"
    
    if [[ ! -f "$file" ]]; then
        echo "not_found"
        return
    fi
    
    # 检测文件类型
    local file_info
    file_info=$(file "$file" 2>/dev/null || echo "unknown")
    
    if echo "$file_info" | grep -q "CRLF"; then
        echo "dos"
    elif echo "$file_info" | grep -q "CR line"; then
        echo "mac"
    elif echo "$file_info" | grep -q "text"; then
        # 进一步检查是否真的是 LF
        if grep -q $'\r' "$file" 2>/dev/null; then
            echo "mixed"
        else
            echo "unix"
        fi
    else
        echo "binary"
    fi
}

# 转换单个文件
convert_file() {
    local file="$1"
    local target="$2"
    
    if [[ "$DRY_RUN" == true ]]; then
        local current
        current=$(detect_line_ending "$file")
        if [[ "$current" != "$target" && "$current" != "binary" && "$current" != "not_found" ]]; then
            echo -e "${YELLOW}[DRY-RUN]${NC} 将转换: $file ($current -> $target)"
        elif [[ "$VERBOSE" == true ]]; then
            echo -e "${GREEN}[SKIP]${NC} 无需转换: $file ($current)"
        fi
        return 0
    fi
    
    local current
    current=$(detect_line_ending "$file")
    
    if [[ "$current" == "binary" ]]; then
        [[ "$VERBOSE" == true ]] && log_warn "跳过二进制文件: $file"
        return 0
    fi
    
    if [[ "$current" == "not_found" ]]; then
        log_error "文件不存在: $file"
        return 1
    fi
    
    if [[ "$current" == "$target" ]]; then
        [[ "$VERBOSE" == true ]] && log_info "已是目标格式 ($target): $file"
        return 0
    fi
    
    # 执行转换
    case "$target" in
        unix)
            if command -v dos2unix &> /dev/null; then
                dos2unix "$file" 2>/dev/null
            else
                sed -i 's/\r$//' "$file" 2>/dev/null || \
                sed -i '' 's/\r$//' "$file"  # macOS
            fi
            ;;
        dos)
            if command -v unix2dos &> /dev/null; then
                unix2dos "$file" 2>/dev/null
            else
                sed -i 's/$/\r/' "$file" 2>/dev/null || \
                sed -i '' 's/$/\r/' "$file"  # macOS
            fi
            ;;
        mac)
            # 转换为经典 Mac 格式 (CR)
            sed -i 's/\r\?\n/\r/g' "$file" 2>/dev/null || \
            sed -i '' 's/\r\?\n/\r/g' "$file"
            ;;
    esac
    
    log_success "已转换: $file ($current -> $target)"
    return 0
}

# 查找并处理文件
process_path() {
    local path="$1"
    
    if [[ -f "$path" ]]; then
        # 单文件处理
        if [[ "$INTERACTIVE" == true ]]; then
            local current
            current=$(detect_line_ending "$path")
            if [[ "$current" != "$CONVERT_TO" && "$current" != "binary" ]]; then
                read -rp "转换 $path ($current -> $CONVERT_TO)? [y/N] " confirm
                [[ "$confirm" == [yY] ]] && convert_file "$path" "$CONVERT_TO"
            fi
        else
            convert_file "$path" "$CONVERT_TO"
        fi
    elif [[ -d "$path" ]]; then
        # 目录处理
        local find_opts="-maxdepth 1"
        [[ "$RECURSIVE" == true ]] && find_opts=""
        
        while IFS= read -r -d '' file; do
            if [[ "$INTERACTIVE" == true ]]; then
                local current
                current=$(detect_line_ending "$file")
                if [[ "$current" != "$CONVERT_TO" && "$current" != "binary" ]]; then
                    read -rp "转换 $file ($current -> $CONVERT_TO)? [y/N] " confirm
                    [[ "$confirm" == [yY] ]] && convert_file "$file" "$CONVERT_TO"
                fi
            else
                convert_file "$file" "$CONVERT_TO"
            fi
        done < <(find "$path" $find_opts -type f -name "$FILE_PATTERN" -print0 2>/dev/null)
    else
        log_error "无效的路径: $path"
        return 1
    fi
}

# 统计信息
declare -i TOTAL_FILES=0
declare -i CONVERTED_FILES=0

# 主函数
main() {
    local paths=()
    
    # 解析参数
    while [[ $# -gt 0 ]]; do
        case "$1" in
            -h|--help)
                show_help
                exit 0
                ;;
            -d|--dry-run)
                DRY_RUN=true
                shift
                ;;
            -v|--verbose)
                VERBOSE=true
                shift
                ;;
            -r|--recursive)
                RECURSIVE=true
                shift
                ;;
            -i|--interactive)
                INTERACTIVE=true
                shift
                ;;
            -p|--pattern)
                FILE_PATTERN="$2"
                shift 2
                ;;
            -t|--to)
                CONVERT_TO="$2"
                shift 2
                ;;
            -*)
                log_error "未知选项: $1"
                show_help
                exit 1
                ;;
            *)
                paths+=("$1")
                shift
                ;;
        esac
    done
    
    # 验证目标格式
    if [[ ! "$CONVERT_TO" =~ ^(unix|dos|mac)$ ]]; then
        log_error "无效的目标格式: $CONVERT_TO (应为 unix|dos|mac)"
        exit 1
    fi
    
    # 检查是否有输入路径
    if [[ ${#paths[@]} -eq 0 ]]; then
        log_error "请指定文件或目录"
        show_help
        exit 1
    fi
    
    # 处理每个路径
    for path in "${paths[@]}"; do
        process_path "$path"
    done
    
    if [[ "$DRY_RUN" == true ]]; then
        log_info "检测完成 (干运行模式，未实际修改文件)"
    else
        log_info "处理完成"
    fi
}

# 执行
main "$@"

4.2 Git 预提交钩子

创建 .git/hooks/pre-commit 自动检测 CRLF：

bash 复制代码

#!/bin/bash

# Git 预提交钩子：阻止提交包含 CRLF 的脚本文件

echo "检查换行符..."

# 获取暂存区的文件列表
files=$(git diff --cached --name-only --diff-filter=ACM | grep -E '\.(sh|py|js|json|yml|yaml|md)$' || true)

has_crlf=false

for file in $files; do
    if [[ -f "$file" ]]; then
        # 检查是否包含 CRLF
        if git show ":$file" | grep -q $'\r'; then
            echo "错误: $file 包含 Windows 换行符 (CRLF)"
            has_crlf=true
        fi
    fi
done

if [[ "$has_crlf" == true ]]; then
    echo ""
    echo "请使用以下命令修复："
    echo "  dos2unix <文件名>"
    echo "或："
    echo "  sed -i 's/\\r\$//' <文件名>"
    echo ""
    echo "建议在项目根目录创建 .gitattributes 文件自动处理换行符"
    exit 1
fi

echo "换行符检查通过"
exit 0

启用钩子：

bash 复制代码

chmod +x .git/hooks/pre-commit

4.3 快速修复别名

添加到 ~/.bashrc 或 ~/.zshrc：

bash 复制代码

# 换行符修复别名
alias fixsh='find . -name "*.sh" -type f -exec dos2unix {} \; 2>/dev/null || find . -name "*.sh" -type f -exec sed -i "s/\r$//" {} \;'
alias fixpy='find . -name "*.py" -type f -exec dos2unix {} \;'
alias lf='file -b'  # 快速查看文件类型
alias crlf='grep -l $"\r"'  # 快速查找包含 CRLF 的文件

5. 预防措施与最佳实践

5.1 编辑器配置

VS Code

在项目 .vscode/settings.json 中添加：

json 复制代码

{
    "files.eol": "\n",
    "files.trimTrailingWhitespace": true
}

Vim

在 ~/.vimrc 中添加：

vim 复制代码

" 默认使用 Unix 换行符
set fileformat=unix
set fileformats=unix,dos,mac

" 保存时自动删除行尾空格
autocmd BufWritePre * :%s/\s\+$//e

Sublime Text

首选项 → 设置：

json 复制代码

{
    "default_line_ending": "unix",
    "trim_trailing_white_space_on_save": true
}

5.2 IDE 检测

现代 IDE 通常在状态栏显示当前文件的换行符格式：

VS Code : 右下角显示 LF 或 CRLF，点击可切换
IntelliJ IDEA: 状态栏显示换行符，右键可修改
Notepad++: 编辑 → 文档格式转换

5.3 CI/CD 集成

在持续集成流程中添加换行符检查：

yaml 复制代码

# .github/workflows/check-line-endings.yml
name: Check Line Endings

on: [push, pull_request]

jobs:
  check:
    runs-on: ubuntu-latest
    steps:
      - uses: actions/checkout@v3
      
      - name: Check for CRLF
        run: |
          files=$(find . -type f \( -name "*.sh" -o -name "*.py" -o -name "*.js" \) ! -path "./.git/*")
          has_crlf=false
          for file in $files; do
            if grep -q $'\r' "$file" 2>/dev/null; then
              echo "CRLF detected: $file"
              has_crlf=true
            fi
          done
          if [[ "$has_crlf" == true ]]; then
            echo "Error: CRLF line endings detected"
            exit 1
          fi

6. 常见问题 FAQ

Q1: 为什么我在 Windows 上用 WSL 也会遇到这个问题？

WSL 可以访问 Windows 文件系统，如果脚本保存在 Windows 分区（如 /mnt/c/），就会保留 CRLF。建议：

将项目文件放在 WSL 的 Linux 文件系统中（如 /home/username/）
或在 WSL 中运行 dos2unix 转换

Q2: 如何在 Windows 上创建 LF 格式的文件？

Git Bash: 直接使用 Linux 工具创建
VS Code : 设置 "files.eol": "\n"
Notepad++: 编辑 → 文档格式转换 → Unix (LF)
PowerShell : (Get-Content file.txt) | Set-Content -NoNewline file.txt

Q3: 能否在 Windows 上运行 Unix 格式的脚本？

Git Bash、WSL、Cygwin 都可以直接运行 LF 格式的脚本。但 Windows 原生命令提示符 (cmd.exe) 可能需要 CRLF 格式的批处理文件 (.bat)。

Q4: 二进制文件会被影响吗？

不会。dos2unix 等工具会检测文件类型，跳过二进制文件。但使用 sed 等工具时要小心，建议先备份。

Q5: 如何反向转换（Unix → DOS）？

bash 复制代码

# 使用 unix2dos
unix2dos file.txt

# 或使用 sed
sed -i 's/$/\r/' file.txt

7. 总结速查表

操作	命令
检测文件格式	`file script.sh`
查看隐藏字符	`cat -A script.sh`
快速修复单文件	`dos2unix script.sh`
快速修复（无 dos2unix）	`sed -i 's/\r$//' script.sh`
批量修复所有 `.sh`	`find . -name "*.sh" -exec dos2unix {} \;`
Vim 转换	`:set ff=unix`
检测是否含 CRLF	`grep -l $'\r' *.sh`
反向转换（Unix→DOS）	`unix2dos file.txt`

参考资料

https://github.com/0voice

跨操作系统文本换行符问题完全指南

问题现象

1. 背景知识：换行符的历史与差异

1.1 什么是换行符？

1.2 历史渊源

1.3 为什么会出问题？

2. 问题检测与识别

2.1 查看文件换行符格式

方法一：使用 file 命令

方法二：使用 cat -A 显示特殊字符

方法三：使用 od 或 hexdump 查看十六进制

方法四：使用 dos2unix 的检测模式

2.2 批量检测目录中的文件

3. 解决方案

3.1 单文件转换

方法一：使用 dos2unix（推荐）

方法二：使用 sed（无需安装）

方法三：使用 tr 删除 CR

方法四：使用 Vim

方法五：使用 awk

方法六：使用 perl

3.2 批量转换

批量转换当前目录下所有 .sh 文件

批量转换多种类型文件

使用 git 自动转换（推荐团队协作使用）

4. 实用工具脚本

4.1 通用换行符修复脚本

4.2 Git 预提交钩子

4.3 快速修复别名

5. 预防措施与最佳实践

5.1 编辑器配置

VS Code

Vim

Sublime Text

5.2 IDE 检测

5.3 CI/CD 集成

6. 常见问题 FAQ

Q1: 为什么我在 Windows 上用 WSL 也会遇到这个问题？

Q2: 如何在 Windows 上创建 LF 格式的文件？

Q3: 能否在 Windows 上运行 Unix 格式的脚本？

Q4: 二进制文件会被影响吗？

Q5: 如何反向转换（Unix → DOS）？

7. 总结速查表

参考资料

方法一：使用 `file` 命令

方法二：使用 `cat -A` 显示特殊字符

方法三：使用 `od` 或 `hexdump` 查看十六进制

方法四：使用 `dos2unix` 的检测模式

方法一：使用 `dos2unix`（推荐）

方法二：使用 `sed`（无需安装）

方法三：使用 `tr` 删除 CR

方法五：使用 `awk`

方法六：使用 `perl`

批量转换当前目录下所有 `.sh` 文件

使用 `git` 自动转换（推荐团队协作使用）