从 test.c 到 test.exe:一次搞懂编译和链接的全过程
我的github:(https://github.com/xcx55/ubuntu-linux-project)
感谢各位大佬参观我的github!!
本文整理自 C 语言「编译和链接」部分的笔记(鹏哥第 24 讲),核心问题只有一个:一个 Test.c 文本文件,是怎么一步步变成 test.exe 可执行文件的?
一、两个环境:翻译环境和运行环境
在 ANSI C 的任何一种实现中,存在两个不同的环境:
- 第 1 种是翻译环境:在这个环境中,源代码被转换为可执行的机器指令(二进制指令);
- 第 2 种是执行环境:它用于实际执行代码。
画成图就是这样:多个 .c 文件先进翻译环境 (编译 → 链接)变成可执行程序,再交给运行环境执行、输出结果。
test1.c ─┐
test2.c ─┤→ [编译] → [链接] → 可执行程序 → 输出结果
test3.c ─┘
└────── 翻译环境 ──────┘ └──── 运行环境 ────┘
二、翻译环境的两大步骤:编译 + 链接
翻译环境由编译 和链接 两个大过程组成,而编译 又可以分解成:预处理(预编译)、编译、汇编三个过程------合起来就是著名的四步:
- 预处理(预编译)
- 编译
- 汇编
- 链接
以 gcc 为例,拆解整个过程,每一步的产物后缀都不同:
源文件(.c) + 头文件(.h)
│ 预处理
▼
预处理后的中间文件(.i)
│ 编译
▼
编译后的中间文件(.s)
│ 汇编
▼
目标文件(.o)
│ 链接器(+ 链接库 libc.a ...)
▼
可执行程序
多个 .c 文件如何生成可执行程序?
- 多个
.c文件单独经过编译器,编译处理生成对应的目标文件; - 注:Windows 环境下目标文件后缀是
.obj,Linux 环境下是.o; - 多个目标文件和链接库一起经过链接器处理生成最终的可执行程序;
- 链接库是指运行时库(支持程序运行的基本函数集合)或者第三方库。
用 MSVC 的工具类比:编译器是 cl.exe,把每个 .c 变成 .obj;链接器是 link.exe,把所有 .obj 加上链接库,合成 xxx.exe。
三、第一步:预处理(预编译)
在预处理阶段,源文件和头文件会被处理成为 .i 为后缀的文件。gcc 命令:
bash
gcc -E test.c -o test.i
预处理阶段主要处理那些源文件中 # 开始的预编译指令,规则如下:
- 将所有的
#define删除,并展开所有的宏定义; - 处理所有的条件编译指令,如
#if、#ifdef、#elif、#else、#endif; - 处理
#include预编译指令,将包含的头文件的内容插入到该预编译指令的位置 。这个过程是递归进行的------被包含的头文件也可能包含其他文件; - 删除所有的注释;
- 添加行号和文件名标识,方便后续编译器生成调试信息等;
- 保留所有的
#pragma编译器指令,编译器后续会使用。
一个直观的验证:写一个只有 #include <stdio.h> 和几行 printf 的程序,执行 gcc test.c -E -o test.i,打开 .i 文件会发现它膨胀到了 800 多行 ------前面全是 stdio.h 递归展开的内容。 .i 文件中不再包含宏定义 (已被展开),头文件也都被插入了进来。所以当我们无法知道宏定义或者头文件是否包含正确的时候,可以查看预处理后的 .i 文件来确认。
顺带一个细节:#define MAX 100 在 .i 里会直接变成 int a = 100;,MAX 这个名字彻底消失。
四、第二步:编译
编译过程就是将预处理后的文件进行一系列的:词法分析、语法分析、语义分析及优化 ,生成相应的汇编代码文件。gcc 命令:
bash
gcc -S test.i -o test.s
拿一行代码做例子,看编译器是怎么"读懂"它的:
c
array[index] = (index+4)*(2+6);
4.1 词法分析
将源代码程序输入扫描器 ,扫描器的任务就是简单地进行词法分析 ,把代码中的字符分割成一系列的记号(关键字、标识符、字面量、特殊字符等)。
上面那行代码词法分析后得到 16 个记号:
| 记号 | 类型 | 记号 | 类型 |
|---|---|---|---|
| array | 标识符 | * | 乘号 |
| [ | 左方括号 | ( | 左圆括号 |
| index | 标识符 | 2 | 数字 |
| ] | 右方括号 | + | 加号 |
| = | 赋值 | 6 | 数字 |
| ( | 左圆括号 | ) | 右圆括号 |
| index | 标识符 | ) | 右圆括号 |
| + | 加号 | 4 | 数字 |
4.2 语法分析
接下来语法分析器 ,将对扫描产生的记号 进行语法分析,从而产生语法树 。这些语法树是以表达式为节点的树:
赋值表达式 =
/ \
下标表达式[] 乘法表达式 *
/ \ / \
标识符 标识符 加法表达式+ 加法表达式+
array index / \ / \
标识符 数字4 数字2 数字6
index
4.3 语义分析
由语义分析器 来完成语义分析,即对表达式的语法层面分析。编译器所能做的分析是语义的静态分析 。静态语义分析通常包括声明和类型的匹配、类型的转换等。这个阶段会报告错误的语法信息。
对应到语法树上,就是给每个节点标注类型:array 是整型数组、index 是整型、各个子表达式都是整型------语义标识后的语法树。
五、第三步:汇编
汇编器是将汇编代码转变成机器可执行的指令(二进制的指令) ,每一个汇编语句几乎都对应一条机器指令。就是根据汇编指令和机器指令的对照表一一地进行翻译 ,也不做指令优化。
bash
gcc -c test.s -o test.o
打开 .s 文件能看到 .file/.text/.string/.globl main/pushq %rbp/movq %rsp,%rbp 这样的汇编代码;汇编之后得到的 .o 文件已经是二进制了,文本编辑器打开是乱码。
注:
.o(Linux)就是前面 Ext 文件系统笔记里说的 ELF 目标文件;Windows 下对应.obj。
六、第四步:链接
链接是一个复杂的过程,链接的时候需要把一堆文件(目标文件 + 链接库)链接在一起才生成可执行程序。
链接过程主要包括:地址和空间分配、符号决议和重定位等步骤。
链接解决的是一个项目中多文件、多模块之间互相调用的问题。
6.1 extern 怎么让多文件的声明共用?
比如两个文件:
c
// add.c
int g_val = 2025;
int Add(int x, int y) { return x + y; }
// test.c
extern int Add(int, int); // 声明外部符号
extern int g_val;
int main() {
int a = 10, b = 20;
int c = Add(a, b);
printf("c = %d\n", c);
printf("g_val = %d\n", g_val);
return 0;
}
我的理解:将所有文件的符号作为一张位置表(符号表),再相互对比、结合、重定位,就得到一张新位置表,以后每次应用就照表查询。
add.obj的符号表:g_val → 0x100、Add → 0x200test.obj的符号表:Add → ?、g_val → ?(未定义,只有声明)、main → 0x300- 链接 时把两张表合并对比:
test.obj里悬空的Add、g_val在add.obj中找到了真实地址,重定位之后test.exe的符号表就是完整的:
| 符号 | 地址 |
|---|---|
| g_val | 0x100 |
| Add | 0x200 |
| main | 0x300 |
调用 extern 声明的函数,本质就是一次符号表的查询。 如果表里查不到(定义根本不存在),链接器就会报"无法解析的外部符号"。
而头文件不一样:#include 是直接展开,声明被复制进了同一个编译单元里------这也是为什么头文件里一般只放声明,不然每个包含它的文件都各复制一份定义。
七、运行环境
生成 exe 之后,就轮到运行环境登场了:
- 程序必须载入内存中。在有操作系统的环境中:一般这个由操作系统完成。在独立的环境中,程序的载入必须由手工安排,也可能是通过可执行代码置入只读内存来完成;
- 程序的执行便开始,接着便调用 main 函数;
- 开始执行程序代码。这个时候程序将使用一个运行时堆栈(stack) ,存储函数的局部变量和返回地址。程序同时也可以使用静态(static)内存,存储于静态内存中的变量在程序的整个执行过程一直保留它们的值;
- 终止程序。正常终止 main 函数;也有可能是意外终止。
总结
test.c ──预处理(-E)──> test.i ──编译(-S)──> test.s ──汇编(-c)──> test.o ──链接──> test.exe
删注释/展开宏/ 词法→语法→语义 汇编指令 符号表合并
条件编译/插头文件 分析+优化 一一对照 符号决议+重定位
四步里每一步的产物、每一步在干什么,对照着 gcc 的 -E、-S、-c 三个选项走一遍,编译链接就再也不神秘了------它不过是把文本,一层层翻译成机器能照着执行的表和指令而已。