《CPython Internals》阅读笔记:p97-p117

《CPython Internals》学习第 7 天,p97-p117 总结,总计 21 页。

一、技术总结

1.词法分析(lexical analysis)

根据《Compilers-Principles, Techniques, and Tools》(《编译原理》第2版)第 5 页:The first phase of a compiler is called lexical analysis or scanning. The lexcical analyzer reads the stream of characters making up the source program and groups the characters into meaningful sequences called lexemes. For each lexeme, the lexical analyzer produces as output a token of the form <token-name, attribute-value> that is passes on to the subsequent phase, syntax analysis。

执行词法分析(lexical analysis)的 component 称为 lexical analyzer(有时候也称为lexer, scanner, tokenizer)。

2.关于parser-tokenizer的一疑问

p92, Creating a concrete syntax tree using a parser-tokenizer, or lexer.

p92,The CST is created from a tokenizer and a parser.

说实话,我不是很理解作者为什么要将编译流程画成这样,以及为什么要用 parser-tokenizer这个术语,这样真是太混乱了。

流程图以及第一句表明 lexer 的输出是 CST, 但是第二句 CST的输出来自于 tokenizer 和 parser,简直就是前后矛盾。lexer 的输出是 token, 所以才有 tokenizer 这个称呼。 CST 是 parser 的输出。

以及最后又流入到 compiler,也是很莫名其妙, lexer 和 parser 其实属于 compiler。

3.AST

p102, The structure is a representation of the CST called an abstract syntax tree (AST).

p111,Abstract syntax tree (AST): A contextual tree representation of Python's grammar and statements.

看完上面这两个定义哪个读者能不迷糊。

二、英语总结(生词:0)

无。

关于英语的注解同步更新汇总到 https://github.com/codists/English-In-CS-Books 仓库。

三、其它

Lexing and Parsing With Syntax Trees: 本章作者介绍比较混乱,如果读者不熟悉编译原理的知识,那么最好先补充下编译原理知识,这样才能更好的理解本章内容。

四、参考资料

1. 编程

(1) Anthony Shaw,《CPython Internals》:https://book.douban.com/subject/35405785/

2. 英语

(1) Etymology Dictionary:https://www.etymonline.com

(2) Cambridge Dictionary:https://dictionary.cambridge.org

欢迎搜索及关注:编程人(a_codists)

相关推荐
这里有鱼汤10 分钟前
“对象”?对象你个头!——Python世界观彻底崩塌的一天
后端·python
尘浮72819 分钟前
60天python训练计划----day59
开发语言·python
wh393323 分钟前
使用Python将PDF转换成word、PPT
python·pdf·word
船长@Quant39 分钟前
数学视频动画引擎Python库 -- Manim Voiceover 语音服务 Speech Services
python·数学·manim·动画引擎·语音旁白
好开心啊没烦恼2 小时前
Python 数据分析:计算,分组统计1,df.groupby()。听故事学知识点怎么这么容易?
开发语言·python·数据挖掘·数据分析·pandas
lljss20203 小时前
Python11中创建虚拟环境、安装 TensorFlow
开发语言·python·tensorflow
空中湖3 小时前
tensorflow武林志第二卷第九章:玄功九转
人工智能·python·tensorflow
CodeCraft Studio4 小时前
CAD文件处理控件Aspose.CAD教程:使用 Python 将绘图转换为 Photoshop
python·photoshop·cad·aspose·aspose.cad
Python×CATIA工业智造6 小时前
Frida RPC高级应用:动态模拟执行Android so文件实战指南
开发语言·python·pycharm
onceco6 小时前
领域LLM九讲——第5讲 为什么选择OpenManus而不是QwenAgent(附LLM免费api邀请码)
人工智能·python·深度学习·语言模型·自然语言处理·自动化