6.2 文件的缓存位置

1. 文件的缓冲

1.1 缓冲说明
handlebars 复制代码
将文件内容写入到硬件设备时, 则需要进行系统调用, 
这类I/O操作的耗时很长, 为了减少I/O操作的次数, 文件通常使用缓冲区.
当需要写入的字节数不足一个块时, 将数据放入缓冲区, 当数据凑够一个块的大小后才进行系统调用(即I/O操作).
handlebars 复制代码
系统调用: 向操作系统申请一个服务, 操作系统响应后, 帮助调用硬件的驱动程序, 这种操作称为I/O操作.
1.2 文件的缓冲行为:
handlebars 复制代码
全缓冲: 只有当数据凑够一个块时, 才进行系统调用(即I/O操作).

行缓冲: 碰到一个'换行符'时, 就进行一次系统调(多用于tty设备, 也就是终端设备, 如shell).

无缓冲: 不进行缓冲, 需要及时的将数据发送到接口(比如串口设备).
1.3 补充知识
handlebars 复制代码
机械硬盘的盘面可以分为很多磁道, 可以将磁道划分为个扇区.

扇区: 是磁盘的最小组成单元, 是磁盘的读写基本单位, 传统一个扇区为512字节.
硬盘公司大概在2010年左右, 开始从传统的512字节扇区大小磁盘迁移到更高效的4096字节(目前还是很少).

由于扇区的数量比较小且数目众多, 在寻址时比较困难, 
所以操作系统就将相邻的扇区组合在一起, 形成一个块, 再对块进行整体的操作.

块: 是操作系统与磁盘之间交流的最小单位, 它是一个虚拟的概念. 
操作系统忽略对底层物理存储结构的设计, 虚拟出来磁盘块的概念, 在系统中认为块是最小的单位.
它的所以大小可以通过操作系统设置, 一个块通常是4K(4096字节).
对应扇区为512字节的硬盘来说, 1个块是由连续的8个扇区组成.
对应扇区为4096字节的硬盘来说, 1个块是由1个扇区组成.

固态硬盘与内存使用是闪存芯片, 没有扇区一说而是称为页, 
固态硬盘一个页是8KB甚至16KB的, 内存一个页是64k.

2. buffering 参数

handlebars 复制代码
Python的文件对象的默认的缓冲行为全缓冲, 当凑够一个块的数据才进行系统调用.
缓冲区的大小是根据平台和块设备自身的属性相关, 可以通过open函数buffering参数设置缓冲大小.
handlebars 复制代码
buffering参数设置缓冲模式以及缓冲区大小.
buffering = n, n > 1, 设定缓冲模式为全缓冲, 缓冲区大小为n个字节.
buffering = 1, 设定缓冲模式为行缓冲, 遇到换行符'\n'时进行系统调用, 不支持二进制格式.
buffering = 0, 此为无缓冲你模式, 只要有数据, 就直接进行系统调用.

3. 交互模式演示

handlebars 复制代码
* 以脚本方式运行, 在文件句柄关闭时会将缓存区的数据刷入硬盘中, 不好看测试效果.
python 复制代码
import io

# 查看默认缓冲区大小
print(io.DEFAULT_BUFFER_SIZE)  # 8192
python 复制代码
# 创建文件对象, b模式方便计算写入的字节.
f = open('a.txt', 'wb')

# 写入1000个字节的数据.
f.write(b'1' * 1000)  # 这个时候在打开a.txt文件, 是空白的.
input('回车继续写!')

# 在写入7190个字节的数据, 现在共有8190个字节.
f.write(b'1' * 7190)  # 这个时候在打开a.txt文件, 是空白的.
input('回车继续写!')

# 在写入2个字节的数据, 现在共有8192个字节, 这个时候缓存区满了可它没有立刻写进去...
f.write(b'1' * 2)
input('回车继续写!')

# 在写一个字节, 缓存的数据写入到硬盘中. 查看文件字符个数为8192个字节.
f.write(b'1' * 1)
input('回车结束程序!')  # 这个时候文件字符个数为8193个字节.
python 复制代码
# 设置全缓冲区的大小为2048.
f2 = open('b.txt', 'wb', buffering=2048)
f2.write(b'+' * 1024)
input('回车继续写!')
f2.write(b'+' * 1024)
input('回车继续写!')
# 在写一个字符, 缓存的数据写入到硬盘中.
f2.write(b'-' * 1)
input('结束程序!')
python 复制代码
# 设置行缓冲, buffering为1.
f3 = open('c.txt', 'w', encoding='utf8', buffering=1)
input('回车继续写!')
f3.write('abc')
input('回车继续写!')
f3.write('123')
input('回车继续写!')
# 这个时候, 缓存的数据写入到硬盘中.
f3.write('\n')
input('结束程序!')
python 复制代码
# 无缓冲, buffering为0.
f4 = open('d.txt', 'wb', buffering=0)
f4.write(b'a')
input('回车继续写!')
f4.write(b'b')
input('结束成功!')
相关推荐
特立独行的猫A3 分钟前
别再用 nohup 了:让应用在后台常驻的正确姿势与 systemd 服务详解
java·后端·python
吃我一窝jio3 小时前
Python与Go线程模型深度对比
java·开发语言·python
zwd20054 小时前
Manim 怎么放大画面的某一部分?
python·动画·可视化·manim·数学动画
屿华AI4 小时前
AUTOSAR 实战-诊断工具 | UDS 0x27 安全访问的配置化实现:种子密钥算法插件化设计
python·测试工具·汽车
RobinDevNotes4 小时前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython
如夏倾城6 小时前
VRRP(虚拟路由器冗余协议Virtual Router Redundancy Protocol)
网络·python·网络协议·安全·智能路由器·负载均衡·信息与通信
IvanCodes6 小时前
LangChain(04):Runnable 与 LCEL 的执行与组合机制
python·langchain·agent
特创数字科技6 小时前
纯本地离线运行的文档脱敏工具(技术分享)
前端·驱动开发·python
东莞市云毅网络有限公司8 小时前
用 Playwright 搭一套问答平台引用监测的最小骨架
python·数据清洗·rag·企业知识库·文档解析
Thanks_ks8 小时前
【第 010 讲】全面掌握 Python 变量与常量:变量的定义与赋值 | 标识符与命名规范 | 变量的底层机制 | 常量与魔术数字
python·内存·变量·标识符·常量·赋值·命名规范