python mmap进程内存共享实现原理

前言

进程间数据共享有很多实现方法,内存共享就是其中一种,大概思路是创建一块共享区域(这块区域用户可自定义名字),不同进程使用api将这块地址映射到自己的内存里,所以内存共享需要操作系统所支持,任何具体系统调用能力的语言都可以进行进程间内存共享,主流编程语言都具备此能力,而python下实现比较简单。

下面看一个例子。

写数据:

python 复制代码
import mmap
import os
import time


if __name__ == "__main__":
    mmap_file = mmap.mmap(0, 1024, access=mmap.ACCESS_WRITE, tagname='MySharedMemory')
    
    for i in range(100):
        mmap_file.write(str(i).encode('utf-8'))
        print(i)
        time.sleep(1)
        mmap_file.seek(0)

tagname就是给内存起一个名字。

读数据

python 复制代码
import mmap
import os
import time


if __name__ == "__main__":
    mmap_file = mmap.mmap(0, 1024, access=mmap.ACCESS_READ, tagname='MySharedMemory')
    
    for i in range(100):
        mmap_file.seek(0)
        data = mmap_file.read().translate(None,b'\x00').decode();
        print(data)
        time.sleep(1)

读数据时,他会读取到这块内存下所有的数据,如果我们不seek到头的话,读取完毕后会再也读不到数据,因为他已经到末尾了,同样每写一次数据时,他指向下一次写的位置就是发生下移,如果我们不seek到0的话,他效果就是内容追加,直到发送溢出。

python环境下如果你想知道进行了那些系统函数调用,可以使用api monitor工具,如下图,其实就是调用了CreateFileMappingMapViewOfFile这两个函数。

一个用来创建文件映射对象和将文件映射到进程的地址空间,所以说,内存共享就是文件的共享,只不过当文件对象参数传为INVALID_HANDLE_VALUE时,不会创建文件,文档中所说这种情况会交给system paging file去支持,这部分就不清楚了。

c 示例

下面是这两个函数的用法。

写入

c 复制代码
#include <windows.h>


int main() {

	HANDLE hMapFile = CreateFileMapping(
		INVALID_HANDLE_VALUE,  
		NULL,                 
		PAGE_READWRITE,      
		0,                   
		100,                   
		L"MySharedMemory");   

	LPVOID pData = MapViewOfFile(
		hMapFile,             
		FILE_MAP_ALL_ACCESS,  
		0,
		0,
		100);               

	char source[] = "Hello, World!";
	strcpy_s((char*)pData, 100, source);
	Sleep(10000);
	UnmapViewOfFile(pData);
	CloseHandle(hMapFile);

	return 0;
}

读取

c 复制代码
#include <windows.h>

int main() {

	HANDLE hMapFile = CreateFileMapping(
		INVALID_HANDLE_VALUE,
		NULL,
		PAGE_READWRITE,
		0,
		100,
		L"MySharedMemory");
	LPVOID pData = MapViewOfFile(
		hMapFile,
		FILE_MAP_ALL_ACCESS,
		0,
		0,
		100);


  printf("data=%s\n",(char*)pData);
  UnmapViewOfFile(pData);
  CloseHandle(hMapFile);

	return 0;
}

在c语言下,靠指针的移动来获取不同的数据,比如printf时,会打印目标char*地址开始到结束符\0内的字符,如果内存中数据为abcde\0,想获取bcde,将指针++即可,比如上面代码,可通过(char*)pData++来从下一个字节开始,从而忽略a

相关推荐
自由生长202430 分钟前
Protocol Buffers 技术解析:为什么叫「协议缓冲区」
后端
悟空码字32 分钟前
手把手搭建Java微服务:从技术选型到生产部署
java·后端·微服务
leonardee33 分钟前
MySQL----case的用法
java·后端
骑着bug的coder1 小时前
吃烤鱼时突然悟到的:为什么 Java 线程池的扩容逻辑是“反直觉”的?
后端
v***8571 小时前
Spring Boot 集成 MyBatis 全面讲解
spring boot·后端·mybatis
武昌库里写JAVA1 小时前
Java如何快速入门?Java基础_Java入门
java·vue.js·spring boot·后端·sql
程序员爱钓鱼2 小时前
Python职业路线规划:从入门到高级开发者的成长指南
后端·python·trae
程序员爱钓鱼2 小时前
Python 编程实战 · 进阶与职业发展:自动化运维(Ansible、Fabric)
后端·python·trae
风的归宿552 小时前
gitlab配置ai代码审核
后端