python mmap进程内存共享实现原理

前言

进程间数据共享有很多实现方法,内存共享就是其中一种,大概思路是创建一块共享区域(这块区域用户可自定义名字),不同进程使用api将这块地址映射到自己的内存里,所以内存共享需要操作系统所支持,任何具体系统调用能力的语言都可以进行进程间内存共享,主流编程语言都具备此能力,而python下实现比较简单。

下面看一个例子。

写数据:

python 复制代码
import mmap
import os
import time


if __name__ == "__main__":
    mmap_file = mmap.mmap(0, 1024, access=mmap.ACCESS_WRITE, tagname='MySharedMemory')
    
    for i in range(100):
        mmap_file.write(str(i).encode('utf-8'))
        print(i)
        time.sleep(1)
        mmap_file.seek(0)

tagname就是给内存起一个名字。

读数据

python 复制代码
import mmap
import os
import time


if __name__ == "__main__":
    mmap_file = mmap.mmap(0, 1024, access=mmap.ACCESS_READ, tagname='MySharedMemory')
    
    for i in range(100):
        mmap_file.seek(0)
        data = mmap_file.read().translate(None,b'\x00').decode();
        print(data)
        time.sleep(1)

读数据时,他会读取到这块内存下所有的数据,如果我们不seek到头的话,读取完毕后会再也读不到数据,因为他已经到末尾了,同样每写一次数据时,他指向下一次写的位置就是发生下移,如果我们不seek到0的话,他效果就是内容追加,直到发送溢出。

python环境下如果你想知道进行了那些系统函数调用,可以使用api monitor工具,如下图,其实就是调用了CreateFileMappingMapViewOfFile这两个函数。

一个用来创建文件映射对象和将文件映射到进程的地址空间,所以说,内存共享就是文件的共享,只不过当文件对象参数传为INVALID_HANDLE_VALUE时,不会创建文件,文档中所说这种情况会交给system paging file去支持,这部分就不清楚了。

c 示例

下面是这两个函数的用法。

写入

c 复制代码
#include <windows.h>


int main() {

	HANDLE hMapFile = CreateFileMapping(
		INVALID_HANDLE_VALUE,  
		NULL,                 
		PAGE_READWRITE,      
		0,                   
		100,                   
		L"MySharedMemory");   

	LPVOID pData = MapViewOfFile(
		hMapFile,             
		FILE_MAP_ALL_ACCESS,  
		0,
		0,
		100);               

	char source[] = "Hello, World!";
	strcpy_s((char*)pData, 100, source);
	Sleep(10000);
	UnmapViewOfFile(pData);
	CloseHandle(hMapFile);

	return 0;
}

读取

c 复制代码
#include <windows.h>

int main() {

	HANDLE hMapFile = CreateFileMapping(
		INVALID_HANDLE_VALUE,
		NULL,
		PAGE_READWRITE,
		0,
		100,
		L"MySharedMemory");
	LPVOID pData = MapViewOfFile(
		hMapFile,
		FILE_MAP_ALL_ACCESS,
		0,
		0,
		100);


  printf("data=%s\n",(char*)pData);
  UnmapViewOfFile(pData);
  CloseHandle(hMapFile);

	return 0;
}

在c语言下,靠指针的移动来获取不同的数据,比如printf时,会打印目标char*地址开始到结束符\0内的字符,如果内存中数据为abcde\0,想获取bcde,将指针++即可,比如上面代码,可通过(char*)pData++来从下一个字节开始,从而忽略a

相关推荐
野犬寒鸦34 分钟前
从零起步学习并发编程 || 第六章:ReentrantLock与synchronized 的辨析及运用
java·服务器·数据库·后端·学习·算法
逍遥德1 小时前
如何学编程之01.理论篇.如何通过阅读代码来提高自己的编程能力?
前端·后端·程序人生·重构·软件构建·代码规范
MX_93592 小时前
Spring的bean工厂后处理器和Bean后处理器
java·后端·spring
程序员泠零澪回家种桔子3 小时前
Spring AI框架全方位详解
java·人工智能·后端·spring·ai·架构
源代码•宸4 小时前
大厂技术岗面试之谈薪资
经验分享·后端·面试·职场和发展·golang·大厂·职级水平的薪资
晚霞的不甘4 小时前
CANN 编译器深度解析:UB、L1 与 Global Memory 的协同调度机制
java·后端·spring·架构·音视频
喵叔哟4 小时前
06-ASPNETCore-WebAPI开发
服务器·后端·c#
Charlie_lll5 小时前
力扣解题-移动零
后端·算法·leetcode
打工的小王6 小时前
Spring Boot(三)Spring Boot整合SpringMVC
java·spring boot·后端
80530单词突击赢7 小时前
JavaWeb进阶:SpringBoot核心与Bean管理
java·spring boot·后端