Libvirt-Qemu-Kvm 操作手记

(持续更新~)

本文主要用于记录在操作libvirt + qemu + kvm过程中遇到的问题及原因分析。

Hugepage

让qemu使用大页可以减少tdp的size,一定程度上可以提高性能;使用大页可以用memfd或者file backend。

memfd

操作步骤如下:

  1. 在系统中reserve大页;命令参考http://t.csdnimg.cn/PPetb,例如:

    cpp 复制代码
    echo 16 > /sys/kernel/mm/hugepages/hugepages-1048576kB/nr_hugepages
  2. 重新挂载/dev/hugepages,使其pagesize为1g,

    cpp 复制代码
    mount -o remount,pagesize=1g /dev/hugepages
  3. 重启libvirtd,

    cpp 复制代码
    systemctl restart libvirtd
  4. 修改虚拟机xml文件如下:

    cpp 复制代码
     <memory unit='KiB'>16777216</memory>
      <currentMemory unit='KiB'>16777216</currentMemory>
      <memoryBacking>
        <hugepages/>
        <source type='memfd'/>
        <access mode='shared'/>
      </memoryBacking

启动虚拟机之后,我们会看到memfd文件;

之所以会显示deleted,是memfd创建文件的方式导致的,参考内核代码:

cpp 复制代码
proc_pid_readlink()
  -> do_proc_readlink()
	-> d_path()
	   ---
		if (unlikely(d_unlinked(path->dentry)))
			prepend(&b, " (deleted)", 11);
		else
			prepend(&b, "", 1);
	   ---

static inline int d_unlinked(const struct dentry *dentry)
{
	return d_unhashed(dentry) && !IS_ROOT(dentry);
}

SYSCALL_DEFINE2(memfd_create)
  -> hugetlb_file_setup()
	-> alloc_file_pseudo()
	   ---
		path.dentry = d_alloc_pseudo(mnt->mnt_sb, &this);
		...
		path.mnt = mntget(mnt);
		d_instantiate(path.dentry, inode);
	   ---
其并没有调用d_splice_alias()、d_add()接口,所以是unhashed的

另外,初次测试时,并没有step 2,导致内存分配失败;原因是:libvirt传给qemu的hugetlbszie是2M,而我预留的是1G;追查libvirt代码,原因在于:

cpp 复制代码
virQEMUDriverConfigNew()
---
    /* For privileged driver, try and find hugetlbfs mounts automatically.
     * Non-privileged driver requires admin to create a dir for the
     * user, chown it, and then let user configure it manually. */
    if (privileged &&
        virFileFindHugeTLBFS(&cfg->hugetlbfs, &cfg->nhugetlbfs) < 0) {
		...
    }
---

libvirt会参考系统中挂载的hugetlbfs的pagesize,以此作为参考。

相关推荐
Resean022310 小时前
Spring 源码分析(六)循环依赖与三级缓存
java·spring·缓存
在爪洼山玩泥巴11 小时前
fastjson2 JSONPath 取不存在路径,为什么会抛 “not support”?
java·开发语言·jsonpath·fastjson
澹锦汐13 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
星落梦生21 小时前
SpringAOP基础笔记(7)
java·开发语言
Flynt21 小时前
AI 写的 Three.js 大屏,为什么越跑越卡?我在 Node 里复现了它的内存曲线
前端·ai编程·three.js
无忧.芙桃21 小时前
Linux系统编程(四):用户与权限管理
linux·运维·服务器
金銀銅鐵21 小时前
带您看懂字节码指令(四):一条指令里有什么
java·jvm
最强小杰1 天前
某 OpenAI 兼容网关上的 `kimi-k3.1-pro`:Cline、Zed 接入与 SSE 排错示例
java·服务器·网络·ai
Flynn Liang1 天前
流量治理不是限流那么简单:I/O 密集型 Java 服务的 6 层防线
java·微服务·高并发·限流·熔断·系统稳定性·resilience4j