Libvirt-Qemu-Kvm 操作手记

(持续更新~)

本文主要用于记录在操作libvirt + qemu + kvm过程中遇到的问题及原因分析。

Hugepage

让qemu使用大页可以减少tdp的size,一定程度上可以提高性能;使用大页可以用memfd或者file backend。

memfd

操作步骤如下:

  1. 在系统中reserve大页;命令参考http://t.csdnimg.cn/PPetb,例如:

    cpp 复制代码
    echo 16 > /sys/kernel/mm/hugepages/hugepages-1048576kB/nr_hugepages
  2. 重新挂载/dev/hugepages,使其pagesize为1g,

    cpp 复制代码
    mount -o remount,pagesize=1g /dev/hugepages
  3. 重启libvirtd,

    cpp 复制代码
    systemctl restart libvirtd
  4. 修改虚拟机xml文件如下:

    cpp 复制代码
     <memory unit='KiB'>16777216</memory>
      <currentMemory unit='KiB'>16777216</currentMemory>
      <memoryBacking>
        <hugepages/>
        <source type='memfd'/>
        <access mode='shared'/>
      </memoryBacking

启动虚拟机之后,我们会看到memfd文件;

之所以会显示deleted,是memfd创建文件的方式导致的,参考内核代码:

cpp 复制代码
proc_pid_readlink()
  -> do_proc_readlink()
	-> d_path()
	   ---
		if (unlikely(d_unlinked(path->dentry)))
			prepend(&b, " (deleted)", 11);
		else
			prepend(&b, "", 1);
	   ---

static inline int d_unlinked(const struct dentry *dentry)
{
	return d_unhashed(dentry) && !IS_ROOT(dentry);
}

SYSCALL_DEFINE2(memfd_create)
  -> hugetlb_file_setup()
	-> alloc_file_pseudo()
	   ---
		path.dentry = d_alloc_pseudo(mnt->mnt_sb, &this);
		...
		path.mnt = mntget(mnt);
		d_instantiate(path.dentry, inode);
	   ---
其并没有调用d_splice_alias()、d_add()接口,所以是unhashed的

另外,初次测试时,并没有step 2,导致内存分配失败;原因是:libvirt传给qemu的hugetlbszie是2M,而我预留的是1G;追查libvirt代码,原因在于:

cpp 复制代码
virQEMUDriverConfigNew()
---
    /* For privileged driver, try and find hugetlbfs mounts automatically.
     * Non-privileged driver requires admin to create a dir for the
     * user, chown it, and then let user configure it manually. */
    if (privileged &&
        virFileFindHugeTLBFS(&cfg->hugetlbfs, &cfg->nhugetlbfs) < 0) {
		...
    }
---

libvirt会参考系统中挂载的hugetlbfs的pagesize,以此作为参考。

相关推荐
Seven974 分钟前
剑指offer-11、⼆进制中1的个数
java
电信2301杨臣7 分钟前
Imx6ull用网线与电脑连接
运维·服务器·网络
什么半岛铁盒12 分钟前
MySQL数据库的基础操作
linux·运维·服务器·mysql
you秀16 分钟前
K8S中的dns要如何指定??给pod中增加hosts映射,来规避dns冲突问题
java·容器·kubernetes
玲小珑23 分钟前
Next.js 教程系列(十六)Next.js 中的状态管理方案
前端·next.js
前端小巷子25 分钟前
web实现文件的断点续传
前端·javascript·面试
小磊哥er26 分钟前
【前端工程化】前端项目怎么做代码管理才好?
前端
DARLING Zero two♡30 分钟前
【Linux操作系统】简学深悟启示录:Linux权限
linux·运维·服务器
Code季风1 小时前
深度优化 spring 性能:从缓存、延迟加载到并发控制的实战指南
java·spring boot·后端·spring·缓存·性能优化
风象南1 小时前
SpringBoot自定义RestTemplate的拦截器链
java·spring boot·后端