云计算Openstack 虚拟机调度策略

OpenStack的虚拟机调度策略是一个复杂而灵活的系统,它主要由两种调度器实现:FilterScheduler(过滤调度器)和ChanceScheduler(随机调度器)。以下是对这两种调度器及其调度策略的详细解释:

一、FilterScheduler(过滤调度器)

FilterScheduler是OpenStack默认的调度器,它实现了基于主机过滤(filtering)和权值计算(weighing)的调度算法。

  1. 主机过滤(filtering)
    • FilterScheduler通过一系列过滤器(filters)来筛选满足虚拟机需求的计算节点。这些过滤器包括但不限于:
      • RetryFilter:刷掉之前已经调度过的节点,避免重复调度。
      • AvailabilityZoneFilter:根据可用域(Availability Zone)来筛选计算节点,提高容灾性和隔离服务。
      • RamFilter:根据可用内存来筛选计算节点,确保虚拟机有足够的内存资源。
      • DiskFilter:根据磁盘空间来筛选计算节点,确保虚拟机有足够的磁盘资源。
      • ComputeFilter:确保只有nova-compute服务正常工作的计算节点才能被调度。
      • ComputeCapabilitiesFilter:根据计算节点的特性(如架构类型)来筛选。
      • ImagePropertiesFilter:根据所选镜像的属性(如Hypervisor类型)来筛选匹配的计算节点。
      • ServerGroupAntiAffinityFilter:尽量将虚拟机分散部署到不同的计算节点上。
      • ServerGroupAffinityFilter:尽量将虚拟机部署到同一个计算节点上。
        过滤器可以通过配置文件(如nova.conf)进行自定义和扩展,以满足不同的业务需求。
  2. 权值计算(weighing)
    • 在通过过滤器筛选后,FilterScheduler会根据一系列权重计算器(weighers)来计算剩余计算节点的权重值。
    • 权重计算器包括但不限于:
      • RAMWeigher:根据可用的RAM大小来决定计算节点的权重。
      • DiskWeigher:根据可用的磁盘大小来进行权值分配。
      • MetricsWeigher:通过主机的不同参数度量来决定主机的权值。
      • IoOpsWeigher:通过主机的IO负载来进行权重计算,默认选择负载最小的主机。
      • ServerGroupSoftAffinityWeigher:通过同一个主机组中运行的实例数进行权重计算。
    • 最终,FilterScheduler会选择权重值最高的计算节点来创建虚拟机实例。

二、ChanceScheduler(随机调度器)

ChanceScheduler是一个基于随机算法来选择可用主机的简单调度引擎。它不从任何资源审查的角度进行调度决策,而是从所有正常运行nova-compute服务的节点中随机选择一个来创建实例。这种调度策略在实际生产环境中基本上不会用到,因为它不提供资源优化和负载均衡等高级功能。

三、调度过程

  1. 获取所有主机的信息,并根据调度请求中的要求(如忽略某些主机或只调度到某些主机上)来筛选候选主机。
  2. 将筛选后的主机列表依次通过配置的所有过滤器的处理函数,过滤掉不满足相应条件的主机。
  3. 对过滤后剩余的主机列表根据配置的权重计算器进行排序,选择权重值最高的主机作为虚拟机的部署目标。

四、错误排查与监控

在OpenStack的虚拟机调度过程中,可能会出现调度失败的情况。这时,管理员需要查看相关的日志文件(如nova-conductor和nova-scheduler的日志)来排查问题。此外,OpenStack还提供了一些工具和项目(如Watcher和Congress)来帮助监控和优化云资源的使用情况。

五、配置

在OpenStack中,虚拟机的调度策略可以通过Nova组件进行配置和定制。以下是一些常见的调度策略及其配置方法:

  1. CPU过滤:确保虚拟机调度到具有特定CPU特性(例如:Intel VT或AMD-V)的主机上。
bash 复制代码
[scheduler]
allowed_filters=nova.filters.all_filters
weight_classes=nova.scheduler.filters.spice.host_cpu_weight_obj.HostCPUWeight
  1. 主机集群过滤:根据虚拟机请求的特定主机集群进行调度。
bash 复制代码
[filter_scheduler]
host_aggregate_filters=nova.filters.host_aggregate_filters.AggregateHostFilter
  1. 权重调度:通过定义权重类来调整主机选择,例如,可以根据CPU或内存资源的使用情况来调整权重。
bash 复制代码
[defaults]
scheduler_default_weights=ComputeWeight=1.0
  1. 分区调度:在多个分区(如多个数据中心)之间调度实例。
bash 复制代码
[scheduler]
driver=nova.scheduler.filter_scheduler.FilterScheduler
  1. 可用性区域:在特定的可用性区域内调度虚拟机以保护数据免受单点故障影响。
bash 复制代码
[filter_scheduler]
scheduler_available_filters=nova.scheduler.filters.standard_filters.AvailabilityZoneFilter
  1. 主机选择:根据特定条件选择主机,例如,最小内存空闲量。
bash 复制代码
[scheduler]
driver=nova.scheduler.host_manager.HostManager

这些策略可以通过修改nova.conf文件并重启相关服务来生效。根据具体需求,可以通过编写自定义的过滤器或权重类来扩展调度器的功能。

六、自定义过滤器

在OpenStack中,虚拟机调度策略可以通过自定义filter和weigher来实现,以满足不同的业务需求。

1、自定义filter

  1. 作用:
    • 自定义filter允许用户根据特定的条件或规则来筛选计算节点,从而确保虚拟机被调度到满足需求的主机上。
  2. 实现方式:
    • 用户可以通过编写自定义的Python代码来实现filter,并将其添加到OpenStack的调度器中。
    • 自定义filter需要实现特定的接口和函数,以便与OpenStack的调度框架进行集成。
  3. 示例:自定义Filter样例:TagFilter
  • 目的:

    筛选具有特定标签的计算节点。

  • 实现步骤:

    • 创建一个新的Python文件,例如tag_filter.py。
    • 在文件中导入必要的模块,并实现TagFilter类。
    • TagFilter类需要继承自OpenStack的HostFilter类,并实现host_passes方法。
    • 在host_passes方法中,编写逻辑来检查计算节点是否具有指定的标签。
  • 示例代码:

python 复制代码
from nova.scheduler.filters import HostFilter  
from nova import objects  
  
class TagFilter(HostFilter):  
    """Filter hosts by a specific tag."""  
  
    def __init__(self):  
        self.required_tag = 'my_custom_tag'  # 设置所需的标签  
  
    def host_passes(self, host_state, filter_properties):  
        """Check if the host has the required tag."""  
        # 获取计算节点的元数据  
        metadata = host_state.host_summary['nova-compute'].get('metadata', {})  
          
        # 检查标签是否存在  
        if self.required_tag in metadata and metadata[self.required_tag] == 'true':  
            return True  
        return False
  • 配置:
    • 将tag_filter.py文件放置在OpenStack的调度器插件目录中。
    • 在OpenStack的配置文件(如nova.conf)中,添加自定义filter到scheduler_available_filters和scheduler_default_filters中。
bash 复制代码
[scheduler]  
scheduler_available_filters = ... ,nova.scheduler.filters.tag_filter.TagFilter  
scheduler_default_filters = ... ,TagFilter

2、自定义weigher

  1. 作用:
    • 自定义weigher允许用户根据特定的权重计算规则来对计算节点进行排序,从而选择最优的计算节点来部署虚拟机。
  2. 实现方式:
    • 用户可以通过编写自定义的Python代码来实现weigher,并将其添加到OpenStack的调度器中。
    • 自定义weigher需要实现特定的接口和函数,以便与OpenStack的调度框架进行集成。
  3. 示例:自定义Weigher样例:CpuUsageWeigher
  • 目的:

    根据计算节点的CPU使用率进行排序,选择CPU使用率较低的计算节点。

  • 实现步骤:

    • 创建一个新的Python文件,例如cpu_usage_weigher.py。
    • 在文件中导入必要的模块,并实现CpuUsageWeigher类。
    • CpuUsageWeigher类需要继承自OpenStack的Weigher类,并实现weigh_objects方法。
    • 在weigh_objects方法中,编写逻辑来计算每个计算节点的CPU使用率,并根据使用率进行排序。
  • 示例代码:

python 复制代码
from nova.scheduler.weighers import Weigher  
from nova import objects  
  
class CpuUsageWeigher(Weigher):  
    """Weigh hosts by CPU usage."""  
  
    def weigh_objects(self, hosts, filter_properties):  
        """Weigh the hosts by CPU usage."""  
        weighed_hosts = []  
        for host in hosts:  
            # 假设host_state有一个方法或属性可以获取CPU使用率  
            cpu_usage = host.host_summary['nova-compute'].get('cpu_usage', 100)  # 默认值为100%  
            # 计算权重,这里简单地使用100 - cpu_usage作为权重值  
            weight = 100 - cpu_usage  
            weighed_host = objects.HostState(host=host, weight=weight)  
            weighed_hosts.append(weighed_host)  
          
        # 根据权重值进行排序  
        weighed_hosts.sort(key=lambda x: x.weight, reverse=True)  
        return weighed_hosts

注意:上述代码中的cpu_usage获取方式仅为示例,实际实现中需要根据OpenStack的具体实现和计算节点的监控数据来获取CPU使用率。

  • 配置:
    • 将cpu_usage_weigher.py文件放置在OpenStack的调度器插件目录中。
    • 在OpenStack的配置文件(如nova.conf)中,添加自定义weigher到scheduler_weight_classes中。
bash 复制代码
[scheduler]  
scheduler_weight_classes = ... ,nova.scheduler.weighers.cpu_usage_weigher.CpuUsageWeigher

3、配置和使用自定义调度策略

  1. 配置自定义filter和weigher:
    • 在OpenStack的配置文件(如nova.conf)中,用户需要指定自定义filter和weigher的路径和名称。
    • 通过修改scheduler_available_filters和scheduler_weight_classes配置选项,将自定义filter和weigher添加到可用的filter和weigher列表中。
  2. 使用自定义调度策略:
    • 在创建虚拟机时,用户可以通过指定特定的flavor或其他参数来触发自定义调度策略的执行。
    • OpenStack的调度器会根据配置的自定义filter和weigher来筛选和排序计算节点,并最终选择最优的计算节点来部署虚拟机。

4、注意事项

  1. 兼容性:
    • 自定义filter和weigher需要与OpenStack的版本和架构兼容,以确保其能够正确运行和集成。
  2. 性能:
    • 自定义filter和weigher的执行效率会影响虚拟机的调度速度和性能。因此,在实现自定义调度策略时,需要关注其性能表现并进行优化。
  3. 安全性:
    • 自定义filter和weigher需要保证安全性,避免引入潜在的安全漏洞或风险。
      综上所述,OpenStack提供了灵活的虚拟机自定义调度策略,允许用户根据特定的需求和条件来筛选和排序计算节点。通过配置和使用自定义filter和weigher,用户可以实现对虚拟机调度过程的精细控制和优化。
相关推荐
小安运维日记1 小时前
Linux云计算 |【第五阶段】PROJECT3-DAY1
linux·运维·安全·云计算
Ultipa1 小时前
揭秘云计算 | 2、业务需求推动IT发展
云计算
黑龙江亿林等保1 小时前
阿里云ESC云服务器搭建指南
服务器·阿里云·云计算
李恒-聆机智能专精数采3 小时前
从零开始了解数采(十二)——汽车锂电池板自动装配线数据采集方案
大数据·数据挖掘·云计算·汽车·边缘计算·制造·数据可视化
程序猿进阶5 小时前
系统上云-流量分析和链路分析
java·后端·阿里云·面试·性能优化·系统架构·云计算
bala556917 小时前
阿里云-部署CNI flannel集群网络
linux·服务器·阿里云·docker·kubernetes·云计算
编码小袁19 小时前
云计算的优势及未来发展趋势
云计算
瑕、疵1 天前
深入解析:云计算与虚拟化技术
云计算
写代码的学渣1 天前
Linux云计算个人学习总结(二)
linux·学习·云计算