【算法】退火算法 Simulated Annealing

退火算法(Simulated Annealing, SA)是一种基于热力学模拟的优化算法,用于求解全局优化问题。它通过模拟物理退火过程来寻找全局最优解。以下是退火算法的基本原理和步骤:

一、基本原理

退火算法的灵感来源于金属在高温下缓慢冷却至低温的过程,这一过程中,金属原子逐渐排列成能量最低的晶格结构。类似地,退火算法通过模拟这一过程,在解空间中逐渐收敛到全局最优解。

二、算法步骤

  1. 初始解与温度设定

    • 随机生成一个初始解。
    • 设定初始温度 T 。
  2. 循环过程

    • 在当前解的邻域内随机生成一个新解。
    • 计算新解与当前解的目标函数值差异ΔE。
    • 如果 ΔE≤0,接受新解(新解更优)。
    • 如果 ΔE>0,以概率 P=exp(−ΔE/T) 接受新解(防止陷入局部最优)。
    • 逐步降低温度 T(根据某个降温函数,如T=T×α,其中 α 为冷却速率,通常 0.8≤α≤0.99)。
  3. 终止条件

    • 当温度 T 低于某一阈值时,停止循环。
    • 或者达到预设的最大迭代次数时,停止循环。
伪代码
pseudo 复制代码
function SimulatedAnnealing(InitialSolution, InitialTemperature, CoolingRate, StoppingTemperature):
    currentSolution = InitialSolution
    currentTemperature = InitialTemperature

    while currentTemperature > StoppingTemperature:
        newSolution = GenerateNeighbor(currentSolution)
        deltaE = Evaluate(newSolution) - Evaluate(currentSolution)

        if deltaE < 0:
            currentSolution = newSolution
        else if exp(-deltaE / currentTemperature) > random():
            currentSolution = newSolution

        currentTemperature = currentTemperature * CoolingRate

    return currentSolution

三、应用领域

退火算法在许多领域得到了广泛应用,包括但不限于:

  • 组合优化问题,如旅行商问题(TSP)。
  • 连续优化问题,如函数最优化。
  • 工程设计优化,如电路设计、结构优化等。
应用举例:旅行商问题(Traveling Salesman Problem, TSP)

旅行商问题是经典的组合优化问题,描述的是一名旅行商需要访问若干城市并返回出发城市,要求访问每个城市一次且总距离最短。

问题描述

给定若干城市和城市间的距离矩阵,找到一个访问所有城市的最短路径。

退火算法求解TSP步骤
  1. 初始解与温度设定

    • 随机生成一个初始路径作为初始解。
    • 设定初始温度 T 和降温速率 α。
  2. 生成邻域解

    • 在当前路径中随机交换两个城市的位置,生成一个新路径。
  3. 目标函数

    • 计算路径的总距离。
  4. 接受新解的准则

    • 根据退火算法的准则接受或拒绝新解。
python 复制代码
import random
import math

def simulated_annealing(dist_matrix, initial_temp, cooling_rate, stopping_temp):
    def total_distance(path):
        return sum(dist_matrix[path[i]][path[i+1]] for i in range(len(path) - 1)) + dist_matrix[path[-1]][path[0]]

    def swap_two_cities(path):
        new_path = path[:]
        i, j = random.sample(range(len(path)), 2)
        new_path[i], new_path[j] = new_path[j], new_path[i]
        return new_path

    current_solution = list(range(len(dist_matrix)))
    random.shuffle(current_solution)
    current_distance = total_distance(current_solution)
    current_temp = initial_temp

    best_solution = current_solution[:]
    best_distance = current_distance

    while current_temp > stopping_temp:
        new_solution = swap_two_cities(current_solution)
        new_distance = total_distance(new_solution)
        delta_distance = new_distance - current_distance

        if delta_distance < 0 or math.exp(-delta_distance / current_temp) > random.random():
            current_solution = new_solution
            current_distance = new_distance

            if new_distance < best_distance:
                best_solution = new_solution
                best_distance = new_distance

        current_temp *= cooling_rate

    return best_solution, best_distance

# 示例距离矩阵
distance_matrix = [
    [0, 10, 15, 20],
    [10, 0, 35, 25],
    [15, 35, 0, 30],
    [20, 25, 30, 0]
]

initial_temperature = 1000
cooling_rate = 0.95
stopping_temperature = 0.01

best_path, best_path_distance = simulated_annealing(distance_matrix, initial_temperature, cooling_rate, stopping_temperature)

print("最短路径:", best_path)
print("最短路径距离:", best_path_distance)
解释
  1. total_distance: 计算路径的总距离。
  2. swap_two_cities: 在路径中随机交换两个城市的位置,生成一个新路径。
  3. simulated_annealing: 退火算法的主函数,接受距离矩阵、初始温度、冷却速率和停止温度作为参数。
  4. distance_matrix: 一个示例距离矩阵,定义了各个城市之间的距离。
  5. initial_temperature, cooling_rate, stopping_temperature: 退火算法的参数。

运行此代码将输出最短路径及其对应的总距离。

结果示例
plaintext 复制代码
最短路径: [0, 2, 3, 1]
最短路径距离: 80

四、优缺点

优点

  • 能够逃避局部最优,找到全局最优解。
  • 适用于各种复杂优化问题。
  • 实现相对简单,参数可调节性强。

缺点

  • 计算量较大,尤其在早期迭代阶段。
  • 参数设置(初始温度、冷却速率、停止温度等)对算法性能影响较大,需要实验调整。

总之,退火算法通过模拟物理退火过程,有效地解决了许多复杂的全局优化问题,是一种通用且强大的优化算法。

相关推荐
FF-Studio4 分钟前
【硬核数学】3. AI如何应对不确定性?概率论为模型注入“灵魂”《从零构建机器学习、深度学习到LLM的数学认知》
大数据·人工智能·深度学习·机器学习·数学建模·自然语言处理·概率论
张德锋10 分钟前
Pytorch实现CIFAR10彩色图片识别
机器学习
Wo3Shi4七27 分钟前
双向队列
数据结构·算法·go
Wo3Shi4七32 分钟前
列表
数据结构·算法·go
Wo3Shi4七37 分钟前
链表
数据结构·算法·go
Wo3Shi4七1 小时前
数组
数据结构·算法·go
CoovallyAIHub1 小时前
YOLOv13都来了,目标检测还卷得动吗?别急,还有这些新方向!
深度学习·算法·计算机视觉
转转技术团队2 小时前
边学边做:图片识别技术的学习与应用
后端·算法
一块plus2 小时前
2025 年值得一玩的最佳 Web3 游戏
算法·设计模式·程序员
前端拿破轮2 小时前
不是吧不是吧,leetcode第一题我就做不出来?😭😭😭
后端·算法·leetcode