GitLab 服务器宕机时的项目代码恢复方法

laugh123212025-03-31 16:48

重要前提 ：GitLab 数据挂载盘必须能够正常读取，且 /var/opt/gitlab/git-data/repositories 目录下的数据可以完整拷贝。

当 GitLab 服务器意外宕机且没有备份时，项目代码的恢复变得尤为关键。以下是经过优化的恢复流程，相比传统方法更为简洁高效。

一、数据拷贝与准备

  1. 挂载数据盘

    将宕机服务器的数据盘挂载到其他正常运行的主机或服务器上。确保 /var/opt/gitlab/git-data 目录下的所有内容能够完整拷贝到新的主机或服务器中。

    bash 复制代码 
    sudo mount /dev/sdX /mnt/data  # 示例挂载命令，需根据实际情况调整

  2. 拷贝数据

    将 /var/opt/gitlab/git-data 目录下的所有内容完整拷贝到新主机的指定目录，例如 /mnt/recovery。

    bash 复制代码 
    sudo cp -r /mnt/data/var/opt/gitlab/git-data /mnt/recovery/

二、识别项目数据

GitLab 的项目数据存储在 /var/opt/gitlab/git-data/repositories/@hashed 目录下，文件夹名称经过哈希处理，无法直接识别项目信息。但每个项目文件夹（如 xxxxx.git）下的 config 文件中存储了项目相关的部分信息，可以提取仓库所有者及仓库名称。

注意 ：xxx.wiki.git 和 xxx.design.git 文件夹通常可以忽略，因为它们不包含重要代码数据，且其 config 文件中也不包含仓库所有者及仓库名称。

三、简化恢复方法

传统的恢复方法通常需要搭建新的 GitLab 服务器并进行数据镜像，但这种方法存在以下问题：

  • 需要确保新旧服务器的 GitLab 版本完全一致，否则可能导致数据无法正确镜像。
  • 操作步骤繁琐，耗时且容易出错。

事实上，我们可以采用更简单的方法直接恢复代码，无需搭建新服务器。

以项目文件夹 73/47/73475cb40a568e8da8a045ced110137e159f890ac4da883b6b17dc651b3a8049.git 为例，以下是具体步骤：

  1. 设置安全目录

    由于 GitLab 的项目目录可能被识别为不安全目录，需要通过以下命令将其标记为安全目录：

    bash 复制代码 
    git config --global --add safe.directory /mnt/recovery/repositories/@hashed/73/47/73475cb40a568e8da8a045ced110137e159f890ac4da883b6b17dc651b3a8049.git

  2. 克隆项目

    在上文中提到，config 文件中存储了完整的仓库所有者和仓库名称（例如 author/project_name）。我们可以通过克隆操作将项目恢复到本地目录。假设目标项目路径是 your_clone_dir/author/project_name，那么可以执行以下命令来完成克隆：

    bash 复制代码 
    git clone /mnt/recovery/repositories/@hashed/73/47/73475cb40a568e8da8a045ced110137e159f890ac4da883b6b17dc651b3a8049.git your_clone_dir/author/project_name

四、自动化恢复脚本

为了进一步简化操作，以下是一个 Python 脚本，可以快速执行上述操作，只需提供哈希化仓库的源目录和克隆仓库的目标目录。

python 复制代码 
#!/usr/bin/env python
# -*-coding:utf-8 -*-
# ==============================================================================
# Copyright (c) 2025 laugh12321 Authors. All Rights Reserved.
#
# Licensed under the GNU General Public License v3.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.gnu.org/licenses/gpl-3.0.html  
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
# ==============================================================================
# File    :   hashed_repo_cloner.py
# Version :   1.0
# Author  :   laugh12321
# Contact :   [email protected]
# Date    :   2025/03/31 14:51:38
# Desc    :   None
# ==============================================================================
from pathlib import Path
import configparser
import subprocess
import argparse
from typing import Optional
from rich.progress import track
import sys


def extract_repo_name_from_config(config_path: Path) -> str:
    """
    从Git配置文件中提取仓库完整路径

    :param config_path: Git配置文件路径
    :return: 仓库完整路径
    :raises ValueError: 如果配置缺少gitlab段或fullpath键
    :raises FileNotFoundError: 如果配置文件不存在
    """
    if not config_path.is_file():
        raise FileNotFoundError(f"Git config file not found: {config_path}")

    config = configparser.ConfigParser()
    config.read(config_path)

    if 'gitlab' not in config or 'fullpath' not in config['gitlab']:
        raise ValueError(f"Config file missing required gitlab section or fullpath key: {config_path}")

    return config.get('gitlab', 'fullpath')

def add_safe_directory(git_dir: Path) -> None:
    """
    将Git目录添加到安全目录列表

    :param git_dir: Git仓库路径
    """
    subprocess.run(
        ["git", "config", "--global", "--add", "safe.directory", str(git_dir)],
        check=True,
        stdout=subprocess.DEVNULL,  # 将标准输出重定向到 /dev/null
        stderr=subprocess.DEVNULL   # 将标准错误重定向到 /dev/null
    )

def clone_repository(source_dir: Path, target_dir: Path, repo_name: str) -> None:
    """
    克隆仓库到目标目录

    :param source_dir: 源Git仓库路径
    :param target_dir: 目标目录路径
    :param repo_name: 仓库名称
    """
    target_path = target_dir / repo_name
    subprocess.run(
        ["git", "clone", str(source_dir), str(target_path)],
        check=True,
        stdout=subprocess.DEVNULL,  # 将标准输出重定向到 /dev/null
        stderr=subprocess.DEVNULL   # 将标准错误重定向到 /dev/null
    )

def process_git_repositories(hashed_repos_dir: Path, output_dir: Path) -> None:
    """
    处理所有哈希化的Git仓库并将其克隆到输出目录

    :param hashed_repos_dir: 包含哈希化仓库的目录
    :param output_dir: 输出目录
    """
    # 预过滤.git目录，排除wiki和design仓库
    git_folders = [
        folder for folder in hashed_repos_dir.rglob("*.git")
        if not folder.name.endswith((".wiki.git", ".design.git"))
    ]

    if not git_folders:
        print("No valid Git repositories found to process.")
        return

    for git_folder in track(git_folders, description="Processing repositories"):
        config_path = git_folder / "config"
        try:
            repo_name = extract_repo_name_from_config(config_path)
            add_safe_directory(git_folder)
            clone_repository(git_folder, output_dir, repo_name)
        except Exception as e:
            print(f"Error processing {git_folder.name}: {e}")
            sys.exit()  # 终止程序

def validate_directory(path: Optional[str]) -> Path:
    """
    验证并将路径字符串转换为Path对象

    :param path: 路径字符串
    :return: Path对象
    :raises ValueError: 如果路径不存在或不是目录
    """
    if path is None:
        raise ValueError("Path cannot be None")
    path_obj = Path(path)
    if not path_obj.exists():
        raise ValueError(f"Path does not exist: {path}")
    if not path_obj.is_dir():
        raise ValueError(f"Path is not a directory: {path}")
    return path_obj

def parse_arguments():
    """
    解析命令行参数

    :return: 包含参数的命名空间
    """
    parser = argparse.ArgumentParser(
        description="将GitLab哈希化仓库克隆到目标目录",
        formatter_class=argparse.ArgumentDefaultsHelpFormatter
    )
    parser.add_argument(
        "--source",
        type=str,
        required=True,
        help="包含哈希化仓库的源目录（必须）"
    )
    parser.add_argument(
        "--output",
        type=str,
        required=True,
        help="克隆仓库的目标目录（必须）"
    )
    return parser.parse_args()

def main():
    args = parse_arguments()
    try:
        source_dir = validate_directory(args.source)
        output_dir = Path(args.output)
        process_git_repositories(source_dir, output_dir)
    except ValueError as e:
        print(f"Argument error: {e}")
        return 1
    return 0

if __name__ == "__main__":
    exit(main())

使用方法

运行以下命令即可启动脚本：

bash 复制代码 
python hashed_repo_cloner.py --source gitlab_hashed_dir --output project_out_dir

五、后续操作

  1. 验证恢复结果

    进入克隆后的项目目录，检查代码完整性，确保所有分支和提交记录都已正确恢复。

    bash 复制代码 
    cd project_out_dir/author/project_name
git log  # 查看提交记录
git branch -a  # 查看所有分支

  2. 重新托管到 GitLab 或其他平台

    如果需要将恢复的代码重新托管到 GitLab 或其他代码托管平台，可以按照以下步骤操作：

    • 在目标平台创建新的仓库。

    • 将本地克隆的项目推送到新仓库：

      bash 复制代码 
      git remote add origin <新仓库的URL>
git push -u origin --all
git push -u origin --tags

通过上述方法，我们无需搭建新服务器，也无需担心版本兼容问题，能够快速高效地恢复 GitLab 项目代码。

相关推荐
niuTaylor2 小时前
从入门到精通：CMakeLists.txt 完全指南
linux·服务器·cmake
镰圈量化4 小时前
Django 实现服务器主动给客户端发送消息的几种常见方式及其区别
服务器·django·sqlite
SuperW6 小时前
Linux学习——IO多路复用知识
linux·服务器·学习
搬码临时工6 小时前
路由器转发规则设置方法步骤，内网服务器端口怎么让异地连接访问的实现
服务器·网络·智能路由器·内网穿透·端口映射·外网访问
程序猿chen6 小时前
JVM考古现场（二十五）：逆熵者·时间晶体的永恒之战（进阶篇）
java·jvm·git·后端·程序人生·java-ee·改行学it
终身学习基地7 小时前
第七篇：linux之基本权限、进程管理、系统服务
linux·运维·服务器
安顾里7 小时前
LInux平均负载
linux·服务器·php
unlockjy7 小时前
Linux——进程优先级/切换/调度
linux·运维·服务器
成工小白7 小时前
【Linux】详细介绍进程的概念
linux·运维·服务器
wayuncn8 小时前
双卡 4090 服务器租用：释放强算力的新选择
运维·服务器
热门推荐
01KGG转MP3工具|非KGM文件|解密音频02从零安装 LLaMA-Factory 微调 Qwen 大模型成功及所有的坑03我决定放弃搞 Java 了04✨分享我在飞书多维表格中使用DeepSeek的经历✨05YOLOv8入门 | 重要性能衡量指标、训练结果评价及分析及影响mAP的因素【发论文关注的指标】06苍穹外卖面试总结07TS 高级类型：Partial 使用及实现原理08yolov8，yolo11，yolo12 服务器训练到部署全流程 笔记09DeepSeek各版本说明与优缺点分析10如何在WPS和Word/Excel中直接使用DeepSeek功能