分布式编译distcc

工程代码编译速度太慢,决定采用分布式编译来提高编译速度.

distcc ,请参考https://www.distcc.org/

安装

我用的distcc的版本是distcc-3.2rc1, 下载源码,安装步骤如下:

./autogen.sh

./configure --disable-Werror --prefix=/usr/local/distcc-3.2rc1

make

make install

配置

1. 客户端

1.1 检查server上的3632端口是否可用:

a. python -m telnetlib 10.58.17.203 3632

b. nc -zv 10.58.17.203 3632

1.2 export环境变量

export DISTCC_HOSTS="10.58.17.203/64,lzo,cpp"

export DISTCC_LOG=/home/ricky/distcc.log

export DISTCC_VERBOSE=1

64表示:客户端发送到203这台机器的任务最多为64个,与cpu的core数量有关系;

lzo: 允许LZO压缩

备注: 在**/etc/environment** 文件中可以添加这些变量,开机后这些变量便可以自动导出

DISTCC_HOSTS="10.58.17.203/64,lzo,cpp"

DISTCC_LOG=/home/ricky/distcc.log

DISTCC_VERBOSE=1

1.3 pump

/usr/local/distcc-3.2rc1/bin/pump make -j16

2. 服务器

2.1 服务器应该开放3632端口,当然关闭防火墙更加直接了当:

sudo systemctl stop firewalld

sudo systemctl status firewalld

2.2 export环境变量

export DISTCC_HOSTS="10.58.17.203/64,lzo,cpp"

export DISTCC_LOG=/home/ricky/distcc.log

2.3 daemon

2.3.1 手动运行daemon

/usr/local/distcc/bin/distccd --daemon -a 10.58.17.201 --user nobody --log-level debug

2.3.2 创建 Systemd 配置文件, distccd 便可以开机后自动运行

/etc/systemd/system/ 目录中创建一个以 .service 结尾的文件,比如 distccd.service。使用编辑器打开,添加如下内容:

Unit
Description=Distccd Distributed Compiler Daemon
After=network.target

Service
Type=simple
ExecStart=/usr/local/distcc/bin/distccd --daemon -a 10.58.17.201 --user nobody
Restart=always

Install
WantedBy=default.target

重新加载 Systemd 配置:

保存并退出编辑器后,使用以下命令重新加载 Systemd 配置:sudo systemctl daemon-reload

启用自动启动:

sudo systemctl enable distccd.service

这会将 Distccd 服务添加到启动时要加载的服务列表中。

启动 Distccd 服务: 你可以手动启动服务:sudo systemctl start distccd.service
检查状态: 你可以使用以下命令检查服务的状态:sudo systemctl status distccd.service

3. 问题定位

  1. distcc clent 的 /tmp 目录下会存在distcc_server_stderr_e7eb7455.txt, 这个文件里会存在错误信息;

  2. 如果ccache 和 distcc 都要开启的话,执行命令的 ccache 一定要位于distcc 之前:

/usr/local/bin/ccache /usr/local/distcc-3.2rc1/bin/distcc

  1. 查看distcc man 手册

cd /usr/local/distcc-3.2rc1/share/man/man1/

man ./distcc.1.gz

相关推荐
风吹夏回7 天前
RabbitMQ 核心术语 + Python pika 方法完整讲解
分布式·python·rabbitmq
风吹夏回8 天前
RabbitMQ 三种模式入门:HelloWorld、WorkQueue、PubSub
分布式·rabbitmq·ruby
霸道流氓气质8 天前
分布式追踪与 RequestId 传播完全指南
分布式
cheems95278 天前
[RabbitMQ高级特性] 消息确认机制:从 Ready / Unacked 到 basicAck、basicReject、basicNack 的底层拆解
分布式·rabbitmq·ruby
枫华落尽8 天前
【Hadoop01-完全分布式运行模式】
分布式
隔壁阿布都8 天前
ShedLock 分布式定时任务锁框架介绍
spring boot·分布式
文艺倾年8 天前
【强化学习】数学推导专题,20W字总结(十五)
人工智能·分布式·大模型·强化学习·vibecoding
ACP广源盛139246256738 天前
GSV9001S@ACP#1080P 级视频处理芯片,物理 AI 普及终端的高性价比选择
大数据·人工智能·分布式·嵌入式硬件·spark
guslegend8 天前
第1章:初始Kafka
分布式·kafka
ACP广源盛139246256738 天前
GSV5600@ACP#多接口协议转换芯片,物理 AI 便携终端的互联核心
大数据·人工智能·分布式·嵌入式硬件·spark