超算 HPC使用 (集群1）：SSH免密登录

SSH免密登录

服务端配置密钥

ssh-keygen -t rsa -b 4096
cd ~/.ssh/
ls -la
cat ~/.ssh/id_rsa

下载私钥id_rsa，客户端ssh连接

熟悉超算

初始环境

初次登陆是没有conda环境的

注意❗❗❗ 此刻这里还没有.conda文件夹的

[chenps@login01 ~]$ conda env list
-bash: conda: command not found
[chenps@login01 ~]$ pwd
/share/home/chenps
[chenps@login01 ~]$ ls -la

module 常用指令

module help       # 显示帮助信息
module avail      # 显示已经安装的软件环境
module load       # 导入相应的软件环境
module unload     # 删除相应的软件环境
module list       # 列出已经导入的软件环境
module purge      # 清除所有已经导入的软件环境
module switch [mod1] mod2 # 删除mod1并导入mod2

加载conda模块

[chenps@login01 ~]$ module avail | grep conda
   anaconda/3-2023.09                                hwloc/2.7.0                        (L)
   anaconda/3-2024.02.01                      (D)    lammps/2Aug2023
[chenps@login01 ~]$ module load  anaconda/3-2024.02.01
[chenps@login01 ~]$ conda  -V
conda 24.1.2
[chenps@login01 ~]$ module list

Currently Loaded Modules:
  1) prun/2.2       3) hwloc/2.7.0   5) libfabric/1.13.0   7) singularity/3.7.1   9) anaconda/3-2024.02.01
  2) gnu12/12.2.0   4) ucx/1.14.1    6) openmpi4/4.1.5     8) ohpc



[chenps@login01 ~]$

初始化conda

这里执行conda init，不然下次另开终端，conda -V 还是会报错command not found，初始化修改了.bashrc文件，添加了# >>> conda initialize >>>这部分的内容，类似windows配置环境变量。

[chenps@login01 ~]$ conda init
no change     /share/software/anaconda3/2024.02.01/condabin/conda
no change     /share/software/anaconda3/2024.02.01/bin/conda
no change     /share/software/anaconda3/2024.02.01/bin/conda-env
no change     /share/software/anaconda3/2024.02.01/bin/activate
no change     /share/software/anaconda3/2024.02.01/bin/deactivate
no change     /share/software/anaconda3/2024.02.01/etc/profile.d/conda.sh
no change     /share/software/anaconda3/2024.02.01/etc/fish/conf.d/conda.fish
no change     /share/software/anaconda3/2024.02.01/shell/condabin/Conda.psm1
no change     /share/software/anaconda3/2024.02.01/shell/condabin/conda-hook.ps1
no change     /share/software/anaconda3/2024.02.01/lib/python3.11/site-packages/xontrib/conda.xsh
no change     /share/software/anaconda3/2024.02.01/etc/profile.d/conda.csh
modified      /share/home/chenps/.bashrc

==> For changes to take effect, close and re-open your current shell. <==

[chenps@login01 ~]$ cat .bashrc
# .bashrc

# Source global definitions
if [ -f /etc/bashrc ]; then
        . /etc/bashrc
fi

# User specific environment
if ! [[ "$PATH" =~ "$HOME/.local/bin:$HOME/bin:" ]]
then
    PATH="$HOME/.local/bin:$HOME/bin:$PATH"
fi
export PATH

# Uncomment the following line if you don't like systemctl's auto-paging feature:
# export SYSTEMD_PAGER=

# User specific aliases and functions

# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/share/software/anaconda3/2024.02.01/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
    eval "$__conda_setup"
else
    if [ -f "/share/software/anaconda3/2024.02.01/etc/profile.d/conda.sh" ]; then
        . "/share/software/anaconda3/2024.02.01/etc/profile.d/conda.sh"
    else
        export PATH="/share/software/anaconda3/2024.02.01/bin:$PATH"
    fi
fi
unset __conda_setup
# <<< conda initialize <<<

创建conda环境

编写配置.condarc

conda 创建个人虚拟环境 如果一开始没有配置过.condarc文件，是无法创建个人的虚拟环境的。

cat > ~/.condarc << eof
auto_activate_base: false
pkgs_dirs:
 -  $HOME/.conda/pkgs
eof

补充：（左：超算，右：本地wsl）

超算不配置的话，conda创建的虚拟环境会被放在/share这个文件夹下，而普通用户又没有/share的读写权限，所以会导致环境创建失败。这里参考本地wsl，新环境的路径放在$HOME主目录下：

# 回到主目录
cd
# 创建配置文件
touch .condarc
# 编辑配置文件
vi  .condarc

已有环境导入（可忽略）

本地环境打包

(py4DSTEM_linux) ubuntu22@Autumn:~$ conda env export -n py4DSTEM_linux > py4DSTEM_linux_backup1219.yml
(py4DSTEM_linux) ubuntu22@Autumn:~$ pwd
/home/ubuntu22
(py4DSTEM_linux) ubuntu22@Autumn:~$

👆上传 py4DSTEM_linux_backup1219.yml到超算的登录节点

导入备份环境

conda env create -f py4DSTEM_linux_backup1219.yml

因为我这里一直报错，登录节点的网络又特别慢，所以我直接删除了报错的行==后面的东西（不指定版本安装），如下所示：

等了很久还是不行。算了，直接创建基础环境了。

创建基础环境

conda create -n py310_test python=3.10.19 -c conda-forge -y
conda activate py310_test
pip install py4DSTEM
pip install jupyter
conda install -c conda-forge cupy -y