iSCSI 服务器

iSCSI 服务器

iSCSI 服务介绍

SCSI（Small Computer System Interface，小型计算机系统接口），一种用于计算机和智能设备 之间（硬盘、软驱、光驱、打印机、扫描仪等）连接标准。

iSCSI（Internet Small Computer System Interface，Internet 小型计算机系统接口)，又称为IPSAN，是IBM公司研究开发的IP SAN技术，该技术是将现有SCSI接口与以太网络(Ethernet)技术结 合，基于TCP/IP的协议连接iSCSI服务端（Target）和客户端(Initiator)，使得封装后的SCSI数据包 可以在互联网传输，最终实现iSCSI服务端提供存储给客户端。

通常，iSCSI使用专用的10 Gb以太网或更好的网络，以最大程度地提高性能。

从物理服务器到存储的电缆通常封闭在数据中心内，并且理想情况下不直接连接到LAN网络，所 以SAN流量通常不加密，以最大程度地提高性能。 为了实现WAN安全，iSCSI管理员可以使用 IPsec加密流量。

iSCSI 架构

iSCSI服务是C/S架构。访问的iSCSI目标在客户端系统上显示为本地且未格式化的SCSI快设备，等 同于通过SCSI布线、FC直连或FC交换光线连接的设备。

Initiator，iSCSI客户端，通常以软件方式部署，也可以使用iSCSI Host Bus Adapters (HBAs) （HBA）硬件。 Initiator必须具有唯一的名称（请参见IQN）。

Target，iSCSI服务器上的iSCSI存储资源。 Target必须具有唯一的名称（请参见IQN）。 每 个目标都提供一个或多个块设备或逻辑单元（LUN-logical units）。 在大多数情况下， Target只提供一个设备，但一台服务器可以提供多个目标。

IQN（iSCSI Qualified Name）全球唯一的名称，用于标识发起者和目标。 IQN具有以下格 式：

iqn.YYYY-MM.com.reversed.domain:name_string

YYYY-MM，年和月。示例，2020年6月为2020-06。该日期有助于确保IQN唯一性。

com.reversed.domain，反向域名。 例如， server.redhat.fun 的反向域名为 cloud.laoma.www 。

name_string，用于标识您管理的特定目标。 如果服务器只具有一个目标，则有时会 省略此名称

Portal，指定服务器监听的地址和端口，例如，172.25.250.50:3260。

LUN（Logical Unit Number），代表Target提供的块设备。 每个目标可以提供一个或多个 LUN。

ACL（Access Control List），使用Initiator的IQN限制客户端访问Target。

TPG（Target Portal Group），是目标的完整配置，包括Portal，LUN和ACL。 几乎所有 目标都使用一个TPG，但是高级配置有时可能会定义多个TPG。

**discovery，**查询服务器上有Target列表。

login，向Target验证，验证通过后即可以使用Target服务器提供的块设备。

配置 iSCSI Targets

配置 iSCSI Targets需要安装以下软件：

targetd，服务端软件。

targetcli，targetd服务配置工具。

# 安装软件
[root@server ~ 17:13:31]# yum install -y targetd targetcli

# 启用并启动服务
[root@server ~ 17:14:15]# systemctl enable target --now  

# 配置防火墙
[root@server ~ 17:15:36]# firewall-cmd --permanent --add-service=iscsi-target
[root@server ~ 17:16:58]# firewall-cmd --reload

当您不带任何选项运行targetcli时，该命令将进入交互模式。

[root@server ~ 17:17:08]# targetcli
targetcli shell version 2.1.fb49
Copyright 2011-2013 by Datera, Inc and others.
For help on commands, type 'help'.
/> ls
o- / ................................................................. 
[...]
o- backstores ...................................................... 
[...]
| o- block .......................................... [Storage Objects: 
0]
| o- fileio ......................................... [Storage Objects: 
0]
| o- pscsi .......................................... [Storage Objects: 
0]
| o- ramdisk ........................................ [Storage Objects: 
0]
o- iscsi .................................................... [Targets: 
0]
o- loopback ................................................. [Targets: 
0]
/>

配置 backstore 对象

backstore类型：

**block：**服务器中的块设备，例如磁盘驱动器，磁盘分区或逻辑卷。

fileio：本地文件系统中的常规文件。targetcli将该文件用作磁盘映像。

**pscsi:**物理SCSI设备。 这种类型的存储允许客户端通过网络访问服务器上的物理SCSI设 备。

**ramdisk:**内存中的磁盘设备。 这种类型的存储不会持久存储数据。 服务器重新启动后， 数据将丢失。

要使用targetcli创建后备存储，请使用其create命令。 该命令的行为取决于您在配置树中的当前 位置

/> cd /backstores/block
/backstores/block> create myblock1 /dev/sdb
Created block storage object myblock1 using /dev/sdb.

等同于

/> /backstores/block create myblock1 /dev/sdb
Created block storage object myblock1 using /dev/sdb.

配置 Target IQN

在/iscsi伪目录中，创建IQN，将您选择的IQN名称作为其第一个参数。

/> cd /iscsi
/iscsi> create iqn.2026-01.cloud.bao.server:disk1
Created target iqn.2026-01.cloud.bao.server:disk1.
Created TPG 1.
Global pref auto_add_default_portal=true
Created default portal listening on all IPs (0.0.0.0), port 3260.
/iscsi> ls
o- iscsi ...................................................... 
[Targets: 1]
 o- iqn.2026-01.cloud.bao.server:disk1 
............................... [TPGs: 1]
   o- tpg1 ......................................... [no-gen-acls, noauth]

    o- acls .................................................... 
[ACLs: 0]
     o- luns .................................................... 
[LUNs: 0]
     o- portals .............................................. 
[Portals: 1]
       o- 0.0.0.0:3260 ............................................... 
[OK]

配置 LUN

/> cd /iscsi/iqn.2026-01.cloud.bao.server:disk1/tpg1/luns
/iscsi/iqn.20...sk1/tpg1/luns> create /backstores/block/myblock1
Created LUN 0.

配置 ACL

创建ACL，以允许客户端启动程序访问目标。在Red Hat Enterprise Linux上，启动器的IQN存储 在/etc/iscsi/initiatorname.iscsi文件中。

/> cd /iscsi/iqn.2026.-01.cloud.bao.server:disk1/tpg1/acls
/iscsi/iqn.20...sk1/tpg1/acls> create iqn.2024-12.cloud.bao.client
Created Node ACL for iqn.2024-12.cloud.bao.client
Created mapped LUN 0.

配置 Portal

/> cd /iscsi/iqn.2026.-01.cloud.bao.server:disk1/tpg1/portals/
/iscsi/iqn.20.../tpg1/portals> delete 0.0.0.0 3260
Deleted network portal 0.0.0.0:3260
/iscsi/iqn.20.../tpg1/portals> create 10.1.8.10 3260
Using default IP port 3260
Created network portal 10.1.8.10:3260.

保存配置

退出targetcli shell时，该命令将配置保存在/etc/target/saveconfig.json文件中。

/> exit
Global pref auto_save_on_exit=true
Configuration saved to /etc/target/saveconfig.json

非交互式管理 Targets

[root@server ~ 17:28:28]# targetcli /backstores/block create myblock1 /dev/sdb
Created block storage object myblock1 using /dev/sdb.
[root@server ~ 17:29:43]# targetcli /iscsi create iqn.2026.-01.cloud.bao.server:disk1
Created target iqn.2026.-01.cloud.bao.server:disk1.
Created TPG 1.
Global pref auto_add_default_portal=true
Created default portal listening on all IPs (0.0.0.0), port 3260.

[root@server ~17:29:43]# targetcli /iscsi/iqn.2026.-01.cloud.bao.server:disk1/tpg1/luns \
> create /backstores/block/myblock1
Created LUN 0.

[root@server ~17:29:43]# targetcli /iscsi/iqn.2026.-01.cloud.bao.server:disk1/tpg1/acls \
> create iqn.2024-12.cloud.bao.client
Created Node ACL for iqn.2024-12.cloud.bao.client
Created mapped LUN 0.

[root@server ~17:29:43]# targetcli /iscsi/iqn.2026.-01.cloud.bao.server:disk1/tpg1/portals \
> delete 0.0.0.0 3260
Deleted network portal 0.0.0.0:3260

[root@server ~17:29:43]# targetcli /iscsi/iqn.2024-
12.cloud.bao.server:disk1/tpg1/portals \
> create 10.1.8.10 3260
Using default IP port 3260
Created network portal 172.25.250.10:3260.

[root@server ~17:29:43]# targetcli saveconfig
Configuration saved to /etc/target/saveconfig.json

提示：与交互式使用targetcli不同，命令行模式必须显式运行saveconfig子命令以保存配置。

访问 iSCSI 存储

您也可以使用硬件启动器-主机总线适配器（HBA），从而减轻了其他系统资源的负担。

准备系统

配置iSCSI客户端启动程序需要安装iscsi-initiator-utils软件包，该软件包包括iscsi和iscsid服务 以及/etc/iscsi/iscsid.conf和/etc/iscsi/initiatorname.iscsi配置文件。

[root@client ~]# yum install -y iscsi-initiator-utils

作为iSCSI启动器，客户端需要其自己的唯一iSCSI合格名称（IQN）。在安装iscsi-initiator-utils的 过程中，该软件包生成唯一的IQN，并存储到/etc/iscsi/initiatorname.iscsi文件中。 管理员通常 需要更改该名称。

[root@client ~]# vim /etc/iscsi/initiatorname.iscsi
InitiatorName=iqn.2026-01.cloud.bao.client

/etc/iscsi/iscsid.conf文件包含您连接的目标的默认设置。 这些设置包括iSCSI超时，重试以及用 于身份验证的用户名和密码参数。

软件包安装会自动配置iscsid服务，以便启动器在系统启动时自动重新连接到任何已发现的目 标。 每当您修改启动程序的配置文件时，请重新启动iscsid服务

连接 iSCSI 目标

在使用远程设备之前，首先需要发现目标。 发现过程使用/etc/iscsi/iscsid.conf中的配置将目标信 息和设置存储在/var/lib/iscsi/nodes/目录中

[root@client ~]# iscsiadm -m discovery -t st -p portal_ip[:port]

参数说明：

portal_ip参数是目标门户的IP地址。 如果未指定port参数，它将使用默认端口3260。

示例：

#查找可以登录的目标
[root@client ~]# iscsiadm -m discovery -t st -p server
10.1.8.10:3260,1 iqn.2026.-01.cloud.bao.server:disk1

要使用列出的目标之一，请使用以下命令登录到该目标：-p是指向，加了只会登录指向的目标

[root@client ~]# iscsiadm -m node -T Target -p portal_ip[:port] -l

示例

[root@client ~]# iscsiadm -m node -T iqn.2026-
01.cloud.bao.server:disk1 -l
Logging in to [iface: default, target: iqn.2024-
12.cloud.bao.server:disk1, portal: 10.1.8.10,3260]
Login to [iface: default, target: iqn.2026.-01.cloud.bao.server:disk1, 
portal: 10.1.8.10,3260] successful.

此时，系统将检测到新的SCSI块设备，就好像它是本地连接的硬盘驱动器一样。 您可以使用以下 命令查看新设备，该命令以打印级别3显示有关当前iSCSI登录会话的信息。

[root@client ~]# iscsiadm -m session -P 3
iSCSI Transport Class version 2.0-870
version 6.2.0.877-0
Target: iqn.2026.-01.cloud.bao.server:disk1 (non-flash)
Current Portal: 10.1.8.10:3260,1
...output omitted...
Attached scsi disk sdc State: running

格式化 iSCSI 设备

如果发现的块设备已经具有分区，文件系统或LVM卷，则可以使用常规命令（如mount）访问该 数据。 您可以使用lsblk --fs命令检查设备。

[root@client ~]# blkid
NAME FSTYPE LABEL UUID MOUNTPOINT
sda
├─sda1 xfs f7614c41-2835-4125-bb13-50772dc2f30c /boot
├─sda2 swap 78a5f1eb-a593-4db3-b15a-f49042e182a2 [SWAP]
└─sda3 xsf ac2790c4-cfbb-409e-88a9-fe8c963fcd00 /
sdb LVM2_member 4ALe1y-oEXe-XLer-PjYW-n5ud-Ryko-XZZ2PM
├─dbdata-log ext4 bd566c1f-01a1-404d-8f01-9495004f327c /data/db/log
└─dbdata-data ext4 5640b4ae-5868-4bf5-8715-51fc18d8656b /data/db/data
sdc

多个启动程序同时从同一目标安装同一文件系统，会导致文件系统损坏或尝试读取数据时出现不 一致。 本地文件系统（例如ext4或XFS）不支持从多个系统并发安装。如果需要允许从多个系统 同时访问基于iSCSI的块设备，请使用群集文件系统（例如GFS2）。

如果磁盘为空，则可以对其进行格式化，创建分区或将其用作LVM物理卷

# 假设客户端发现的设备名称是/dev/sdb
[root@client ~18:02:43]# mkfs.xfs /dev/sdb

持久化挂载

在/etc/fstab中的iSCSI目标上持久地挂载文件系统时，请确保遵循以下建议

使用带有--fs选项的lsblk命令来确定文件系统UUID，然后使用该UUID挂载文件系统。 不要 使用设备名称（ /dev/sd* ）。 设备的名称取决于 iSCSI 设备通过网络响应的顺序，因此设 备名称可能会在引导之后更改。如果在 /etc/fstab 中使用设备名称，则系统可能会将设备挂 载在错误的挂载点下。

在/etc/fstab中使用 _netdev 挂载选项。 因为iSCSI依赖网络访问远程设备，所以此选项可确 保在网络和启动器启动之前，系统不会尝试挂载文件系统。

UUID="3d49d1dd-8209-43a1-a106-4de328762e00" /data xfs defaults,_netdev   
     0 0

还需要确保服务iscsi开机自动启动，该服务默认是开机自动启动的。

# systemctl enable iscsi

断开目标连接

要停止使用iSCSI目标，请执行以下步骤：

确保没有使用目标提供的任何设备。 例如，卸载文件系统

从/etc/fstab等位置删除对目标的所有持久引用。 从iSCSI目标注销。

[root@client ~18:08:43]# iscsiadm -m node -T iqn.2026-
01.cloud.bao.server:disk1 \
> -p 10.1.8.10:3260 -u

删除 iSCSI目标的本地记录，以使启动器在引导过程中不会自动登录到目标。

[root@client ~18:12:02]# iscsiadm -m node -T iqn.2026-
01.cloud.bao.server:disk1 \
> -p 10.1.8.10:3260 -o delete

多路径访问

服务端准备

准备两个网络，targetcli中的portal也配置两个。效果如下：

[root@server ~ 20:32:39]# ip -br a
lo               UNKNOWN        127.0.0.1/8 ::1/128 
ens33            UP             10.1.8.10/24 fe80::20c:29ff:fe72:3fd2/64 

[root@server ~ 20:33:40]# targetcli /iscsi/iqn.2026- 08.fun.linux.server:webapp/tpg1/port
o- portals ........................................................ 
[Portals: 2]
 o- 10.1.1.10:3260 
....................................................... [OK]
 o- 10.1.8.10:3260 
....................................................... [OK]

什么是多路径

多路径是指服务器和存储阵列存在多个物理连接方式使用虚拟设备，这种方式可以提供更加弹性 的存储连接（一个路径down掉不会影响连接性），也可以聚合存储带宽提供性能。

配置多路径

安装软件包

[root@client ~ 20:35:00]# yum install -y device-mapper-multipath

启用多路径

创建配置文件 /etc/multipath.conf 最简单的方法是使用mpathconf工具：

如果文件不存在，使用以下命令生成配置文件。也可以从默认位置/usr/share/doc/devicemapper-multipath-*/multipath.conf拷贝过来。

[root@client ~ 20:35:05]#  mpathconf --enable

如果文件已经存在，则以下命令会修改文件配置。

[root@client ~ 20:39:25]# mpathconf --enable --with_multipathd y --
with_chkconfig y

确定设备是同一设备

scsi_id 命令

root@client ~ 20:41:23]# /usr/lib/udev/scsi_id -g -u /dev/sdb
360014057202ac29e3cd4d24850ed82f3
[root@client ~]# /usr/lib/udev/scsi_id -g -u /dev/sdc
360014057202ac29e3cd4d24850ed82f

udevadm 命令

[root@client ~ 20:46:08]# udevadm info --query=property --name=/dev/sdb | grep 
ID_WWN_W
ID_WWN_WITH_EXTENSION=0x600140559c2883e039048cbbce4320b4
[root@client ~ 20:49:27]# udevadm info --query=property --name=/dev/sdC | grep 
ID_WWN_W
ID_WWN_WITH_EXTENSION=0x600140559c2883e039048cbbce4320b4

通过 UUID 或其他标识符辅助判断

[root@client ~ 20:52:12]# blkid /dev/sdb
/dev/sdb: UUID="3c4cd1fc-8e65-4ce5-a85d-0b9a79e582b4" TYPE="xfs" 
[root@client ~ 20:54:56]# blkid /dev/sdc
/dev/sdc: U3c4cd1fc-8e65-4ce5-a85d-0b9a79e582b4" TYPE="xfs" 

监控多路径

multipath命令也可用于多路径状态监控。

-l 选项，显示多路径拓扑简介。

-ll 选项，会检测所有路径是否active，如果没有问题，路径的状态为active和ready。命令输 出还会包括每个多路径设备的信息，有三个部分组成：多路径设备，path group，path group成员。

[root@client ~ 20:55:48]# multipath -ll
mpatha (360014057202ac29e3cd4d24850ed82f3) dm-3 LIO-ORG ,db01           
 
size=100G features='0' hwhandler='0' wp=rw
|-+- policy='service-time 0' prio=1 status=active
| `- 32:0:0:0 sdb 8:16 active ready running
`-+- policy='service-time 0' prio=1 status=enabled
  `- 33:0:0:0 sdc 8:32 active ready running

第一部分是多路径设备信息。

第一行：alias wwid 设备名 vendor 和产品信息。 WWID（World Wide Identifier），全球唯一标识符，是 Linux 多路径软件 （ multipath ）使用的逻辑标识符，用于标识多路径设备（由多个物理路径聚合而成的 逻辑设备）

第二部分是多路径设备的path group，包括调度策略，优先级和path group 状态，紧随的 是其成员path。对于每个path，也就是设备节点名，包括设备major和minor信息，path的 状态。

配置文件

配置文件 /etc/multipath.conf，包含5个部分：

defaults，定义了所有多路径的默认配置，会被devices和multipaths块配置覆盖。

blacklist，定义了多路径设备中不允许使用的设备。

blacklist_exceptions，定义了多路径设备中应该包含的设备，即使设备已经定义在 blacklist中。

devices，指定特定设备类型，会被multipaths块覆盖。device是通过他们的vendor

product和revision（修正）关键字识别（来自于sysfs的正则表达式匹配）。

multipaths，包含指定路径，会覆盖defaults块和devices块中定义的设备。多路径基于他 们的WWIDs识别（使用getuid_callout函数获得）

Defaults

完整的默认设置可以参考/usr/share/doc/device-mapper-multipath- */multipath.conf.defaults。

path_selector：定义了组中下一次IO路径选择的算法。默认是"service-time 0"，提供给服 务消耗时间最少的路径。备用算法，"round-robin 0"，分发IO给组中所有路径。 rr_min_io_rq，定义每个IO路径发送多少个请求后转换到下一个IO路径。"queue-length 0"，定义下一个IO请求发送给最短队列长度的路径。

path_grouping_policy：多路径是如何合并到priority组中。默认是failover，每个路径放入 单独的组。multibus，所有可能的路径都聚合到一个组中。在使用multibus前，确保存储控 制器支持active-active连接。

path_check：定义multipathd进程如何确定路径是否healthy。包括硬件独立选项， directio和readsector0等，默认为directio，一般会被devices{}配置覆盖

features：定义启用的多路径功能。语法格式：num list。num代表启用的功能，list代表 启用的功能列表。例如，queue_if_no_path和no_partitions。

user_friendly_names：定义在未定义alias情况下，多路径名称是否为mpathN。

multipaths

加到配置文件最后

multipaths {
       multipath {
               wwid                   
360014057202ac29e3cd4d24850ed82f3
               alias                   ClusterStorage
               path_grouping_policy   failover
       }
}

当path group配置了multibus策略时，多路径设备将所有路径组合到一个 group中。

multipaths {
       multipath {
               wwid                   
36001405bbc2fa575d0d46ec8951bc465（改为自己的编码，用multipaths-ll查）
               alias                   ClusterStorage
               path_grouping_policy   multibus（）注意区分
       }
}

[root@client ~21:03:45]# multipath -ll
ClusterStorage (360014057202ac29e3cd4d24850ed82f3) dm-0 LIO-ORG 
,clusterstor   
size=4.0G features='0' hwhandler='0' wp=rw
`-+- policy='service-time 0' prio=1 status=active
 |- 2:0:0:0 sdb 8:16 active ready running
  `- 3:0:0:0 sda 8:0 active ready running

devices

devices 块定义了每个独立的设备。

devices {
       device {
               vendor                  "COMPAQ "
               product                 "HSV110 (C)COMPAQ"
               path_grouping_policy    multibus
               path_checker            readsector0
               path_selector           "round-robin 0"
               hardware_handler        "0"
               failback                15
               rr_weight               priorities
               no_path_retry           queue
       }
}

Blacklist

Blacklist 提供设备黑名单，通过WWID和device node指定设备，支持使用通配符。~~

blacklist {
       devnode "^vd[a-z]"
       wwid 1234567890abcde
}

查看磁盘设备WWID命令：

/usr/lib/udev/scsi_id -g -u /dev/sda
360014057202ac29e3cd4d24850ed82f3

blacklist_exceptions

blacklist_exceptions {
       device {
               vendor  "IBM"
               product "S/390.*"
       }
}

使用设备

多路径设备名称为 /dev/mapper/mpatha，识别到设备后就可以正常使用。

示例：划分分区，格式化，挂载

[root@client ~ 21:09:06]# parted /dev/mapper/mpatha mklabel gpt
[root@client ~ 21:12:25]# parted /dev/mapper/mpatha unit MiB mkpart webapp 1 
10241 <<< 'Ignore'
[root@client ~ 21:16:45]# mkfs.xfs /dev/mapper/mpatha1
[root@client ~ 21:19:19]# mount /dev/mapper/mpatha1 /usr/share/nginx/html
[root@client ~ 21:20:43]# df -h /usr/share/nginx/html
Filesystem           Size Used Avail Use% Mounted on
/dev/mapper/mpatha1   10G 104M  9.9G   2% /var/www/html

持久化挂载

[root@client ~ 21:23:06]# vim /etc/fstab
# 最后增加一条
/dev/mapper/mpatha1 /usr/share/nginx/html xfs _netdev 0 0
[root@client ~ 21:24:31]# systemctl daemon-reload
[root@client ~ 21:26:05]# umount /usr/share/nginx/html
[root@client ~ 21:27:41]# mount -a
[root@client ~ 21:29:07]# df -h /usr/share/nginx/html
Filesystem           Size Used Avail Use% Mounted on
/dev/mapper/mpatha1   10G 104M  9.9G   2% /var/www/html