新钛云服已累计为您分享815篇技术干货
01
背 景
因云上软件系统停止运行,40 余 TB 的 OSS 数据迫切需要进行下云备份操作。在经过详尽的全面评估后,最终确定采用阿里云的闪电立方方案来实现数据迁移。同时,为了妥善存储这些数据,新购置了一个 NAS设备。
02
准备工作
前期准备
NAS前期准备
一般数据量小于50TB以下的,可考虑类似桌面型的塔式NAS存储,一般为2~6块硬盘,具体可用大小可根据单盘容量来计算,例如6盘的设备,单盘12TB(实际容量可按10.91TB计算,这个值可能会因文件系统格式化和系统保留空间等因素略有减少,但通常不会有太大变化),做完RAID 5后(RAID 5允许一个磁盘故障而不丢失数据)可用容量约50TB。
另外防止数据存在丢失的风险,需要考虑存储设备是否有加密措施?群晖NAS设备有两种加密措施,一种是共享文件夹加密,另外一种是synology卷加密。具体看需求,不需要两种同时使用。我打电话问群晖售前,建议用第二种synology卷加密。故采用如下表所示的NAS配置:
预估时间
预估费用
03
具体操作步骤
下 单
下单前请通过工单方式提交申请,将上文"前期准备"中的内容提供给阿里云。申请审批通过后,会在闪电立方购买页开放"数据备份到云下IDC"的购买入口(如下图所示),信息填写完成后下单。
下单成功后,阿里云会进行备货,从就近的仓库调用设备到指定机房,然后做数据下云操作。下云完成后给到我一个迁移详情的excel表格,里面有数据在闪电立方上的路径,等收到设备后即可通过路径查看到数据。阿里云安排设备下架后,会将设备寄送到我指定的收货地址。
注意:因为我这边需要闪电立方通过万兆网口直接对拷到NAS上,所以需要告诉阿里云在备货时提供2个RJ45的网线和2个光转电模块。
收到设备并迁移数据
开箱验货
收到闪电立方设备时,查看设备和配件是否完整,配件:2个RJ45的网线、2个光转电模块、1根国标电源线(机器顶部面板打开即可看到)。检查是否有严重损坏,如果出现设备损坏等情况,请立即联系阿里云工作人员。
自备显示屏、键盘、鼠标连接闪电立方设备,输入用户名和密码(请联系阿里云工作人员获取用户名和密码),登录闪电立方。检查是否缺少数据,因为我这边在数据传输完成后才发现有两个任务的目的路径重复了,导致这两个任务需要重新从OSS下载,所以建议在一开始收到闪电立方的时候就检查数据。
NAS 挂载到闪电立方
第一步、使用光转电模块和RJ45的网线,将NAS与闪电立方的万兆网口直连。
第二步、配置NAS网络。打开NAS桌面应用程序上的"控制面板",选择"网络",选择"网络界面"下的"局域网5"进行编辑,手动设置网络配置,将IP地址配置为"192.168.1.2",子网掩码配置为"255.255.255.0",完成后点击"确定"按钮。
第三步、配置NAS的NFS。在"控制面板"里的"文件服务"中,选择"NFS",勾选"启用 NFS 服务","最大 NFS 协议"设置为"NFSv3"。
在"控制面板"里的"共享文件夹"中,选择想要共享的目录,配置"NFS 权限",新增如下图所示的配置。
第四步、配置闪电立方网络,将IP地址改为"192.168.1.4",子网掩码为"255.255.255.0",注释掉网关,完成后重启网卡。
ping NAS的地址"192.168.1.2",检查是否能ping通
使用下面的命令查看NAS已经共享出来的目录
css
showmount -e 192.168.1.2
使用下面的命令将NAS挂载到服务器的/mnt/nas目录
nginx
mount -t cifs //192.168.1.2/共享的目录名称 /mnt/nas -o username="NAS的用户名",password="NAS的密码",vers=3.0
迁移数据
步骤一、找到ossimport迁移工具
-
在闪电立方上执行ps -ef | grep jar,查看是否有master.jar、worker.jar、tracker.jar 三个进程,有的话执行kill -9 进程号,将3个进程都杀掉。
-
在闪电立方上执行cd /mnt/cube/software/ossimport进入ossimport目录,以下操作都在该目录进行。
步骤二、创建迁移任务
任务是需要指定到目录层级的。如果需要迁移目的端所有的数据,创建1个迁移任务即可。如果只迁移目的端N个目录下的数据,则创建N个任务。
1. 配置 job.cfg 文件
执行cd conf,进入conf目录。有几个迁移任务,就需要复制几份job.cfg文件,注意做好cfg文件区分,例如job1.cfg、job2.cfg、job3.cfg。打开其中一个cfg文件,例如 vi job1.cfg,配置下列信息。
ini
jobName= 自己取任务名。
srcType=local
srcPrefix= 填写源路径,注意后面要加上/(例如/mnt/cube/data/business/)
destType=local
destPrefix= 填写目标路径,注意后面要加上/(例如/mnt/nas/business/)
【补充举例说明:假设目的端挂载到闪电立方上的挂载点是/mnt/nas,要将闪电立方中的数据迁到目的端/mnt/nas/business目录里。闪电立方的存储目录为/mnt/cube/data/,则srcPrefix填写/mnt/cube/data/business/,destPrefix填写/mnt/nas/business/】
2. 部署服务
执行bash console.sh deploy
3. 启动服务
执行bash console.sh start
- 输入 ps -ef | grep jar 查看
如果有master.jar、worker.jar、tracker.jar 三个进程,说明启动正常。
- 提交迁移任务
执行bash console.sh submit conf/cfg文件名 ,例如bash console.sh submit conf/job1.cfg
步骤三、查看迁移日志,确认迁移状态
查看迁移日志
在ossimport/workdir/logs/ 目录下会存放一些日志用于记录文件的上传状态以及任务的状态。
• job_status.log该文件30秒更新一次,用于简单记录任务的状态信息。
• jobsForSls_v1.log 记录整个任务的状态信息,每分钟更新一次,直到所有任务都结束为止。
确认迁移任务状态
- 确认所有迁移任务是否结束,任务状态是否都为succeed。
cd /mnt/cube/software/ossimport/workdir/logs/查看job_status.log文件,确认所有任务是否都为succeed状态。
-
如果有running状态的,表示任务还没结束,如果有failed状态的,说明有文件迁移失败,可联系闪电立方工作人员协助排查失败原因。
-
确认所有任务都结束,且为succeed状态后,就可以做下一步操作了。
步骤四、停止迁移服务,设备关机
停止迁移服务
cd /mnt/cube/software/ossimport
bash console.sh stop
设备关机
执行poweroff指令关机。
04
设备归还并结束订单
用户校验完数据后,让阿里云安排物流上门取件,及时将设备归还给阿里云,否则设备租用到期后7个自然日内未归还设备,会被视为设备丢失,需要进行赔付,具体请见下单页。阿里云那边收到后会结束订单。
至此,通过阿里云闪电立方将数据备份到云下的操作完成。
在本文中,我们详细介绍了使用阿里云闪电立方进行数据备份到云下的操作流程。通过这一过程,我们成功地将40TB的OSS数据安全、高效地迁移到了本地NAS设备,确保了数据的完整性和可用性。这一实践不仅展示了阿里云闪电立方在处理大规模数据迁移方面的强大能力,也体现了我们在数据管理和保护方面的专业水平。
如有相关问题,请在文章后面给小编留言,小编安排作者第一时间和您联系,为您答疑解惑。
推荐阅读
推荐视频