云计算相关

文章目录

• 一、虚拟化
• • 1、虚拟化技术概述
  • • 特点
  • 2、虚拟化与云化
  • 3、计算虚拟化
  • • 分类与作用
    • 常见的计算服务架构
  • 4、存储虚拟化
  • 5、网络虚拟化
• 二、行业管理规章制度
• • 1、服务器管理制度
  • • 访问控制
    • 变更管理
    • 备份与恢复
    • 监控与审计
  • 2、操作系统安全管理规范
  • • 更新与补丁管理
    • 用户账号管理
    • 防火墙与安全软件
    • 日志管理
  • 3、虚拟化管理规定
  • • 资源分配
    • 隔离策略
    • 模版与镜像
• 三、操作系统
• • 1、操作系统安装
  • 2、操作系统调优
  • 3、操作系统管理维护
  • 4、常见服务安装与管理
  • 5、计划任务
• 四、运维能力洞察
• • [1、Shell 脚本场景运维](#1、Shell 脚本场景运维)
  • [2、Ansible 自动化](#2、Ansible 自动化)
  • 3、Python基础
• 五、数据库中间件
• • 1、数据库技术概念
  • 2、数据库架构基础
  • 3、关系型数据库与非关系型数据库主流场景
• 六、存储
• • 1、数据与磁盘基本概念
  • 2、主机存储与专属存储设别的差异与区别
  • • 定义与用途
    • 性能与特点
    • 应用场景与需求
    • 四、成本与维护
  • 3、存储网络架构
  • • 存储网络架构的类型
    • 存储网络架构的组成部分
    • 存储网络架构的发展趋势
  • 4、NAS与SAN存储概念与区别
  • 5、存储协议
  • • 存储协议的基本概念
    • 常见的存储协议类型
  • 6、存储高级特性（快照、克隆、ROW、COW等）
  • • 快照
    • 克隆
    • ROW（写时重定向）
    • COW（写时复制）
• 七、容器及云原生
• • 1、云原生的基本理念
  • 2、云原生架构特性
  • 3、容器基本概念
  • 4、容器编排技术的原理、特性与操作
  • 5、DevOps的基础框架
  • 6、DevOps的开发运维流程

一、虚拟化

1、虚拟化技术概述

‌虚拟化技术是一种资源管理技术，通过虚拟化技术将一台计算机虚拟为多台逻辑计算机，每个逻辑计算机可以运行不同的操作系统，并且应用程序在相互独立的空间内运行，互不影响，从而提高计算机的工作效率。

特点

分区：指可在一台服务器上运行多台虚拟机。

隔离：分区完后的所有虚拟机之间相互隔离，每个虚拟机就像一台单独的物理机。

优点：当前虚拟机中毒崩溃并不会影响该物理机上的其他虚拟机。

封装：整个虚拟机运行条件封装在独立文件夹中，可通过移动文件夹方式迁移虚拟机。

相对于硬件独立：软硬件解耦。不必考虑硬件设施，解决了硬件的不兼容性。

2、虚拟化与云化

‌虚拟化与云化的主要区别在于它们的核心概念和应用场景不同。‌ 虚拟化是一种技术，允许在单个物理设备上运行多个虚拟设备，从而提高资源利用率和灵活性；而云化是一种基于互联网的计算模式，允许用户在远程服务器上存储和处理数据，实现资源共享和计算能力的扩展‌

3、计算虚拟化

分类与作用

1、 CPU虚拟化：保障CPU资源的合理调度以及VM上的指令能够正常高效的运行。

2、 内存虚拟化：保障内存空间的合理分配、管理、隔离以及高效可靠的使用。

3、 I/O虚拟化：保障VM的IO操作隔离与正常高效地执行

常见的计算服务架构

虚拟化只是底层硬件与上层OS/app解耦，提供可灵活分配地技术资源池地底层技术。要想实现虚拟机的创建与管理，需要与其他组件(镜像、调度、存储、网络等)协同工作才能完成，并提供完整的计算服务

OpenStack Nova(开源)

阿里云ECS架构(厂商私有)

腾讯云CVM架构

4、存储虚拟化

定义：通过虚拟化技术，实现把存储资源整合到一起后对外提供服务；同时实现数据安全性、容量提升、性能提升等效果。

5、网络虚拟化

网络虚拟化的内容一般指虚拟专用网络 (VPN)。VPN 对网络连接的概念进行了抽象，允许远程用户访问组织的内部网络，就像物理上连接到该网络一样。网络虚拟化可以帮助保护 IT 环境，防止来自 Internet 的威胁，同时使用户能够快速安全的访问应用程序和数据。

比较常见的网络虚拟化应用包括虚拟局域网，即VLAN，虚拟专用网，VPN，以及虚拟网络设备等。

二、行业管理规章制度

1、服务器管理制度

访问控制

用户权限管理：

• 根据岗位需求分配最小必要权限，避免权限滥用。
• 实施严格的身份验证机制，如多因素认证。
• 定期审查用户权限，及时撤销不必要的权限。

访问日志记录：

• 记录所有用户的访问行为，包括访问时间、访问资源等。
• 定期对访问日志进行审计，发现异常行为及时报告。

物理与逻辑访问控制：

• 机房应设置门禁系统，限制非授权人员进入。
• 服务器和网络设备应放置在安全区域，并设置访问控制

变更管理

变更请求与审批：

• 所有变更请求需经过正式的审批流程，明确变更目的和影响。
• 审批过程应确保所有相关方都了解并同意变更。

变更实施与监控：

• 在实施变更前，应进行详尽的测试，确保变更不会对系统造成负面影响。
• 变更过程中应有详细的记录，以便在出现问题时进行回溯。
• 实施变更后，应对系统进行监控，确保变更成功且系统运行稳定

备份与恢复

备份策略制定：

• 制定定期备份计划，确保数据的完整性和可用性。
• 根据数据的重要性和敏感性，选择合适的备份方式和存储介质。

备份验证与恢复测试：

• 定期对备份数据进行验证，确保备份数据的完整性和可用性。
• 实施恢复测试，确保在需要时能够迅速恢复数据。

灾难恢复计划：

• 制定灾难恢复计划，明确灾难发生时的应对措施和恢复流程。
• 定期进行灾难恢复演练，确保计划的有效性和可行性

监控与审计

系统监控：

• 实时监控服务器的性能、资源使用情况等关键指标。
• 设置报警阈值，当指标超过阈值时及时发出报警。

安全审计：

• 定期对服务器的安全配置、访问记录等进行审计。
• 发现安全漏洞和异常行为及时进行处理和报告。

日志管理：

• 启用系统日志功能，记录所有系统操作和异常事件。
• 定期对日志进行审查和清理，确保日志的完整性和可用性

2、操作系统安全管理规范

更新与补丁管理

自动更新：启用操作系统的自动更新功能，确保系统能够及时获得最新的安全补丁和功能更新。

补丁测试：在安装补丁前，进行充分的测试，确保补丁不会引入新的问题或影响系统的正常运行。

补丁部署：根据业务需求和风险评估结果，制定合理的补丁部署计划，并严格执行

用户账号管理

账号策略：制定严格的账号管理策略，包括账号的创建、修改、删除和权限分配等。

密码策略：要求用户使用强密码，并定期更换密码。同时，采用多因素身份认证方式提高账号的安全性。

账号审计：定期审查用户账号的使用情况，发现异常行为应及时处理，如锁定账号或进行进一步调查

防火墙与安全软件

防火墙配置：配置合适的防火墙规则，阻止未经授权的访问和恶意流量。

安全软件部署：安装防病毒软件、入侵检测系统（IDS）等安全软件，提高系统的防御能力。

定期更新：定期更新防火墙和安全软件的规则和库，以应对新的威胁和漏洞

日志管理

日志收集：启用系统的日志功能，收集并记录系统操作、用户活动、安全事件等关键信息。

日志分析：定期对日志进行分析，发现异常行为或潜在的安全威胁。

日志存储：确保日志的完整性和可用性，防止日志被篡改或删除。同时，根据法规和行业要求保留一定期限的日志以备审计和调查

3、虚拟化管理规定

资源分配

资源分配在虚拟化环境中至关重要。以下是资源分配的关键要素：

• 按需分配：根据虚拟机的实际需求合理分配资源，避免资源浪费和性能瓶颈。
• 弹性扩展：随着业务需求的变化，能够灵活地增加或减少虚拟机的资源。
• 优先级设置：根据业务的重要性设置资源分配的优先级，确保关键业务获得足够的资源。
• 资源监控：使用监控工具实时监测资源的使用情况，及时发现并处理资源不足或过载的情况

隔离策略

隔离策略是虚拟化环境中保障安全性和性能的重要手段。常见的隔离策略包括：

• 进程隔离：通过容器化部署实现进程级别的隔离，确保一个进程的问题不会影响其他进程。
• 网络隔离：设置虚拟网络，实现虚拟机之间和虚拟机与物理网络之间的隔离，增强网络的安全性。
• 存储隔离：为虚拟机分配独立的存储空间，避免数据泄露和相互干扰。
• 应用隔离：将不同的应用部署在不同的虚拟机上，实现应用级别的隔离

模版与镜像

模板与镜像是虚拟化技术中简化虚拟机部署和管理的重要手段。以下是关于模板与镜像的详细解释：

• 模板：
  • 模板是虚拟机的一种特殊形式，它包含了虚拟机的配置信息和预安装的软件。
  • 通过使用模板，可以快速创建具有相同配置和软件的虚拟机，提高部署效率。
• 镜像：
  • 镜像是虚拟机的完整副本，包含了虚拟机的所有数据和配置。
  • 镜像可以用于虚拟机的备份、迁移和部署。通过镜像，可以快速恢复或迁移虚拟机，确保业务的连续性。
• 模板与镜像的管理：
  • 建立模板和镜像的库，方便管理和使用。
  • 定期对模板和镜像进行更新和升级，确保它们与最新的操作系统和软件兼容。
  • 对模板和镜像进行安全审计和备份，防止数据泄露和丢失

三、操作系统

1、操作系统安装

• 备份数据：
  • 将重要文件、文档、图片、视频等数据复制到外部存储设备（如U盘、移动硬盘）或云存储服务中。
  • 确保备份完整，避免遗漏重要数据；检查备份文件的完整性与可读性。
• 准备安装介质：
  • 确定要安装的操作系统版本，获取有效的激活密钥或确认电脑是否有数字许可证，确保所选系统版本与电脑硬件兼容且许可证合法有效。
  • 制作系统安装盘或U盘启动盘。例如，下载官方镜像文件，使用刻录软件制作系统安装光盘；或下载安装工具（如大白菜、Rufus等），使用工具将系统镜像写入U盘创建启动盘。注意检查U盘容量足够，制作过程勿中断电源，确保制作成功的启动盘能在目标电脑上引导启动。
• 设置BIOS：
  • 重启电脑，进入BIOS设置界面（通常按F2、Delete键等进入），将启动选项设置为U盘或光驱优先。不同电脑进入BIOS的键可能不同，操作前查阅电脑用户手册；谨慎修改其他BIOS设置，以免影响系统启动。
• 安装系统：
  • 保存并退出BIOS后，电脑将从U盘或光盘启动，按照屏幕提示进入系统安装界面。若无法从U盘启动，检查U盘制作是否正确，或尝试更换USB接口。
  • 选择目标硬盘，创建或调整分区，格式化系统分区（通常是C盘）。注意格式化会删除分区数据，确保已备份重要信息。
  • 跟随安装向导进行语言、时区、密钥输入等设置，选择"自定义安装"（全新安装）或"升级安装"（保留个人文件）。
  • 等待安装完成，系统将自动复制文件、安装组件、配置系统，期间可能需要多次重启。安装过程中避免断电，保持网络连接以获取最新更新

2、操作系统调优

操作系统性能调优是一项至关重要的技术，它可以帮助实现高性能和高效的系统。操作系统性能调优的核心概念包括系统性能指标、系统资源分配、调度策略、内存管理、文件系统管理等。以下是一些常见的调优方法：

• 系统性能指标：用于衡量操作系统性能的标准，常见的性能指标包括系统吞吐量、响应时间、延迟、吞吐率等。这些指标可以帮助评估操作系统的性能，并根据需要进行调优。
• 系统资源分配：涉及CPU、内存、磁盘等资源的分配和管理。合理的资源分配可以提高系统性能，避免资源竞争和瓶颈。常见的策略包括先来先服务（FCFS）、最短作业优先（SJF）、优先级调度等。
• 调度策略：决定操作系统如何调度和分配资源。不同的调度策略可能会导致不同的性能效果，因此选择合适的调度策略非常重要。调度策略的选择可以根据系统的特点（如是否需要实时性要求、是否需要优先级调度等）和任务的特点（如任务的优先级、任务的执行时间等）来决定。
• 内存管理：涉及内存的分配、回收和管理。合理的内存管理可以提高系统性能，避免内存泄漏和碎片化。内存管理的策略包括内存分配、内存回收、内存碎片整理等。
• 文件系统管理：涉及文件的创建、读取、写入和删除等操作。合理的文件系统管理可以提高系统性能，避免文件系统的瓶颈。文件系统管理的策略可以根据不同的需求和情况来选择。

3、操作系统管理维护

操作系统的管理维护是确保其稳定运行和延长使用寿命的关键。以下是一些常见的管理维护任务：

• 更新补丁：定期更新操作系统的补丁，以修复已知的安全漏洞和错误。这可以通过操作系统的更新功能或第三方安全软件来完成。

• 备份数据：定期备份重要数据，以防止数据丢失。可以使用外部存储设备、云存储服务或专业的备份软件来进行备份。

• 磁盘清理：定期清理磁盘上的垃圾文件和临时文件，以释放磁盘空间并提高系统性能。可以使用操作系统的磁盘清理工具或第三方清理软件来完成。

• 磁盘碎片整理：对于机械硬盘，定期进行磁盘碎片整理可以提高文件读写速度。但需要注意的是，对于固态硬盘（SSD），磁盘碎片整理并不是必要的，因为SSD的读写速度已经非常快。

• 防病毒和防恶意软件：安装可靠的防病毒软件和防恶意软件工具，以保护系统免受病毒、间谍软件和其他恶意软件的攻击。

4、常见服务安装与管理

在Internet/Intranet网上常见的应用服务有域名服务DNS、电子邮件服务E-mail、文件传输服务（FTP）、WWW服务、电子公告板（BBS）系统、代理服务、动态地址分配服务等。以下是这些服务的安装与管理概述：

• DNS服务：
  • 安装：在服务器上安装DNS服务器软件（如BIND、Unbound等）。
  • 配置：配置DNS服务器的区域文件、正向解析和反向解析等。
  • 管理：监控DNS服务器的运行状态，处理解析请求和错误。
• E-mail服务：
  • 安装：在服务器上安装邮件服务器软件（如Postfix、Sendmail等）。
  • 配置：配置邮件服务器的SMTP、POP3/IMAP等协议，设置用户账户和邮件存储路径。
  • 管理：监控邮件服务器的运行状态，处理邮件发送和接收问题。
• WWW服务：
  • 安装：在服务器上安装Web服务器软件（如Apache、Nginx等）。
  • 配置：配置Web服务器的虚拟主机、SSL证书、访问控制等。
  • 管理：监控Web服务器的运行状态，处理网站访问和安全问题。
• FTP服务：
  • 安装：在服务器上安装FTP服务器软件（如vsftpd、ProFTPD等）。
  • 配置：配置FTP服务器的用户权限、上传下载速度限制等。
  • 管理：监控FTP服务器的运行状态，处理文件传输问题。
• 其他服务：
  • 根据实际需求，还可以安装和管理其他服务，如数据库服务（MySQL、PostgreSQL等）、代理服务（Squid、Nginx反向代理等）、动态地址分配服务（DHCP）等。

5、计划任务

计划任务是指按照预定的时间或事件触发条件来执行特定任务的功能。以下是一些常见的计划任务设置和管理方法：

• Windows计划任务：
  • 使用"任务计划程序"来创建和管理计划任务。
  • 可以设置任务的触发条件（如每天、每周、每月等）和执行时间。
  • 可以配置任务的执行程序、参数和权限等。
• Linux计划任务：
  • 使用"cron"服务来创建和管理计划任务。
  • 编辑crontab文件来添加任务，设置任务的触发条件和执行命令。
  • 可以使用crontab的"-e"选项来编辑当前用户的crontab文件。
• 其他计划任务工具：
  • 根据实际需求，还可以使用其他计划任务工具，如At命令（仅适用于某些Linux发行版）、Windows PowerShell的"schtasks"命令等。

四、运维能力洞察

1、Shell 脚本场景运维

2、Ansible 自动化

3、Python基础

五、数据库中间件

1、数据库技术概念

数据库技术是指通过使用各种软件工具和编程语言，设计、创建、维护和管理数据库的过程

2、数据库架构基础

3、关系型数据库与非关系型数据库主流场景

‌关系型数据库适用于需要复杂查询和事务处理的场景，如金融交易系统、企业资源规划等，而非关系型数据库则适用于处理大规模、高并发、低延迟的实时数据，如社交网络和实时分析。

关系型数据库 广泛应用于：

‌金融交易系统‌：确保交易数据的准确和一致。

‌企业管理系统‌：如人员管理、财务管理、销售管理等。

‌电子商务‌：存储和管理商品信息、用户信息、订单信息等。

‌大型网站‌：存储和查询用户数据、日志数据等‌

非关系型数据库 则适用于：

‌社交网络‌：快速存储和读取大量的用户行为数据。

‌实时分析‌：处理大规模的实时数据分析。

‌物联网‌：存储和处理设备产生的海量数据‌

六、存储

1、数据与磁盘基本概念

数据与磁盘的基本概念涉及多个关键组成部分，包括盘面、磁道、柱面、扇区和簇。

‌盘面‌ ：硬盘一般有一个或多个盘片，每个盘片可以有两面，即盘面。每个盘面对应一个用来读取信息的磁头，磁头依靠磁盘高速旋转的空气动力效应悬停在磁盘表面。
‌磁道‌ ：每个盘面被划分为多个同心圆环，这样的同心圆环叫做磁道，数据存储在磁道上。磁道从最外圈（0号磁道）依次向内圈增长。

‌柱面‌ ：每个盘面相同编号的磁道形成一个柱面。硬盘数据的读写是按照柱面进行的，因为选取柱面需要机械切换，速度较慢。
‌扇区‌ ：每个磁道被划分为多个扇区，扇区是硬盘存储数据的物理单位。扇区的编号从1开始，而不是0。
‌簇‌ ：将物理扇区相邻的几个扇区称为簇，操作系统读取磁盘的基本单位是扇区，而文件系统的基本单位是簇。簇的大小会影响存储性能和空间利用率‌13。

‌硬盘的工作原理和结构‌

硬盘的工作原理是利用磁头读写磁盘表面的磁性材料。当记录数据时，硬盘的磁头通电形成强磁场，数据在磁场的作用下转变成电流，使颗粒磁化，从而将信息记录在圆盘上。硬盘的物理结构包括盘片、磁头、电动机、主控芯片等部件。所有数据都存储在盘片上，盘片每分钟几千转的高速旋转，磁头可以定位在盘片的指定位置上进行数据的读写操作‌

2、主机存储与专属存储设别的差异与区别

定义与用途

• 主机存储
  • 主机存储通常指的是计算机主机（如服务器或个人电脑）内部用于存储数据和程序的存储设备。
  • 它包括硬盘驱动器（HDD）、固态硬盘（SSD）等，用于临时或长期存储操作系统、应用程序、用户数据等。
• 专属存储设备（DSS）
  • 专属存储设备（DSS）是一种为特定应用或服务优化的存储解决方案。
  • 它通过定制化硬件和软件配置，确保数据访问速度快，同时满足特定工作负载的需求。
  • DSS常用于大数据处理、高性能计算等场景，提供高性能、高可靠性和可扩展性的数据存储服务。

性能与特点

• 主机存储
  • 性能因存储设备类型而异，HDD通常较慢，而SSD则较快。
  • 主机存储的容量和速度受到计算机主机硬件和操作系统的限制。
  • 它通常用于满足一般的数据存储和访问需求。
• 专属存储设备（DSS）
  • DSS通常采用高速硬件和优化的软件设计，以实现快速的数据处理和访问。
  • 它具有高可靠性，通过冗余设计和故障转移机制确保数据的安全性和可用性。
  • DSS还具有可扩展性，可以根据业务需求动态扩展存储容量和性能。

应用场景与需求

• 主机存储
  • 适用于一般的数据存储和访问需求，如个人电脑的文件存储、服务器的数据库存储等。
  • 在对存储性能要求不高的场景中，主机存储是经济实惠的选择。
• 专属存储设备（DSS）
  • 适用于对存储性能有较高要求的场景，如大数据处理、高性能计算、人工智能和机器学习应用等。
  • DSS能够满足特定业务需求，提供高性能、高可靠性和可扩展性的数据存储服务。

四、成本与维护

• 主机存储
  • 成本相对较低，特别是对于个人电脑而言。
  • 维护相对简单，通常可以通过操作系统自带的工具进行管理。
• 专属存储设备（DSS）
  • 成本较高，因为需要定制化硬件和软件配置。
  • 维护相对复杂，需要专业的技术支持和运维管理。

3、存储网络架构

存储网络架构的类型

• 直接附加存储（DAS）
  • 定义：直接附加存储（Direct-Attached Storage，简称DAS）是指将存储设备通过SCSI接口或光纤通道直接连接到一台服务器上。
  • 特点：存储设备只能被与之直接连接的主机访问，不能实现数据与其他主机的共享。同时，DAS会占用服务器操作系统资源。
  • 应用场景：适用于服务器在地理位置上比较分散，很难通过远程进行互联的场景。
• 网络附加存储（NAS）
  • 定义：网络附加存储（Network-Attached Storage，简称NAS）是指通过网络交换机连接存储系统和服务器，建立专门用于数据存储的私有网络。
  • 特点：用户通过TCP/IP协议访问数据，采用业界标准的文件共享协议（如NFS、HTTP、CIFS）来实现基于文件级的数据共享。NAS存储使文件共享访问变得更方便和快捷，并且能很容易地增加存储容量。
  • 优缺点：NAS会受到网络带宽和网络拥堵的影响，在一定程度上限制了其网络传输能力。但NAS为需要共享大量文件数据的场景提供了高效、高可靠、高性价比的解决方案。
• 存储区域网络（SAN）
  • 定义：存储区域网络（Storage Area Network，简称SAN）是一种独立于计算机网络的专用网络架构，专门用于连接服务器和存储设备。
  • 特点：采用高速的传输协议和硬件设备（如光纤通道、以太网等），提供了高效、可靠的数据存储和访问能力。SAN的主要目标是实现数据存储的集中管理和共享，通过将存储设备与计算机分离并连接到专用网络中，提供高性能、低延迟和可靠的数据传输。
  • 优势：SAN架构支持灵活的存储资源管理和扩展，可以根据需求动态添加存储设备和扩展存储容量。此外，SAN架构允许管理员对存储资源进行灵活配置和管理，支持多种存储协议和连接方式。通过存储虚拟化技术，SAN还可以将物理存储资源划分为多个逻辑存储单元，实现资源的有效共享和管理。
  • 应用场景：在现代数据中心中发挥着重要作用，适用于需要高性能、高可靠性和可扩展性存储解决方案的场景。

存储网络架构的组成部分

• 存储设备：如硬盘、磁盘阵列、磁带库等，用于存储数据。
• 连接设备：如光纤交换机、光纤路由器、光纤集线器等，用于将存储设备与服务器连接起来。
• 接口：如SCSI、FC（光纤通道）等，用于实现存储设备与服务器之间的数据传输。
• 通信协议：如IP、SCSI等，用于规定数据传输的格式和规则。
• 服务器：作为存储网络架构中的客户端设备，用于访问存储设备中的数据。

存储网络架构的发展趋势

• 高性能：随着数据量的不断增长，对存储性能的要求也越来越高。因此，未来的存储网络架构将更加注重提高数据传输速度和降低延迟。
• 高可靠性：数据存储的安全性和可靠性是至关重要的。未来的存储网络架构将采用更加先进的冗余设计和故障转移机制，以确保数据的安全性和可用性。
• 可扩展性：随着业务需求的不断增长，存储网络架构需要能够灵活地扩展存储容量和性能。因此，未来的存储网络架构将更加注重可扩展性和灵活性。
• 智能化：未来的存储网络架构将更加注重智能化管理，通过引入人工智能和机器学习技术，实现存储资源的自动配置和优化管理。

4、NAS与SAN存储概念与区别

• 架构差异：
  • NAS通常使用标准的以太网接口接入网络，其内部具有完整的文件系统管理和用户权限控制功能。NAS设备在网络中表现为一个文件服务器，提供文件级别的存储服务。
  • SAN则采用专用的存储网络和高速连接技术（如光纤通道、以太网等），将存储资源与计算资源隔离开来。它提供了高度灵活且高性能的数据传输环境，支持集中化存储管理，并允许动态分配和重新配置存储资源。
• 数据访问方式：
  • NAS以文件为单位管理数据，用户通过文件路径来访问和共享数据。这种文件级访问使得用户可以轻松地浏览和管理存储在NAS设备上的文件。
  • SAN则以块为单位管理数据，每个块都有唯一的地址。当服务器需要读取或写入数据时，它会向存储设备发送请求，存储设备根据块地址将数据传输到服务器。这种块级访问方式使得SAN能够提供低延迟和高带宽的数据传输。
• 应用场景：
  • NAS适用于文件共享、备份、恢复、多媒体内容存储和工作组协作环境。它提供了跨平台文件共享功能，并简化了多用户环境下文件共享和协同工作流程。
  • SAN则广泛应用于企业和数据中心环境中，特别适用于对存储性能、可靠性和扩展性要求较高的应用场景，如数据库系统、虚拟化环境、大规模数据处理和云计算等。
• 性能与扩展性：
  • NAS的性能受到网络带宽和网络拥堵的影响，但在文件服务方面表现出色。随着NAS技术的发展，高端NAS也具备相当不错的性能。NAS的扩展性受到设备大小的限制，但可以通过添加更多的NAS设备来实现存储容量的扩展（尽管无缝合并存储空间可能较为困难）。
  • SAN则专为高性能设计，支持极高的IOPS（每秒输入输出次数）和带宽。它可以轻松扩展存储容量和并发访问数，无需对现有基础架构进行大规模修改。SAN还提供了冗余和容错机制，如多路径连接、数据复制和热备插拔等，以确保数据的可靠性和高可用性。
• 管理与维护：
  • NAS设备通常提供友好的图形用户界面（GUI），使得设置和管理过程变得简单易用。即使对于非专业人士，也可以轻松完成NAS设备的配置和维护。
  • SAN则需要专门的技术知识和工具来进行管理和维护。它提供了集中管理的能力，管理员可以通过单一的管理界面来配置、监控和管理存储资源。但相对于NAS而言，SAN的部署和管理可能更为复杂。

5、存储协议

存储协议的基本概念

存储协议通常由计算机和存储设备的厂商或组织制定，并广泛应用于各种存储架构中。这些协议允许计算机通过标准接口与存储设备进行通信，以读取和写入数据。存储协议的主要功能包括数据的传输、错误检测和纠正、数据访问权限控制、数据保护和数据安全等。

常见的存储协议类型

• SCSI（Small Computer System Interface）

  • 定义：SCSI是一种广泛用于连接计算机和外部设备的接口标准，它通过并行接口传输数据，并支持多种传输速率。
  • 特点：定义了命令和数据传输机制，可实现访问和管理各种存储设备，如硬盘、磁带、光盘等。在高性能、实时性和可靠性方面有很大优势，但传输距离有限。

• iSCSI（Internet Small Computer System Interface）

  • 定义：通过IP网络协议传输SCSI命令和数据块的一种协议。
  • 特点：继承了IP网络的优点，可实现开放、高性能、高可靠性、高可扩展的存储资源平台。

• Fibre Channel（光纤通道）

  • 定义：专门用于互连服务器与存储设备的协议。
  • 特点：分为五层，每层都有明确的功能定义。支持高速数据传输，具有很高的带宽和数据吞吐量，满足高性能存储需求。设计注重数据的可靠性和稳定性，能在高负载环境下稳定运行。

• NFS（Network File System）

  • 定义：在类UNIX操作系统（如Linux、UNIX、AIX、HP-UX、Mac OS X等）中提供网络文件系统存储服务。
  • 特点：支持跨平台文件共享，使用户能够通过网络访问远程存储设备上的文件。

• SATA（Serial Advanced Technology Attachment）

  • 定义：一种串行通信协议，用于连接主机和存储设备。
  • 特点：采用串行传输方式，减少连接电缆数量，提高数据传输可靠性。支持高速数据传输，比传统并行ATA更快。具有热插拔功能，支持在不关闭系统的情况下更换存储设备。

• SAS（Serial Attached SCSI）

  • 定义：一种新型的磁盘连接技术，具有应用范围广、多任务、带宽大、CPU占用率低以及热插拔等优点。
  • 特点：采用串行通信协议，具有更高的传输速率和更好的扩展性。支持点对点架构，提供端点间固定的带宽，避免共享总线带来的瓶颈效应。兼容SATA设备，降低成本和复杂性。

• NVMe（Non-Volatile Memory Express）

  • 定义：一种基于PCIe（Peripheral Component Interconnect Express）总线的存储协议，用于连接和访问非易失性存储器，如固态硬盘（SSD）。
  • 特点：利用PCIe总线的低延迟和高带宽特性，实现高速数据传输。减少存储协议的层级和复杂性，降低延迟。具有广泛的生态系统支持和易于配置的特点。

• FC-NVMe（Fibre Channel-Non-Volatile Memory Express）

  • 定义：一种将NVMe协议映射到光纤通道（Fibre Channel）的存储协议。
  • 特点：实现高性能的数据传输，并优化中断架构，可扩展IOPS（Input/Output Operations Per Second）。与传统的SCSI和光纤通道设备兼容，实现无缝集成。支持多个设备同时连接，提高存储系统的可扩展性。

6、存储高级特性（快照、克隆、ROW、COW等）

快照

快照是存储系统的一种高级功能，用于捕获并保存数据在某一时间点的状态。当创建快照时，存储系统会记录当前数据的所有信息，包括文件、数据库或其他数据结构的当前状态。快照可用于数据备份、恢复、灾难恢复和测试等多种场景。

• 工作原理：
  • 当创建快照时，存储系统会生成一个数据副本或元数据指针，以记录当前数据的状态。
  • 对于写时复制（COW）技术的快照，当数据发生变化时，会先复制原始数据到快照空间，然后再进行写操作。
  • 对于写时重定向（ROW）技术的快照，新数据会被重定向到新的存储空间，而原始数据保持不变，直到快照被删除或覆盖。
• 应用场景：
  • 数据备份：定期创建快照可以作为数据备份的一种方式，以便在需要时恢复数据。
  • 灾难恢复：在发生灾难性事件时，可以使用快照来恢复数据到灾难发生前的状态。
  • 测试和开发：可以使用快照来创建数据的测试环境，以便在不影响生产环境的情况下进行测试和开发。

克隆

克隆是创建数据副本的过程，它允许用户在不中断原始数据访问的情况下，生成一个与原始数据完全相同的副本。克隆通常用于数据迁移、备份和恢复等场景。

• 工作原理：
  • 克隆过程会复制原始数据的所有信息，包括文件、数据库或其他数据结构的当前状态。
  • 克隆可以是全量克隆或增量克隆。全量克隆会复制整个数据集，而增量克隆则只复制自上次克隆以来发生变化的数据。
• 应用场景：
  • 数据迁移：可以使用克隆将数据从一个存储系统迁移到另一个存储系统，而无需中断对原始数据的访问。
  • 备份和恢复：克隆可以用于创建数据的备份副本，以便在需要时恢复数据。
  • 测试和开发：可以使用克隆来创建数据的测试环境，以便在不影响生产环境的情况下进行测试和开发。

ROW（写时重定向）

ROW是一种存储技术，它在创建快照时不会直接修改原始数据，而是将新数据重定向到新的存储空间。这种方法可以避免在快照创建过程中对数据的干扰，提高存储系统的性能和可靠性。

• 工作原理：
  • 当创建快照时，ROW技术会将新数据重定向到新的存储空间。
  • 原始数据保持不变，直到快照被删除或覆盖。
  • 当需要访问原始数据时，存储系统会重定向到快照空间中的原始数据副本。
• 优点：
  • 避免了对原始数据的直接修改，提高了数据的可靠性和安全性。
  • 减少了快照创建过程中对数据的干扰，提高了存储系统的性能。

COW（写时复制）

COW是一种存储技术，它在数据发生变化时才会复制原始数据。这种方法可以减少不必要的数据复制，提高存储系统的效率和性能。

工作原理：

当数据第一次被写入时，COW技术会复制原始数据到新的存储空间。

随后的写操作会直接在新存储空间中进行，而不会再次复制原始数据。

当需要访问原始数据时，存储系统会重定向到快照空间中的原始数据副本。

优点：

减少了不必要的数据复制，提高了存储系统的效率和性能。

适用于需要频繁读取但很少写入的数据场景。

七、容器及云原生

1、云原生的基本理念

云原生的核心在于几个关键原则：模块化、自动化、可观测性和可持续性。这些原则指导着云原生应用程序的设计和实现，确保它们能够在云环境中高效、可靠地运行。

模块化 ：应用程序被分解成独立的模块或服务，每个模块都可以独立部署、扩展和更新。
自动化 ：通过自动化工具和流程来减少人工干预，提高开发和运维的效率。
可观测性 ：系统需要提供足够的日志、监控和追踪信息，以便开发人员和运维人员能够快速定位和解决问题。
可持续性：应用程序应该设计成可以持续交付和部署的模式，以支持快速迭代和发布

2、云原生架构特性

云原生架构的核心特性包括容器化封装 、微服务架构 和DevOps实践 。
第一个特性是‌容器化封装‌。通过容器技术，应用程序被封装成独立的运行环境，提高了资源隔离和重用性。这种封装方式简化了应用的部署和维护，同时也使得开发、测试和生产环境更加一致，减少了环境差异带来的问题‌12。

第二个特性是‌微服务架构‌。微服务将大型复杂软件应用拆分成多个小服务，每个服务关注单一业务功能，独立部署和扩展。这种架构降低了系统复杂性，提高了系统的可维护性和可扩展性。微服务之间的松耦合也使得系统更加健壮，能够更好地应对故障‌12。

第三个特性是‌DevOps实践‌。DevOps强调开发（Dev）和运维（Ops）的紧密合作，通过自动化工具和持续集成/持续部署（CI/CD）流程，加快了软件交付速度，减少了手动操作带来的错误。DevOps实践确保了软件的质量和稳定性，提高了开发效率‌

3、容器基本概念

‌容器是一种轻量级的虚拟化技术，它将应用程序及其所有依赖打包在一个独立的、可携带的运行环境中。‌ 容器内包含能顺利执行应用程序的必要元素，如代码、环境变量、进程和执行时环境以及软件依赖性等。它类似于运输业使用的货柜，能够隔离应用程序及其依赖，以便在不同环境中运行‌

4、容器编排技术的原理、特性与操作

原理

• 容器编排技术主要涉及对多个容器的部署、管理和监控。容器编排技术的关键在于集群化管理、资源调度和自动化部署。通过将物理或虚拟服务器组合成集群，分配唯一的名称作为容器部署环境，然后从Docker Hub或其他镜像仓库下载容器镜像，创建并部署容器，最后根据负载自动调整容器数量，实现负载均衡‌。

特性

• ‌声明式配置‌：用户通过编写配置文件定义应用程序所需状态，容器编排工具负责使实际状态匹配所需状态。
• 自动化调度‌：根据资源需求和集群状态，自动选择最合适的节点运行容器。
• 监控和恢复‌：持续监控容器和节点健康状况，自动重启或重新调度故障容器。
• 弹性伸缩‌：根据负载情况动态增加或减少容器数量，应对流量变化。‌
• ‌服务发现和负载均衡‌：自动分配网络地址，确保流量均匀分布‌

操作

• 创建集群‌：将物理或虚拟服务器组合成集群，形成资源池。‌
• 创建环境‌：为集群分配唯一名称，作为容器部署环境。
• ‌拉取镜像‌：从镜像仓库下载所需容器镜像。
• ‌创建容器‌：运行镜像，创建新的容器实例。
• 部署容器‌：将容器部署到指定环境。
• ‌伸缩容器‌：根据负载自动调整容器数量。
• 容器调度‌：根据策略调度容器实例，实现高可用。
• 收集告警‌：收集运行状态、日志等信息，及时发现和处理问题‌

5、DevOps的基础框架

在DevOps实践中，三大核心基础架构是不可或缺的部分，它们共同支撑起整个DevOps的生态体系，这些基础架构包括SCM配置管理系统、Automation自动化系统、CI/CD持续集成和持续交付
SCM配置管理系统：

• 是DevOps最底层的基础设施，无论是Configuration As Code还是Infrastructure AsCode，都强调用管理代码的方式来管理环境。
• 将环境版本化对于无论是快速创建还是可稳定地重复创建DevOps的基本要求来说，都是最重要的基础。
• 可供选择的配置管理系统有GIT、SVN、Mercurial、GitHub、Bitbucket等。

Automation自动化系统：

• 自动化是DevOps的重要组成部分，涵盖了从构建、测试到部署的整个过程。
• 自动化的实现依赖于各种Build系统，如Jenkins、Team City、Travis CI等，以及其他工具如JUnit、Xunit、FitNesse、Selenium、NuGet、NPM、JMeter等，这些工具在自动化系统中实现某一部分的功能，通常由Build系统来驱动，并依赖于SCM中提供的各种代码来实现

CI/CD持续集成和持续交付：

• CI/CD工具能够自动化构建、测试和部署过程，确保软件快速、可靠地交付到生产环境

6、DevOps的开发运维流程

‌DevOps的开发运维流程主要包括以下几个阶段：计划、编码、构建、测试、审查、部署、监控和反馈 。

在‌计划阶段‌ ，团队制定软件开发的计划和目标，确定项目的需求和优先级，安排开发资源和时间表。

在‌编码阶段‌ ，开发人员根据需求开始编写代码，使用版本控制系统（如Git）进行代码管理，保持代码库的整洁和可维护性。‌
构建阶段‌ 涉及将编写的代码进行编译、构建和打包，生成可执行的软件应用程序。‌
测试阶段‌ 包括自动化测试，确保每次代码提交都经过全面的测试验证。‌
审查阶段‌ 确保代码质量和团队合作，团队成员相互审查彼此的代码，提供反馈和改进建议。‌
部署阶段‌ 通过自动化部署工具将经过测试和审查的代码部署到生产环境中。‌
监控阶段‌ 实时收集和分析数据，发现问题并及时进行响应和修复。
反馈阶段‌收集用户反馈和系统性能数据，不断优化和改进软件产品‌