S3: 不用于 数据库 功能
分类:
S3 Standard :以便频繁访问
S3 Standard-IA 或 S3 One Zone-IA : 不经常访问的数据
Glacier: 最低的成本归档数据
S3 Intelligent-Tiering智能分层 :存储具有不断变化或未知访问模式的数据
S3 存储 也可用于静态网站托管 bucket名::amazonaws.com
S3 存储L ens : S3存储分析,查看不再被访问或很少被访问的 S3 bucket
可以直接配置静态网站,需要打开S3 bucket的公共访问权限
s3对象锁
合规模式 :任何用户都不能覆盖或删除受保护的对象版本,包括 AWS 账户 中的根用户,其保留期限也不能缩短。合规性模式可帮助确保在保留期限内无法覆盖或删除对象版本
保留 / 监管模式 :除非用户具有特殊权限,否则用户不能覆盖或删除对象版本,或更改其锁定设置。使用监管模式,您可以保护对象以免被大多数用户删除,但您仍可向部分用户授予在必要时更改保留设置或删除对象的权限。
策略上使用"aws:SecureTransport"条件可以确保S3 bucket的所有连接在传输过程中都经过加密.
用途:存储数据 SSE-S3自动加密(但不能单独自动轮换)
S3 的服务端加密有三种方式:
SSE-S3 - S3 自管理的密钥,使用 AES-256 加密算法。每个对象的密钥不同,并且它还被定期更换的主密钥同时加密。
SSE-KMS - 密钥存放在 KMS(软硬件结合的密钥管理系统)。
SSE-C - 在请求时自己提供密钥,S3 只管加解密逻辑和存储。S3 不保存密钥,只保存随机加盐的 HMAC 值来验证今后请求的合法性。
**EFS:**也有生命周期 POSIX为Linux提供文件共享,本身不支持Windows 本身提供跨区域复制
Auto Scaling:自动伸缩 有自己的生命周期钩子 可以自定义一些操作在指定的生命周期状态下运行 (启动、中止时接收通知)
IAM Policy : 指定策略语句在什么条件 condition 下生效 新用户最小权限 更适用于用户和组
IAM ROLE 适用场景:为第三方 身份提供商提供访问权限(避免共享访问密钥);暂时获得对特定任务的权限;允许不同账户 中的某个人访问资源(跨账号访问);某些AWS服务使用其他AWS服务时;更适用于AWS服务
Lambda : 结合lambda脚本将S3中的数据进行一些处理再给别的应用程序用 权限是用IAM ROLE 角色 可以配置并发性 减少所有用户的响应延迟 900秒 10GB 计算密集型机器学习
CloudFront : 即CDN,可用于托管视频资源 如果在CDN中没有资源,再去S3中请求 可以通过添加地理位置限制访问 可以强制使用 HTTPS
Cloud Trail: 监听S3事件活动 记录AWS账户中所有资源的所有更改(用户活动 API调用 审计)
RDS: 数据库服务器 数据库引擎为mysql postgres etc. 数据库有主副 还有multi az用来故障转移,副不可读不可写 作为托管服务(无法访问它的EC2实例),多个az之间传输流量是不要钱的
与多AZ数据库实例部署相比,多AZ DB集群通常具有更低的写入延迟.它们还允许只读工作负载在读取器数据库实例上运行
只读+近实时 =可读备用. 读取副本是异步的,而可读备用是同步的
访问连接到RDS PROXY上再访问rds 让rds上的连接数更少 更有效率
oracle 和 sql server是RDS服务中可以管理ec2底层实例的特殊定制custom
Aurora : 完全托管的数据库引擎 相当于多az的rds 每个az 2个副本 稍贵但是性能更好 每个区域1个master节点➕最多15个只读节点Aurora Replicas
自动故障转移 Aurora主数据库出现故障的时候,Aurora Replicas可以自动变成主数据库 ,而MySQL Replica不可以
Aurora 全局数据库: 允许单个数据库集群跨越多个 AWS 区域,在不影响性能的情况下复制数据,每个区域实现低延迟(小于1秒),提供灾难恢复
Aurora自动备份不可禁止 RDS可以禁止 两者加密需要在创建的时候 否则只能通过快照恢复的时候加密
DynamoDB: 完全托管的nosql数据库服务 全托管db服务 可以查看scheme
DAX高速对象缓存 提供低延迟
item最大400kb 按需读写模式适用于流量突增情况,收费比供应读写模式贵很多
连续备份 不影响可用性 也不影响读取RCU
全局表提供一致性 跨区域双向复制
数据过期时间 TTL(web会话自动过期,过期数据自动删除 减少存储量)
时间点恢复 PITR : 数据恢复到窗口中的任何时间点
DynamoDB Streams 用于捕获 DynamoDB 表中的数据增删改事件 创建触发器自动通知
ElastiCache : 类似 Redis 用于缓存的话需要一些代码修改 将常用数据存储在内存中,实现微秒级 响应时间和高吞吐量 使用场景:相同数据库调用 存储客户会话信息
BeanStalk: 快速部署和管理应用程序,而不必了解运行这些应用程序的基础设施 您只需上传应用程序,Elastic Beanstalk 将自动处理有关容量预配置、负载均衡等 支持java和Apache tomcat平台
CloudFormation : 使用模板和堆栈批量创建或复制Amazon 资源 (自动伸缩组、负载均衡、数据库等基础设施)
LackFormation: 构建、保护、管理数据湖;将不同的数据集中存储 ,统一管理数据的权限
Transit Gateway: 中转网关 将 Amazon VPC、AWS 账户和本地网络连接到一个网关中 VPC 连接到其他 VPC 和其他账户或本地网络
EMR 集群:题库翻译为电子病历集群 实际为大数据框架Hadoop 托管集群,用来处理和分析海量数据
Kinesis Data Streams只保留7天数据 保持了记录的顺序
Inspector 漏洞修复 patch
GuardDuty 威胁检测
防火墙: 创建有状态的出站规则允许下载第三方 URL 软件 拒绝其他所有流量
一个 VPC 可以跨越多个可用区,子网必须驻留在单个可用区内
ALB不支持静态IP地址,而NLB支持静态IP地址。要将静态IP分配给ALB,有两种解决方案。1. 在 ALB 前面使用NLB和lambda 2.使用全球加速器
AWS Config: 有特定规则来检查过期证书
AWS Step Functions 是一项无服务器协调服务,可让您与AWS Lambda功能和其他功能集成AWS 服务以构建业务关键型应用程序 。通过 Step Functions 的图形控制台,您可以将应用程序的工作流程视为一系列事件驱动的步骤。
Step Functions 基于状态机和任务 。在 Step Functions 中,工作流程称为状态机,它是一系列事件驱动的步骤。工作流程中的每个步骤都称为状态**。**可用于Lambda编排,按特定顺序运行一组lambda;或者并行运行多个lambda
Compute 节省计划 (适用EC2可以调整实例系列类型 、 Lambda Fargate); EC2 实例节省计划 (只适用EC2 调整实例大小)
您可以配置CloudWatch Logs 可以近实时传输日志到Amazon OpenSearch服务
账单控制台:管理账户;整合成员账单;
成本管理控制台:预测成本,提供优化成本的建议
budget: 固定金额的月度成本预算 可变金额的月度成本计算(每个月固定增加多少);
cost explorer成本资源管理器:查看和分析成本和使用情况的趋势 提供API 可编程用于预测成本
ECS: 弹性容器服务 可以将多个docker自行运行在EC2上,或者直接由Fagate管理(不用创建EC2实例)
Fargate: 运行容器时不用运行在EC2实例上,成本较低 选择操作系统 性能后直接配置应用程序到容器中
卷类型:
SSD: 固态硬盘(io2 io1 gp3 gp2) HDD: 普通硬盘(st1 sc1)
吞吐量经过优化的HDD(st1) 卷提供了低成本的磁存储,该磁存储根据吞吐量 而不是IOPS定义了性能。此卷类型非常适合大型连续工作负载,例如Amazon EMR,ETL,数据仓库和日志处理
冷HDD(sc1) 卷提供了低成本的磁存储,该磁存储通过吞吐量 而不是IOPS来定义性能。sc1具有比st1低的吞吐量限制,非常适合大型连续的冷数据工作负载
EBS 卷 :
SSD 类型
高性能 io2(500IOPS 1000MB/s 吞吐量 低于 10ms 延迟 )
io2 block express( 亚毫秒延迟 4000MB/s吞吐量 1000IOPS )
io1(50IOPS 10ms延迟 1000MB/s吞吐量)
通用形 ( 低成本 高性能 )
gp3(1000 IOPS 1000MB/s 吞吐量 16TB)
gp2(1000 IOPS 250mb/s 吞吐量 1TB)
NLB 一般用于TCP 协议 题目中会有UDP关键字
ALB 一般用于HTTP/ H TPPS协议,但是功能性和性能不如NLB
网 关****LB (在第3层转发IP 数 据 包 )
Secrets Manager:管理秘密/凭据secret,可以配置自动轮换计划(是在凭据提供者上轮换 secret manager中自己不能直接轮换)
Key Management Service(KMS): 加密数据库 EBC卷
Secrets Manager是管理/储存secret的地方;KMS是管理加密(key)的地方。而Secrets Manager新增secrets时需要将secret加密(encrypt),后续要使用secret时需要解密(decrypt),而加解密secrets使用的key则是由KMS来管理。所以Secrets Manager与KMS经常搭配使用。AWS KMS删除强制执行等待期7-30天
ACM证书:加密传输中的数据
Direct Connect 通过专用网络连接(专线)在本地数据中心和AWS云之间传输数据 ,安全 可靠 但建立需要约几个月 用不完可找合作伙伴
数据同步服务DataSync:Aws之间同步不需要agent,从本地或其他云同步需要agent。需要制定计划同步,不能连续即时同步。在同步的时候可以保留文件元数据。
存储网关: 本地数据复制在云端 用于灾难恢复 备份 低延迟访问等等
在存储卷网关 模式下,您的主要数据存储在本地,且您的整个数据集便于在本地进行低延迟访问 ,并会异步备份到 Amazon S3 中。使用iSCSI
在存储卷网关缓存模式下,您的主要数据会存储在 Amazon S3 中,同时您可以将其中需要经常访问的那部分数据保留在本地缓存中,以实现低延迟访问
存储文件网关 : 支持 NFS 可以通过标准的文件协议将文件作为对象直接存储在Amazon S3, 最近使用的文件可以缓存到文件网关中,用于低延迟访问。不支持冰川存储。 混合云
卷volume文件网关:备份本地卷
磁带网关:备份磁带
fsx文件网关:缓存文件用于低延迟访问 高性能lustre
FSx for windows 主要用于Windows系统,提供了Server Message Block(SMB)的协议。该系统在Windows Server上实现,并实现了 Microsoft Active Directory(AD)的集成,文件数据恢复和数据重删的功能 文件共享驱动也能挂载到Linux实例上
FS x for Lustre 可以提供亚毫秒 的延迟 , 上百万的IOPS,上百G的带宽 分布式文件系统用于机器学习,高性能计算 和大规模的数据处理
Amazon FSx for NetApp ONTAP 提供NFS,SMB,iSCSC存储协议 网络托管 可以在指定时间做即时复制。
Amazon FSx for OpenZFS 实现了即时到快照和克隆的功能,对开发测试环境比较合适 实际是单机文件服务器
文件网关可以用ec2 也可以申请硬件
FSx和EFS 最大的区别是:EFS是多租户共享的文件系统,FSx是一个统一的分布式文件系统基础设施。
网关端点: 仅支持dynamodb 和 S3服务,是一个网关,用来发送受支持的AWS服务的流量,他是VPC级别的,也就是说需要为每个VPC创建一个网关终端节点。
接口端点: 支持大部分其他aws服务,有子网内的一个私有IP地址,作为流量入口点用作连接 VPC 和 AWS 服务 额外收费
NAT 实例: 使用脚本管理实例之间的故障转移, 需要管理实例软件和OS 安全组直接关联 用作堡垒机 比NAT网关多支持 TCP ICMP 协议
NAT 网关 支持多AZ的高可用性,并自动故障转移,以确保服务的可用性 配置在公用子网中 让私有子网中的实例可以连接外部服务 但外部服务无法启动与这些实例的连接.
比NAT实例提供了更好的可用性和带宽,减少了管理工作 安全组不能直接关联 需要关联网关后的资源
雪球 / 冰川( Amazon S3 Glacier **)**是亚马逊提供的一种低成本的长期数据存储服务。它适用于需要长期保存但几乎不会被访问的数据。例如,企业可以使用学球来存储备份数据、合规性数据、存档数据等。雪球的存储成本相对较低,但需要一定的时间来恢复存储的数据。雪球是传输时候用,冰川是存储时候用
雪锥 / 红移( Amazon Redshift)是亚马逊提供的一种高性能的数据仓库服务。它专注于处理大规模数据的分析和查询。企业可以使用雪锥来处理海量的结构化和半结构化数据,进行复杂的数据分析、报告和可视化。雪锥具有可扩展性、高速查询和灵活的数据模型,适用于各种行业和应用场景。雪锥是传输时候用,红移是存储时候用
雪地车( AWS Snowmobile **)**是一项用于大规模数据迁移的物理设备服务。它是一个巨大的移动存储设备,可提供容量高达100PB(1PB = 1000TB)的存储空间。企业可以使用雪地车来迁移大量数据,如数据中心迁移、数据归档和备份。雪地车通过物理方式将数据传输到云端,比通过网络传输更快、更安全、更实用。
雪球 适用于长期保存 但很少访问的数据**(80TB)** ,雪锥 适用于大规模数据分析 和查询**(8~14TB)** ,而雪地车 则为大规模数据迁移 提供了高效、安全的解决方案**(** 100PB ) 。
|---------------------------|------------------------------------------------------------|
| Lambda 函数 URL | API gateway |
| 单一函数微服务 | 创建、发布API |
| 用于webhook | 支持AWF |
| 都可以https | 都可以https 比左侧操作更少 |
| | 金丝雀canary发布:原版本可用的同时部署一个新版本 分布一些流量到新版本 应用同时可用 如果新版本没有问题就切换 |
长轮询long polling可以一直等待sqs中的消息,一旦有消息的话就会发送出去,可以低延迟,降低sqs api的使用次数
sqs使用场景:加载超时 激增 确保可以快速扩展 使用sqs可以保证写入sqs中的消息不会丢失
sns:很多订阅者订阅主题,生产者只要发送消息到主题,消费者通过订阅主题获取消息
kinesis:收集,处理,分析,实时数据流,比如log 视频
kinesis data firehose:数据消防管 往s3 redshift elasticsearch 或者第三方合作伙伴 或者自定义api写数据 近乎实时服务 全托管服务 serverless
NLB更适合高吞吐或者高性能的情况或者和aws私有链接一起使用。
ECR:弹性容器注册 用来管理和存储容器镜像
EKS:每个节点中会运行一个pods 豆荚
lambda 使用限制:
ram:128mb~10gb
最大执行时间900秒**(15** 分钟 )
环境变量4kb
占用容量:512mb~10gb
部署zip 50mb
非zip 520mb
只能连接公有云使用
如果要连接私有数据库之类的 lambda需要部署在vpc私有子网 如果lambda有很多的连接到数据库的话需要使用
CloudFront function 和lambda@edge 用于边缘计算
neptune:图数据库
Athena分析s3中数据的serverless服务+Quicksight 数据展示:柱数据用来节省成本 可以压缩数据 可以使用区分类快速查询 支持sql查 json查
redshift:红移 数据仓库 在线数据分析和存储柱数据存储 PB级数量
datalake: 细粒度
opensearch:可以搜索任何field 有分析功能 数据源还是dynamodb
Comprehend:是一项自然语言处理 (NLP) 服务,使用机器学习来发现文本中的洞察信息
recognition:机器学习 直接用来识别文字 人脸之类的
transcribe:转录 功能 语音转文字 可以删除个人敏感信息 PII多语言语种
Polly:文字转语音 支持特定的语言风格
translate:翻译功能
lex:自动语音识别 聊天机器人
sagemaker : 通过完全托管的基础设施、工具和工作流程为任何用例构建、训练和部署机器学习 (ML) 模型。
Cognito: 用户池: 为应用提供身份验证和授权 身份池: 将用户联合到AWS并提供AWS 凭证 如果不需要AWS资源 则只需要用户池即可
亚马逊连接 connect:虚拟联络中心
堡垒机 bastion host 放在公共子网中,用来访问私有子网。
AWS Firewall : 防火墙 精细化 控制流量进出(检查/过滤流量) 指定仅访问第三方软件URL
Event Bridge: 可以通知多个目标 支持sagemaker 并且可以正则匹配
Amplify:
BATCH: 批处理,底层运行在容器上,自动可扩展 使用E ventBridge 来检查作业进度、构建AWS Batch自定义工作流程、生成使用情况报告或指标,或者构建自己的仪表板
TLS : 传输中加密数据
AppFlow: 用于加密安全传输数据 (在其他SaaS 应用 和AWS 服务之间) serverless 支持使用SSL/TLS传输加密
专用主机 :物理服务器 用于公司有某商用软件许可要求 或者非常严格的安全要求
SCP: 服务控制策略 为所有账户**(** 组织 ) 提供权限集中控制 可以限制 root 用户
**OU:**组织单元 将账户分组为单元进行管理 SCP附加到OU 则OU中的所有账户自动继承权限控制
System Manage Inventory: 为EC2收集软件清单
Workload Discovery 是一种可对 AWS Cloud 工作负载 进行可视化的工具。
Backup: 备份, 创建备份计划,自动开启备份,跨区域备份 备份EC2时自动备份了EBS
Transfer Family: 使用第三方身份提供商提供的验证
AWS Transfer for SFTP 是一种完全管理.高度可用的SFTP服务.创建一个服务器,设置用户帐户,并将服务器与一个或多个Amazon S3存储桶相关联.
按需型实例(不可预测 突增 )的定价相比,Amazon EC2 预留实例(稳定增加)可提供大幅折扣
游戏公司 排名 : NLB 全球加速器
WAF: 可以部署在Amazon CloudFront、应用程序负载平衡器(ALB)和Amazon API网关 和防火墙一起使用
证书必须和API在同一个Region
Amazon Macie 是一项数据安全和数据隐私服务,它利用机器学习(ML)和模式匹配来发现和保护敏感数据。
Athena 是一种交互式查询服务,让您能够轻松使用标准 SQL JSON 查询直接分析 Amazon S3 中的数据
Glue : 可以跨不同的数据源发现整理数据;转换数据用于分析;使用数据目录来存储元数据 关键字:作业书签 ETL
SNS+SQS组合:SQS将消息排队不遗漏消息,SNS将它们推送到它们需要去的任何地方。可以防止瓶颈和单点故障
S3CRR 跨区域复制 SRR 同区域复制 复制的时候,如果删除资源,资源会有一个删除版本号码,会被复制;如果是把删除版本号删除的话,就不会复制
route53的路由政策有好几种 weighted加权 geo分发给不同地理位置 latency延迟 failover故障转移 multivalue返回多个值 不支持elb
s3 桶--lambda方法--接入点--应用程序
unicast IP对指定ip进行访问 anycast IP对最近的IP进行访问 用于aws 全球加速器 可以快速故障转移
SQS:简单排队服务 消息数量没有限制 最少1分钟 默认4-14天的消息保存机制 过期删除 每条数据量都很小,256 kb 有消息可见性超时设置,一个消息被接收后会有一段时间不可见,如果把它重新放回队列中,它会被第二个消费者读取到
- SSE-S3 - S3 自管理的密钥,使用 AES-256 加密算法。每个对象的密钥不同,并且它还被定期更换的主密钥同时加密。
- SSE-KMS - 密钥存放在 KMS(软硬件结合的密钥管理系统)。
- SSE-C - 在请求时自己提供密钥,S3 只管加解密逻辑和存储。S3 不保存密钥,只保存随机加盐的 HMAC 值来验证今后请求的合法性。