aws使用记录

数据传输(S3)

安装命令行

安装awscli:

https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/getting-started-install.html#getting-started-install-instructions

直到 aws configure list 可以运行

身份验证:

运行:

aws configure

输入access_key 和 secrete

这里告诉你这俩东西怎么找到:

https://docs.aws.amazon.com/zh_tw/IAM/latest/UserGuide/id_credentials_access-keys.html

Region 输入的是s3 桶的 region比如 us-east-1

(我们的key发在视觉算法群里, 搜索 access_key )

access_key(accesskey): AKIAQ****

secrete: RvCey****

region: us-east-1

命令行使用

本地服务器复制到AWS

常用的两个:

罗列s3里文件夹内容:

aws s3 ls s3://test-guo/

同步文件夹 (可以加 --delete 参数):

aws s3 sync /path/to/dir/ s3://test-guo/path/to/dir/

复制文件:

aws s3 cp /path/to/file.tar s3://test-guo/path/to/dir/

aws s3 cp /path/to/file.tar s3://test-guo/path/to/dir/new_name.tar

更多详见文档:

https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/cli-services-s3-commands.html#using-s3-commands-listing-buckets

从S3 复制到EC2

Aws confugure

然后输入4个key:access_key,secrete,region

然后成功显示

现在可以复制了

Aws s3 cp s3://.................. ./current_folder

EC2解压数据Nohup :

Nohup unzip ***.zip &

挂在后台解压很快,不如print很多数据,从美国传输到中国,需要时间,会耗费大量时间在print

EC2 多GPU后台挂载训练 tmux:

nohup只适合单GPU训练,多GPU会报错,所以使用tmux这个工具

https://zhuanlan.zhihu.com/p/98384704 教程百度即可

常用命令:

Tmux ls

Tmux new -s name

Tmux detach

Tmux attach -t name

Tmux kil-sesseion -t name

Tmux switch -t session-name

Lauch 一个实例

https://us-east-1.console.aws.amazon.com/ec2/home?region=us-east-1#Instances:![](https://file.jishuzhan.net/article/1774331452813479938/2b4ffc8c13f3458ebefc0d0099334d84.webp)

相关推荐
惘嘫、冋渞5 小时前
AWS同一账号下创建自定义VPC并配置不同区域的对等链接
网络·云计算·aws
悟乙己7 小时前
MLops | 基于AWS Lambda 架构构建强大的机器学习(ML)血缘关系
机器学习·架构·aws
AKAMAI7 小时前
数据孤岛破局之战 :跨业务分析的难题攻坚
运维·人工智能·云计算
AWS官方合作商13 小时前
赋能金融科技:基于AWS的云上量化交易解决方案,让策略研发与部署效率倍增
科技·金融·aws
@HNUSTer18 小时前
基于 GEE 的 MODIS 昼夜地表温度数据可视化与导出全流程解决方案
云计算·数据集·遥感大数据·gee·云平台·modis·地表温度(lst)
王道长服务器 | 亚马逊云21 小时前
AWS WAF 实战篇|如何防御爬虫、CC攻击与恶意POST请求
云计算·aws
@HNUSTer21 小时前
基于 GEE MODIS 数据实现 7 大遥感指数计算与可视化
云计算·数据集·遥感大数据·gee·云平台·modis·遥感指数
thinktik1 天前
AWS EKS 集成Load Balancer Controller 对外暴露互联网可访问API [AWS 中国宁夏区]
后端·kubernetes·aws
TG_yunshuguoji2 天前
阿里云国际代理商:有哪些文件适合阿里云CDN分发?
阿里云·云计算
哲霖软件2 天前
什么是机械设备制造ERP?哲霖软件如何助力企业实现降本增效?
云计算