技术栈
s3
亚林瓜子
7 天前
云计算
·
etl
·
aws
·
s3
·
glue
AWS中国云中的ETL之从aurora搬数据到s3(Glue版——修复版)
AWS中国云中的ETL之从aurora搬数据到s3(Glue版) 之前这个方式,在数据比较大的情况下,会出现对mysql全表扫描问题。
nicepainkiller
13 天前
云计算
·
aws
·
s3
aws s3 对象存储 上传文件
最近在做国外业务:用到亚马逊s3服务 。上传文件到对象存储。发现有意思的事情:而且决绝问题的文档少的可怜。所有这边记录下 方便大家填坑
DevOps008
5 个月前
rust
·
gitlab
·
minio
·
分布式存储
·
s3
·
rustfs
将 RustFS 用作 GitLab 对象存储后端
本文分享将 RustFS 作用 GitLab 对象存储后端的安装、配置以及使用过程。文章整体分为:RustFS 是用 Rust 语言编写的新一代分布式存储,可视为 MinIO 的平替,完全兼容 S3。由于使用 Rust 编写,所以性能更优、也更安装。RustFS 支持二进制、Docker 安装。本文使用二进制安装。执行如下命令即可完成安装:
ApacheSeaTunnel
5 个月前
大数据
·
mysql
·
开源
·
数据集成
·
s3
·
seatunnel
·
数据同步
MySQL 数据同步至 S3file,并接入 Hive 访问:SeaTunnel 实践指南
作者 | 番兄如何借助 Apache SeaTunnel 将 MySQL 数据高效同步至 S3file?本文详述的步骤已全部通过测试验证,适用于构建基于对象存储的数据中台场景,具备部署灵活、扩展性强等优势,对有 MySQL 到 S3 数据集成需求的用户具有较高的参考价值,点赞、收藏学习吧!
DevOps008
5 个月前
rust
·
minio
·
分布式存储
·
s3
·
rustfs
在 Azure Linux 上安装 RustFS
本文分享在 Azure Linux 上安装并使用对象存储 RustFS 的过程。RustFS 是一款用 Rust 语言编写的分布式存储系统,兼容 S3 协议,是 MinIO 的国产化平替。详情可以前往 RustFS 官网。目前,RustFS 支持二进制、Docker 安装方式,可以在 Linux、MacOS、Windows 上进行安装。下面分享在 Linux 上 安装并使用 RustFS 的过程。
亚林瓜子
6 个月前
https
·
云计算
·
json
·
ssl
·
aws
·
s3
AWS S3拒绝非https的请求访问
aws s3桶,安全要求必须强制使用ssl加密访问,即https。需要添加一个策略拒绝所有不是https的访问s3桶请求。
为美好的生活献上中指
7 个月前
java
·
开发语言
·
minio
·
七牛云存储
·
s3
·
七牛云
java每日精进 5.18【文件存储】
支持将文件上传到三类存储器:技术选型?命令:mkdir E:\youkeProject\Minio\data -Force
太阳伞下的阿呆
7 个月前
云计算
·
aws
·
云存储
·
亚马逊
·
s3
Aws S3上传优化
上传大约 3.4GB 的 JSON 文件,zip算法压缩后约为 395MB,上传至 S3 效率优化,有一些优化方案可以提高上传速率。下面是几种可能的优化方式,包括选择压缩算法、调整上传方式、以及其他可能的方案。
三块钱0794
8 个月前
大数据
·
elasticsearch
·
搜索引擎
·
s3
【原创】从s3桶将对象导入ES建立索引,以便快速查找文件
这段程序的作用是:从指定的S3桶中读取所有对象的元数据(文件名、大小、最后修改时间、存储类型、ETag等),并把这些信息写入到Elasticsearch(ES)中,建立索引,以便后续可以快速搜索和检索S3中的文件信息。
PatrickYao0422
8 个月前
运维
·
服务器
·
对象存储
·
minio
·
s3
在服务器上部署MinIO Server
高性能:MinIO号称是目前速度最快的对象存储服务器,据称在标准硬件上,对象存储的读/写速度最高可以高达183 GB/s和171 GB/s,可惜我的磁盘跟不上
小涵
9 个月前
前端
·
云计算
·
aws
·
cloud
·
cdn
·
s3
·
cloudfront
【AWS】使用CloudFront S3 Lambda打造丝滑低延迟Web体验
推荐超级课程:想象一下,加快网站和应用程序的运行速度,使它们更安全,并使用户体验更加顺畅。AWS CloudFront就像一个魔法师,它正是这样做的。在这篇博客中,我们将探讨如何使用CloudFront的行为和功能来使Web应用程序无缝连接。 架构图:
AWS官方合作商
10 个月前
云计算
·
aws
·
数据湖
·
对象存储
·
存储
·
s3
AWS S3深度解析:十大核心应用场景与高可用架构设计实践
摘要:作为全球领先的对象存储服务,Amazon S3凭借其高扩展性、持久性和安全性,已成为企业云原生架构的核心组件。本文将深入探讨S3的典型技术场景,并揭秘其背后的架构设计逻辑。
陶二先生
1 年前
ceph
·
s3
·
rgw
【ceph学习】S3权限认证部分
认证的过程是一个对用户信息进行解析并且判断前后得到的秘钥是否一致的过程。在rgw_main.cc:main()中进行初始化auth_registry对象
陶二先生
1 年前
ceph
·
s3
·
rgw
ceph-rgw zipper的设计理念(2)
书接上文。本文以CreateBucket为例进行详细讲述设计理念以及接口变化趋势。rgw_asio_frontend.cc
soulteary
1 年前
运维
·
docker
·
容器
·
服务发现
·
minio
·
s3
·
traefik
Docker 环境下使用 Traefik v3 和 MinIO 快速搭建私有化对象存储服务
上一篇文章中,我们使用 Traefik 新版本完成了本地服务网关的搭建。接下来,来使用 Traefik 的能力,进行一系列相关的基础设施搭建吧。
wumingxiaoyao
1 年前
大数据
·
云计算
·
big data
·
aws
·
s3
AWS S3 基本概念
最近工作中有接触到 S3,往 S3 写入数据,从 S3 访问数据,所以花点时间整理一下有关 S3 的基本概念。
战神刘玉栋
1 年前
java
·
minio
·
oss
·
s3
《企业实战分享 · 对象存储服务OSS、S3、MinIO》
📢 大家好,我是 【战神刘玉栋】,有10多年的研发经验,致力于前后端技术栈的知识沉淀和传播。 💗 🌻 CSDN入驻一周,希望大家多多支持,后续会继续提升文章质量,绝不滥竽充数,如需交流,欢迎留言评论。👍
亚林瓜子
2 年前
vue.js
·
html5
·
aws
·
s3
·
cloudfront
AWS Cloudfront支持vuejs的html5模式
只需要在Cloudfront中添加一个函数,大概规则就是如果从请求uri中提取到文件名,则表示需要访问s3,如果没有则重写到/index.html请求。 具体函数内容如下:
缘友一世
2 年前
linux
·
docker
·
minio
·
s3
Minio(官方docker版)容器部署时区问题研究记录
CTRA王大大
2 年前
微信小程序
·
小程序
·
golang
·
对象存储
·
s3
【golang】动态生成微信小程序二维码实战下:golang 生成 小程序二维码图片 并通过s3协议上传到对象存储桶 | 腾讯云 cos
在自研的系统,需要实现类似草料二维码的功能 将我们自己的小程序,通过代码生成相想要的小程序二维码代码已经上传到 Github 需要的朋友可以自取 https://github.com/ctra-wang/wechat-mini-qrcode