文章目录
一、简介
minio是一款分布式的对象存储服务，本文主要介绍通过springboot项目实现对minio存储系统中文件的版本管理。minio存储服务中可以手动开启版本管理的功能，开启版本管理后每个文件的变更都会生成一个新的版本，包括文件的第一次上传、文件的覆盖以及文件的删除等，每个版本都会有一个版本编号versionId，后续都会根据每个文件的各个版本编号进行版本管理。
minio中文官网java指南：https://minio.org.cn/docs/minio/linux/developers/java/minio-java.html
minio中文官网java API：https://minio.org.cn/docs/minio/linux/developers/java/API.html
minio环境搭建：https://blog.csdn.net/weixin_42684368/article/details/136449419
二、相关依赖
yaml
<!-- 注意minio版本，不同版本对应api不一样 -->
<dependency>
<groupId>io.minio</groupId>
<artifactId>minio</artifactId>
<version>8.5.10</version>
</dependency>
<dependency>
<groupId>com.squareup.okhttp3</groupId>
<artifactId>okhttp</artifactId>
<version>4.9.3</version>
</dependency>三、功能实现
3.1、minio客户端初始化
java
// minio的所有操作都是基于minio客户端对象实现的，首先需要初始化minio客户端对象
MinioClient minioClient = MinioClient.builder().endpoint("http://127.0.0.1:19011").credentials("minioadmin", "minioadmin").build();3.2、创建带有版本管理的bucket
java
public void createVersionBucket(String bucketName,MinioClient minioClient){
try {
// 判断当前bucket是否存在
boolean found = minioClient.bucketExists(BucketExistsArgs.builder().bucket(bucketName).build());
if(!found){
// 创建bucket
minioClient.makeBucket(MakeBucketArgs.builder().bucket(bucketName).build());
// 开启当前bucket的版本管理功能
VersioningConfiguration versioningConfiguration = new VersioningConfiguration(VersioningConfiguration.Status.ENABLED,true);
minioClient.setBucketVersioning(SetBucketVersioningArgs.builder().bucket(bucketName).config(versioningConfiguration).build());
log.info("minio初始化桶："+bucketName);
}
} catch (Exception e) {
log.error(e.getMessage());
}
}3.3、文件上传
java
/**
* 单个文件上传到minio并返回对应的版本id
*
* 其中objectName 是文件上传到minio中的全路径
* fileName是本地文件全路径
* bucketName 是桶名称
* 如 fileName = "D:/test.txt",objectName = "测试/test.txt"
* 则会将D盘下的test.txt文件上传到minio对应bucketName桶（bucket）下的测试目录中
*/
public static String minio_uploadSingleFile(String objectName,String fileName){
objectName = objectName.replace("\\","/");
// 上传文件
try {
ObjectWriteResponse objectWriteResponse = minioClient.uploadObject(UploadObjectArgs.builder()
.bucket(bucketName)
.object(objectName) // 上传到分布式系统的文件名称
.filename(fileName) // 本地文件路径
.build());
return objectWriteResponse.versionId();
} catch (Exception e) {
throw new RuntimeException(e);
}
}
// 本地文件夹上传
public static void minio_uploadLocalFile(String dirName){
File files = new File(dirName);
for (File file : files.listFiles()) {
String versionId = minio_uploadSingleFile(dirName + "/" + file.getName(), file.getPath());
}
}
// 文件流上传
public static String minio_uploadFile(MultipartFile file,String objectName){
try {
InputStream inputStream = file.getInputStream();
return minioClient.putObject(
PutObjectArgs.builder()
.bucket(bucketName)
.object(objectName)
.contentType(file.getContentType())
.stream(inputStream, inputStream.available(), -1)
.build()).versionId();
} catch (Exception e) {
log.error("文件上传至minio出错："+e.getMessage());
}
return null;
}
// 多文件流上传 将文件都上传到bucketName桶下dirName目录中
public static void uploadToMinio(List<MultipartFile> multipartFiles, String dirName) {
if(multipartFiles != null) {
for (int i = 0; i < multipartFiles.size(); i++) {
String versionId = minio_uploadFile(multipartFiles.get(i), dirName+"/"+multipartFiles.get(i).getName());
}
}
}3.4、获取minio文件夹下所有文件以及对应的所有版本
java
public static void minio_listVersion(String dirName){
try {
// includeVersions为true表示查找结果包含文件的所有历史版本，recursive为true表示对整个文件夹进行递归查找，会获取所有文件
// prefix 表示查找文件名的前缀，minio每个文件都会有个objectName属性，比如test.txt在"测试"目录下,
// 那么test.txt的objectName则是-> 测试/test.txt ,也就是测试目录下的所有文件objectName都包含前缀 "测试/"
Iterable<Result<Item>> results = minioClient.listObjects(ListObjectsArgs.builder().includeVersions(true).bucket("java-bucket").prefix(dirName+"/").recursive(true).build());
for (Result<Item> result : results) {
System.out.println(result.get().objectName());
System.out.println(result.get().versionId());
}
} catch (Exception e) {
throw new RuntimeException(e);
}
}3.5、获取minio文件夹下所有文件
java
public static void minio_list(String dirName){
try {
// recursive为true表示对整个文件夹进行递归查找，会获取所有文件
// prefix 表示查找文件名的前缀，minio每个文件都会有个objectName属性，比如test.txt在"测试"目录下,
// 那么test.txt的objectName则是-> 测试/test.txt ,也就是测试目录下的所有文件objectName都包含前缀 "测试/"
Iterable<Result<Item>> results = minioClient.listObjects(ListObjectsArgs.builder().bucket("java-bucket").prefix(dirName+"/").recursive(true).build());
for (Result<Item> result : results) {
System.out.println(result.get().objectName());
System.out.println(result.get().versionId());
}
} catch (Exception e) {
throw new RuntimeException(e);
}
}3.6、文件下载
java
// 下载单个文件到本地
public static void minio_downloadFile(String objectName,String fileName){
try {
minioClient.downloadObject(DownloadObjectArgs.builder()
.bucket(bucketName)
.object(objectName)
.filename(fileName)
//.versionId(versionId) 如果需要下载该文件的特定版本则需要指定
.build());
} catch (Exception e) {
log.info("下载minio文件出现错误："+e.getMessage());
}
}
// 文件流压缩下载
public static void minio_downloadByStream(String dirName, HttpServletResponse response){
ZipOutputStream zos = null;
try {
response.setHeader("Content-Disposition", "attachment;filename=" + java.net.URLEncoder.encode(dirName+".zip","UTF-8"));
//压缩流传输
zos = new ZipOutputStream(response.getOutputStream());
// 获取当前目录下的所有文件列表
Iterable<Result<Item>> results = minioClient.listObjects(ListObjectsArgs.builder().bucket(bucketName).prefix(dirName+"/").recursive(true).build());
for (Result<Item> result : results) {
InputStream in ;
byte[] buf = new byte[1024];
int len;
// 获取文件流
in = minioClient.getObject(GetObjectArgs.builder().bucket(bucketName).object(result.get().objectName()).build());
zos.putNextEntry(new ZipEntry(result.get().objectName()));
while ((len = in.read(buf)) > 0) {
zos.write(buf, 0, len);
}
}
response.setContentType("application/zip");
response.flushBuffer();
} catch (Exception e) {
throw new RuntimeException(e);
} finally {
assert zos != null;
try {
zos.close();
} catch (IOException e) {
throw new RuntimeException(e);
}
}
}注意：当需要下载特定版本的文件只需要加上.versionId(versionId)即可
java
in = minioClient.getObject(GetObjectArgs.builder().bucket(bucketName).object(result.get().objectName()).versionId(versionId).build());3.7、文件删除
java
/**
* 彻底从minio中删除目录，即删除所有文件的所有版本
* @param modelName
*/
public static void deleteDirFromMinioComplete(String dirName){
try {
Iterable<Result<Item>> results = minioClient.listObjects(ListObjectsArgs.builder().bucket(bucketName).prefix(dirName+"/").includeVersions(true).recursive(true).build());
for (Result<Item> result : results) {
minioClient.removeObject(RemoveObjectArgs.builder().bucket(bucketName).object(result.get().objectName()).versionId(result.get().versionId()).build());
}
log.info(Thread.currentThread().getName()+" 线程成功从minio中删除目录 "+ finalModelName);
} catch (Exception e) {
log.error("删除minio中文件出现错误："+e.getMessage());
}
}
// 删除文件，但是会留下新版本，还可以通过版本id恢复
public static void deleteDirFromMinio(String dirName){
try {
Iterable<Result<Item>> results = minioClient.listObjects(ListObjectsArgs.builder().bucket(bucketName).prefix(dirName+"/").recursive(true).build());
for (Result<Item> result : results) {
minioClient.removeObject(RemoveObjectArgs.builder().bucket(bucketName).object(result.get().objectName()).build());
}
} catch (Exception e) {
log.error("删除minio中文件出现错误："+e.getMessage());
}
}