java minio 分片上传工具类与测试demo

java minio 分片上传工具类与测试demo

  • 工具类方法
    • [1、presignedUrl 获取文件上传的预授权url](#1、presignedUrl 获取文件上传的预授权url)
    • [2、compose 合并文件,并获取合并后的文件的哈希值](#2、compose 合并文件,并获取合并后的文件的哈希值)
    • [3、removeBatch 批量删除分片文件](#3、removeBatch 批量删除分片文件)
  • 完整demo
  • 说明

工具类方法

1、presignedUrl 获取文件上传的预授权url

java 复制代码
	public static String presignedUrl(String customBucket,String object){
		String newBucket = bucketName;
		if(StringUtils.isNotEmpty(customBucket)){
			newBucket = customBucket;
		}

		// 获取上传URL(客户端直接上传)
		String uploadUrl = null;
		try {
			initMinio(minioUrl, minioName,minioPass);
			// 检查存储桶是否已经存在
			if(minioClient.bucketExists(BucketExistsArgs.builder().bucket(newBucket).build())) {

			} else {
				// 创建存储桶
				minioClient.makeBucket(MakeBucketArgs.builder().bucket(newBucket).build());
			}

			uploadUrl = minioClient.getPresignedObjectUrl(
					GetPresignedObjectUrlArgs.builder()
							.method(Method.PUT)
							.bucket(newBucket)
							.object(object)
							.expiry(15, TimeUnit.MINUTES)  // 15分钟有效
							.build());
		} catch (ErrorResponseException e) {
			throw new RuntimeException(e);
		} catch (InsufficientDataException e) {
			throw new RuntimeException(e);
		} catch (InternalException e) {
			throw new RuntimeException(e);
		} catch (InvalidKeyException e) {
			throw new RuntimeException(e);
		} catch (InvalidResponseException e) {
			throw new RuntimeException(e);
		} catch (IOException e) {
			throw new RuntimeException(e);
		} catch (NoSuchAlgorithmException e) {
			throw new RuntimeException(e);
		} catch (XmlParserException e) {
			throw new RuntimeException(e);
		} catch (ServerException e) {
			throw new RuntimeException(e);
		}

		System.out.println("上传URL: " + uploadUrl);
		return uploadUrl;
	}

2、compose 合并文件,并获取合并后的文件的哈希值

java 复制代码
/**
	 * 合并文件并获取对象hash
	 * @param sourceObjectList
	 * @param customBucket
	 * @param object
	 * @return etag 对象的ETag(通常是MD5哈希)
	 */
	public static String compose(List<ComposeSource> sourceObjectList,String customBucket,String object){
		String newBucket = bucketName;
		if(StringUtils.isNotEmpty(customBucket)){
			newBucket = customBucket;
		}
		try {
			initMinio(minioUrl, minioName,minioPass);
			// 检查存储桶是否已经存在
			if(minioClient.bucketExists(BucketExistsArgs.builder().bucket(newBucket).build())) {

			} else {
				// 创建存储桶
				minioClient.makeBucket(MakeBucketArgs.builder().bucket(newBucket).build());
			}

			ObjectWriteResponse objectWriteResponse = minioClient.composeObject(
					ComposeObjectArgs.builder()
							.bucket(newBucket)
							.object(object)
							.sources(sourceObjectList)
							.build());
			return objectWriteResponse.etag();
		}catch (Exception e){
			e.printStackTrace();
		}
		return null;
	}

3、removeBatch 批量删除分片文件

java 复制代码
public static void removeBatch(String customBucket,List<String> objectList){
		String newBucket = bucketName;
		if(StringUtils.isNotEmpty(customBucket)){
			newBucket = customBucket;
		}

		// 获取上传URL(客户端直接上传)
		String uploadUrl = null;
		try {
			initMinio(minioUrl, minioName,minioPass);
			// 检查存储桶是否已经存在
			if(minioClient.bucketExists(BucketExistsArgs.builder().bucket(newBucket).build())) {

			} else {
				// 创建存储桶
				minioClient.makeBucket(MakeBucketArgs.builder().bucket(newBucket).build());
			}

			// 转换为DeleteObject列表
			List<DeleteObject> objects = objectList.stream()
					.map(DeleteObject::new)
					.collect(Collectors.toList());

			// 批量删除
			Iterable<Result<DeleteError>> results = minioClient.removeObjects(
					RemoveObjectsArgs.builder()
							.bucket(bucketName)
							.objects(objects)
							.build()
			);
			// 检查删除结果
			for (Result<DeleteError> result : results) {
				DeleteError error = result.get();
				if (error == null) {
					System.out.println("成功删除:" + error.objectName());
				} else {
					System.err.println("Error deleting object: " + error.objectName() +
							" - " + error.message());
				}
			}
		} catch (ServerException e) {
			throw new RuntimeException(e);
		} catch (InsufficientDataException e) {
			throw new RuntimeException(e);
		} catch (IOException e) {
			throw new RuntimeException(e);
		} catch (NoSuchAlgorithmException e) {
			throw new RuntimeException(e);
		} catch (InvalidKeyException e) {
			throw new RuntimeException(e);
		} catch (XmlParserException e) {
			throw new RuntimeException(e);
		} catch (InternalException e) {
			throw new RuntimeException(e);
		} catch (ErrorResponseException e) {
			throw new RuntimeException(e);
		} catch (InvalidResponseException e) {
			throw new RuntimeException(e);
		}
	}

完整demo

https://download.csdn.net/download/weixin_44957529/92640261

说明

为什么要用预授权url

  • 前端直接访问minio服务,减少后端服务器压力
  • 使用预授权url上传,能得到分片文件的标准哈希值,而使用MinioUtil.upload()上传时,获取的不是标准哈希值
相关推荐
星落梦生1 小时前
Maven高级(9)
java·maven
兴趣互联11 小时前
jeecgboot nacos2.3.2 使用pgsql
java
hudd66811 小时前
JavaEE 初阶 - 文件操作和IO
java·开发语言·java-ee
Flynn Liang12 小时前
HikariCP 连接池不是越大越好:I/O 密集型 Java 服务的数据库容量工程
java·数据库·mysql·高并发·连接池·hikaricp·sql 优化
学长毕设13 小时前
基于SpringBoot社区快递驿站物流配送系统-附源码
java·spring boot·后端
Flynt13 小时前
Java4Shell 实测:EPYC 一跑就中招,关掉 Base64 硬件加速,1KB 解码慢 14 倍
java·安全·性能优化
Resean022313 小时前
Spring 源码分析(七)AOP 原理(上):代理的创建
java·后端·spring
Tangq一定可以的13 小时前
Spring AI Advisor 详解 - 给大模型调用加上“切面“,日志/过滤/记忆一键搞定
java·后端·spring
小巫编程室14 小时前
我造了一个 Java 能力包:让 AI 直接调用你的业务代码
java·前端·后端
深入云栈15 小时前
Netty 4.2.x 源码深度解析 (二十四):池化内存分配 —— PoolArena、PoolChunk 与 PoolSubpage
java·后端·架构