Minio上传url资源文件,文件内容不全的问题

遇到问题

使用minio-client时候上传文件为url链接时候,上传inputstream流出现了文件上传成功,但是文件内容缺失,无法正常打开!


先看看基本的依赖和配置代码:

pom.xml依赖

java 复制代码
     <!-- tika MIME检测机制 -->
        <dependency>
            <groupId>org.apache.tika</groupId>
            <artifactId>tika-core</artifactId>
            <version>3.0.0-BETA2</version>
        </dependency>
        <!-- minio     -->
        <dependency>
            <groupId>io.minio</groupId>
            <artifactId>minio</artifactId>
            <version>8.5.11</version>
        </dependency>
        <dependency>
            <groupId>cn.hutool</groupId>
            <artifactId>hutool-all</artifactId>
            <version>5.8.27</version>
        </dependency>

minio配置

java 复制代码
import io.minio.MinioClient;
import lombok.Data;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Data
@Configuration
@ConfigurationProperties(prefix = "minio")
public class MinioConfig {
    private String accessKey;

    private String secretKey;

    private String url;

    private String bucketName;

    @Bean
    public MinioClient minioClient(){
        return MinioClient.builder()
                .region("cn-north-1")
                .endpoint(url)
                .credentials(accessKey,secretKey)
                .build();
    }

}

上传文件代码

java 复制代码
    /**
     *  url 上传
     *
     * @param urlStr        urlStr
     * @param bucketName bucket名称
     * @param fileName   文件名称
     * @return {@link String }
     */
    public String upload(String urlStr ,String bucketName, String fileName) {
        // 使用putObject上传一个文件到存储桶中。
        try {
            URL url = new URL(urlStr);
            HttpURLConnection conn = (HttpURLConnection) url.openConnection();
            conn.setDoInput(true);
            conn.connect();
            // 得到网络返回的输入流
            InputStream inputStream = conn.getInputStream();
            String contentType = new Tika().detect(inputStream);
            String extension = MimeTypes.getDefaultMimeTypes().forName(contentType).getExtension();

            minioClient.putObject(PutObjectArgs.builder()
                    .bucket(bucketName)
                    .object(fileName + extension)
                    .stream(inputStream, inputStream.available(), -1)
                    .contentType(contentType)
                    .build());
            // 需要设置为public
            return fileName + extension;
        } catch (Exception e) {
            log.error("minio上传文件错误:{}", e.getMessage(), e);
            throw new RuntimeException("minio上传文件错误:" + e.getMessage(), e);
        }
    }

debug启动的问题

多次上传发现inputStream.available()的长度每次都不一样,看一下源码这个available方法返回的值是怎么个事

哦吼,问题找到了!!! 他一直在估计这个输入流的长度,就没有直接读出来,那么问题来了,我只能使用File类来获取其长度吗?

还有解法: "A subclass's implementation of this method may choose to throw an IOException if this input stream has been closed by invoking the close() method",那还是有一些子类的Stream方法能实现返回流中的字节总数 ,百度了一下,发现有FileInputStream,ByteArrayInputStream,BufferedInputStream类能完成统计流中字节数的统计!

新增处理类

java 复制代码
import cn.hutool.core.util.StrUtil;
import lombok.extern.slf4j.Slf4j;

import java.io.*;
import java.net.HttpURLConnection;
import java.net.URL;

@Slf4j
public class FileUtil {

    /**
     * 通过网络地址获取文件InputStream(持续获取)
     *
     * @param urlStr 地址
     * @return inputStream
     */
    public static InputStream returnByteStream(String urlStr) {
        if (StrUtil.isEmpty(urlStr) || !urlStr.matches("^(http|https)://.*$")) {
            throw new RuntimeException("url存在问题,请检查是否可以下载!");
        }
        try {
            // 利用HttpURLConnection对象,我们可以从网络中获取网页数据.
            URL url = new URL(urlStr);

            HttpURLConnection conn = (HttpURLConnection) url.openConnection();
            conn.setDoInput(true);
            conn.connect();
            // 得到网络返回的输入流
            InputStream inputStream = conn.getInputStream();
            // 转化为ByteArrayInputStream
            byte[] data = stream2ByteArray(inputStream);
            return new ByteArrayInputStream(data);
        } catch (Exception e) {
            log.error("url文件下载错误!");
            throw new RuntimeException("url文件下载错误!错误原因是:" + e.getMessage(), e);
        }

    }

    /**
     * 获取流中字节数组
     *
     * @param inputStream 输入流
     * @return {@link byte[] }
     */
    public static byte[] stream2ByteArray(InputStream inputStream) {
        ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
        // 处理大文件流
        BufferedInputStream bis = new BufferedInputStream(inputStream);
        try {
            byte[] buffer = new byte[2048];
            int len = -1;
            while ((len = bis.read(buffer)) != -1) {
                outputStream.write(buffer, 0, len);
            }
            return outputStream.toByteArray();
        } catch (Exception e) {
            log.error("文件处理出现问题,{}", e.getMessage());
            throw new RuntimeException(e);
        } finally {
            try {
                outputStream.close();
                inputStream.close();
            } catch (Exception e) {
                log.error("输入输出流关闭错误,{}", e.getMessage());
            }
        }
    }
}

修改后代码

java 复制代码
   /**
     *  url 上传
     *
     * @param urlStr        urlStr
     * @param bucketName bucket名称
     * @param fileName   文件名称
     * @return {@link String }
     */
    public String upload(String urlStr ,String bucketName, String fileName) {
        // 使用putObject上传一个文件到存储桶中。
        try {
            // 此处获取到流并且计算出长度
            InputStream inputStream = FileUtil.returnByteStream(urlStr);
            String contentType = new Tika().detect(inputStream);
            String extension = MimeTypes.getDefaultMimeTypes().forName(contentType).getExtension();
            minioClient.putObject(PutObjectArgs.builder()
                    .bucket(bucketName)
                    .object(fileName + extension)
                     // 此处的inputStream.available()长度就是文件的长度
                    .stream(inputStream, inputStream.available(), -1)
                    .contentType(contentType)
                    .build());
            // 需要设置为public
            return fileName + extension;
        } catch (Exception e) {
            log.error("minio上传文件错误:{}", e.getMessage(), e);
            throw new RuntimeException("minio上传文件错误:" + e.getMessage(), e);
        }
    }

至此,minio上传文件后,文件可以正常打开了!

相关推荐
渣哥几秒前
Java ThreadPoolExecutor 动态调整核心线程数:方法与注意事项
java
Miraitowa_cheems11 分钟前
LeetCode算法日记 - Day 38: 二叉树的锯齿形层序遍历、二叉树最大宽度
java·linux·运维·算法·leetcode·链表·职场和发展
稻草猫.31 分钟前
Java多线程(一)
java·后端·java-ee·idea
躲在云朵里`35 分钟前
Spring Scheduler定时任务实战:从零掌握任务调度
java·数据库·mybatis
Java中文社群1 小时前
炸裂:SpringAI新版发布,终于支持断线重连了!
java·后端·ai编程
哈喽姥爷1 小时前
Spring Boot--Bean的扫描和注册
java·spring boot·后端·bean的扫描和注册
problc1 小时前
Spring Boot `@Service` 互相调用全攻略:`@Autowired` vs `@Resource`
java·spring boot·后端
码熔burning2 小时前
JVM 对象创建的核心流程!
java·jvm
努力努力再努力wz2 小时前
【C++进阶系列】:万字详解红黑树(附模拟实现的源码)
java·linux·运维·c语言·开发语言·c++
毕设源码纪师姐2 小时前
计算机毕设 java 高校机房综合管控系统 基于 SSM+Vue 的高校机房管理平台 Java+MySQL 的设备与预约全流程系统
java·mysql·课程设计