Java爬虫抓取B站视频信息

依赖

xml 复制代码
<dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.17.2</version> <!-- 最新版可去官网查看 -->
        </dependency>

编码

java 复制代码
public static List<VideoDto> parseSearchPage(String keyword, int page,int lim) throws Exception {
        String url = "https://search.bilibili.com/all?keyword=" + keyword + "&page=" + page;
        Document doc = Jsoup.connect(url)
                .userAgent("Mozilla/5.0")
                .timeout(10000)
                .get();
        List<VideoDto> list = new ArrayList<>();
        Elements pictures = doc.select("picture");
        System.out.println("OK");
        int cnt=0;
        for (Element picture : pictures) {

            String pictureSrc = Objects.requireNonNull(picture.selectFirst("source")).attr("srcset");
            String title = Objects.requireNonNull(picture.selectFirst("img")).attr("alt");

            VideoDto videoDto = new VideoDto();
            videoDto.setPicture(pictureSrc);
            videoDto.setTitle(title);
            list.add(videoDto);
            cnt++;
            if(cnt==lim)break;


        }
        Elements divElements = doc.select("div.bili-video-card__info--right");
        cnt=0;
        for(Element divElement : divElements){
            Element firstLink = divElement.selectFirst("a");
            if(firstLink != null){
                String link= firstLink.attr("href");
                VideoDto videoDto=list.get(cnt);
                videoDto.setUrl(link);
                list.set(cnt,videoDto);
                cnt++;
                if(cnt==lim)break;
            }

        }
        return list;
    }
相关推荐
熊文豪15 分钟前
保姆级Maven安装与配置教程(Windows版)
java·windows·maven·maven安装教程·maven配置教程·maven安装与配置教程
怀旧,1 小时前
【C++】 9. vector
java·c++·算法
渣哥1 小时前
震惊!Java注解背后的实现原理,竟然如此简单又高深!
java
hqxstudying1 小时前
JAVA限流方法
java·开发语言·安全·限流
shylyly_1 小时前
Linux->多线程2
java·linux·多线程·线程安全·线程同步·线程互斥·可重入
K哥爬虫2 小时前
【验证码逆向专栏】某奇艺滑块验证码逆向分析
爬虫
K哥爬虫2 小时前
【验证码逆向专栏】某手滑块逆向、风控分析
爬虫
小蒜学长2 小时前
基于实例教学的软件工程专业教学系统
java·spring boot·后端·软件工程
Code_Artist2 小时前
[Java并发编程]3.同步锁的原理
java·后端·面试