【爬虫】Java 爬虫组件 Jsoup

【爬虫】Java 爬虫组件 Jsoup

写在前面

爬虫是通过编程的方式,从网站上获取数据的一种方式。很多语言都提供的有爬虫功能,都大同小异。这篇文章分享的是 Java 的爬虫组件 jsoup 的使用。以下案例以爬去小说为例

实现思路和步骤

步骤一:引入 Jsoup

  • 普通的 Java 项目需要手动下载 jsoup jar 包,导入到项目中。

  • Maven 项目可以导入 jsoup 坐标

    xml 复制代码
     <dependency>
       <groupId>org.jsoup</groupId>
       <artifactId>jsoup</artifactId>
       <version>1.13.1</version>
     </dependency>

步骤二:获取页面组件内容

java 复制代码
// 借助 jsoup 工具获取网站的信息
// 获取链接对象
Connection connect = Jsoup.connect(site);
// 获取网站的文档对象
Document document = connect.get();

步骤三:分析页面构成获取需要的组件

  • 页面是通过 HTML 标签组成的,可以使用浏览器的开发者工具,找到需要获取的组件。
  • 分析组件的特征,看是否有 id、class 等相关的标识。
  • 根据标识获取组件对象,注意除 id 外,其他标识获取到的都是多个。
  • 有些数据在 HTML 的标签属性中,比如超链接、图片的请求地址在 href、src 属性中,所以还需要搭配attr()方法获取。

    下图则是通过浏览器开发者工具分析的截图:
    1、章节的正文在<ul class="chapterlist"></ul>中。
    2、章节的名称在 ul li 的超链接中。
    3、章节的连接在超链接的 href 属性中。

代码案例

java 复制代码
import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.Random;

/**
 * 爬虫案例:爬取数据写入到磁盘。
 * 1、文本
 * 2、图片
 * 爬取小说:
 * 1、小说的网址。
 * 2、分析网站的构成,获取需要的信息。
 * 2.1 HTML的技术
 */
public class JsoupDemo {
    public static void main(String[] args) throws IOException {
        // 网站地址
        String site = "https://www.69shuba.cc/book/64272/";

        // 借助 jsoup 工具获取网站的信息
        // 获取链接对象
        Connection connect = Jsoup.connect(site);
        // 获取网站的文档对象
        Document document = connect.get();

        // 从文档对象中获取需要的组件
        Elements chapterList = document.getElementsByClass("chapterlist");
        Element ul = chapterList.get(1);

        // 获取所有的 a 标签
        Elements as = ul.getElementsByTag("a");

        File file = new File("D://a.txt");
        if(!file.exists()){
            file.createNewFile();
        }

        FileOutputStream fos = new FileOutputStream(file, true);

        // 遍历所有的 a 元素
        for (Element a : as) {
            // 得到章节名称
            String chapterName = a.text() +  "\r\n";

            // 把章节写入到文件
            fos.write(chapterName.getBytes());

            // 获取的是超链接的 href 属性
            String href = a.attr("href");
            href = "https://www.69shuba.cc/book/64272/" + href;

            // 请求章节地址
            Connection chapterConnection = Jsoup.connect(href);
            Document chapterDocument = chapterConnection.get();

            // 获取需要的组件
            Element htmlContent = chapterDocument.getElementById("htmlContent");
            String content = htmlContent.text();

            // 把章节写入到文件
            fos.write(content.getBytes());
            fos.write("\r\n\r\n".getBytes());

            System.out.println("《" + a.text() + "》" + "下载完成!");

            try {
                Random random = new Random();
                Thread.sleep(random.nextInt(5000));
            } catch (InterruptedException e) {
                throw new RuntimeException(e);
            }
        }
        fos.close();
        System.out.println("小说下载完成!");
    }
}
相关推荐
Source.Liu3 分钟前
【用Rust写CAD】第二章 第四节 函数
开发语言·rust
monkey_meng3 分钟前
【Rust中的迭代器】
开发语言·后端·rust
余衫马6 分钟前
Rust-Trait 特征编程
开发语言·后端·rust
monkey_meng9 分钟前
【Rust中多线程同步机制】
开发语言·redis·后端·rust
七星静香10 分钟前
laravel chunkById 分块查询 使用时的问题
java·前端·laravel
Jacob程序员11 分钟前
java导出word文件(手绘)
java·开发语言·word
ZHOUPUYU12 分钟前
IntelliJ IDEA超详细下载安装教程(附安装包)
java·ide·intellij-idea
stewie615 分钟前
在IDEA中使用Git
java·git
小白学大数据18 分钟前
正则表达式在Kotlin中的应用:提取图片链接
开发语言·python·selenium·正则表达式·kotlin
VBA633720 分钟前
VBA之Word应用第三章第三节:打开文档,并将文档分配给变量
开发语言