使用Apache HttpClient爬取网页内容的详细步骤解析与案例示例

Apache HttpClient是一个功能强大的开源HTTP客户端库,本文将详细介绍如何使用Apache HttpClient来爬取网页内容的步骤,并提供三个详细的案例示例,帮助读者更好地理解和应用。

一、导入Apache HttpClient库

在项目的pom.xml文件中添加依赖,将以下代码添加到pom.xml文件中:

xml 复制代码
<dependency>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.13</version>
</dependency>

二、创建爬虫类和HttpClient对象

创建一个名为WebCrawler的Java类。

  • 使用HttpClients工具类的createDefault()方法创建一个默认的HttpClient对象,示例代码如下:
java 复制代码
CloseableHttpClient httpClient = HttpClients.createDefault();

三、创建HttpGet请求对象

使用HttpGet的构造方法,传递网页URL作为参数来创建一个HttpGet请求对象,示例代码如下:

java 复制代码
HttpGet httpGet = new HttpGet("http://www.example.com");

四、发送请求并获取响应

使用HttpClient的execute()方法发送请求并获取响应,该方法接收一个HttpGet对象作为参数,并返回一个CloseableHttpResponse对象,包含了服务器返回的响应信息,示例代码如下:

java 复制代码
CloseableHttpResponse response = httpClient.execute(httpGet);

五、提取网页内容

使用EntityUtils工具类的toString()方法,将响应实体转换为字符串形式的网页内容,该方法接收一个HttpEntity对象作为参数,并返回一个字符串,示例代码如下:

java 复制代码
String content = EntityUtils.toString(response.getEntity(), "UTF-8");

六、打印网页内容并关闭响应和HttpClient

使用System.out.println()方法打印出网页内容。

  • 调用response的close()方法关闭响应。
  • 调用httpClient的close()方法关闭HttpClient,示例代码如下:
java 复制代码
System.out.println(content);
response.close();
httpClient.close();

七、案例示例

案例一:爬取某度首页内容

java 复制代码
HttpGet httpGet = new HttpGet("https://www.xxxxx.com");
CloseableHttpResponse response = httpClient.execute(httpGet);
String content = EntityUtils.toString(response.getEntity(), "UTF-8");
System.out.println(content);
response.close();
httpClient.close();

案例二:爬取某乎热榜内容

java 复制代码
HttpGet httpGet = new HttpGet("https://www.xxxxx.com/hot");
CloseableHttpResponse response = httpClient.execute(httpGet);
String content = EntityUtils.toString(response.getEntity(), "UTF-8");
System.out.println(content);
response.close();
httpClient.close();

案例三:爬取某瓣电影TOP250内容

java 复制代码
HttpGet httpGet = new HttpGet("https://movie.xxxxxx.com/top250");
CloseableHttpResponse response = httpClient.execute(httpGet);
String content = EntityUtils.toString(response.getEntity(), "UTF-8");
System.out.println(content);
response.close();
httpClient.close();

注意事项:

  • 设置请求间隔时间,避免对服务器造成过大的负载。
  • 处理异常情况,如网络连接失败、网页不存在等,使用try-catch语句来处理这些异常情况,并采取相应的措施。

结语:

通过以上步骤和案例示例,我们可以使用Apache HttpClient来爬取网页内容。Apache HttpClient提供了丰富的功能和配置选项,您可以根据具体的需求和情况进行相应的调整和扩展。希望本文对您了解和使用Apache HttpClient有所帮助,欢迎您根据本文提供的示例代码进行实践和探索。

相关推荐
jackaroo202018 分钟前
后端_基于注解实现的请求限流
java
道可到23 分钟前
百度面试真题 Java 面试通关笔记 04 |JMM 与 Happens-Before并发正确性的基石(面试可复述版)
java·后端·面试
飞快的蜗牛44 分钟前
利用linux系统自带的cron 定时备份数据库,不需要写代码了
java·docker
Fairy_sevenseven1 小时前
[1]python爬虫入门,爬取豆瓣电影top250实践
开发语言·爬虫·python
聪明的笨猪猪1 小时前
Java Spring “IOC + DI”面试清单(含超通俗生活案例与深度理解)
java·经验分享·笔记·面试
ThisIsMirror1 小时前
CompletableFuture并行任务超时处理模板
java·windows·python
珹洺2 小时前
Java-Spring入门指南(二十一)Thymeleaf 视图解析器
java·开发语言·spring
源码集结号2 小时前
一套智慧工地云平台源码,支持监管端、项目管理端,Java+Spring Cloud +UniApp +MySql技术开发
java·mysql·spring cloud·uni-app·源码·智慧工地·成品系统
EnCi Zheng2 小时前
Spring Security 最简配置完全指南-从入门到精通前后端分离安全配置
java·安全·spring
程序员小假2 小时前
为什么这些 SQL 语句逻辑相同,性能却差异巨大?
java·后端