Node爬虫:利用Node.js爬取网页图片的实用指南

在互联网时代,图片是信息传递和展示的重要组成部分,而提取网页中的图片数据对于一些项目和需求来说尤为重要。本文将详细介绍如何使用Node.js编写爬虫程序,实现网页图片的批量爬取,帮助您轻松获得所需的图片数据,并揭示一些实用技巧和注意事项。

一、准备工作

  1. 安装Node.js:确保您的电脑上已经安装了Node.js,您可以从官网(https://nodejs.org/)下载最新版本并进行安装。

  2. 创建项目目录:在本地创建一个新的文件夹作为项目目录,用于存放爬虫程序和爬取的图片。

  3. 初始化项目:打开命令行工具,进入项目目录,并执行以下命令初始化项目:

    复制代码
    npm init -y
  4. 安装相关依赖:在项目目录下执行以下命令,安装需要的依赖包:

    复制代码
    npm install axios cheerio fs path

二、实现爬虫程序

  1. 导入依赖:
    在项目根目录下新建一个crawler.js文件,并在文件头部导入需要的依赖:

    javascript 复制代码
    const axios = require('axios');
    const cheerio = require('cheerio');
    const fs = require('fs');
    const path = require('path');
  2. 发起HTTP请求:
    编写一个fetchPage函数,用于发起HTTP请求并获取网页内容:

    javascript 复制代码
    async function fetchPage(url) {
      try {
        const response = await axios.get(url);
        return response.data;
      } catch (error) {
        console.error(error);
        throw new Error('Failed to fetch the page');
      }
    }
  3. 解析网页:
    利用cheerio库来解析网页内容,提取其中的图片链接:

    javascript 复制代码
    function extractImageUrls(html) {
      const $ = cheerio.load(html);
      const imageUrls = [];
      $('img').each((index, element) => {
        const src = $(element).attr('src');
        // 对图片链接进行处理,补全相对路径等
        const imageUrl = new URL(src, 'http://example.com').href;
        imageUrls.push(imageUrl);
      });
      return imageUrls;
    }
  4. 下载图片:
    编写一个downloadImage函数,用于下载图片到本地:

    javascript 复制代码
    async function downloadImage(url, savePath) {
      try {
        const response = await axios.get(url, { responseType: 'stream' });
        const filePath = path.join(savePath, path.basename(url));
        const writer = fs.createWriteStream(filePath);
        response.data.pipe(writer);
        return new Promise((resolve, reject) => {
          writer.on('finish', resolve);
          writer.on('error', reject);
        });
      } catch (error) {
        console.error(error);
        throw new Error('Failed to download the image');
      }
    }
  5. 组合函数:
    编写一个主函数,将上述函数组合起来,实现图片的批量爬取:

    javascript 复制代码
    async function main() {
      const url = 'http://example.com'; // 替换为需要爬取的网页URL
      const savePath = path.join(__dirname, 'images');
     try {
        const html = await fetchPage(url);
        const imageUrls = extractImageUrls(html);
        fs.mkdirSync(savePath, { recursive: true });
        for (const imageUrl of imageUrls) {
          await downloadImage(imageUrl, savePath);
          console.log('Downloaded:', imageUrl);
        }
      } catch (error) {
        console.error(error);
      }
    }
    main();

三、运行程序与注意事项

  1. 运行程序:
    打开命令行工具,进入项目目录,执行以下命令来运行爬虫程序:

    复制代码
    node crawler.js
  2. 注意事项:

    • 爬虫程序的运行速度要适度,不要给目标网站造成过大的请求压力,遵守相关规定并尊重网站的服务器资源。
    • 爬取他人网站图片时,要遵守版权相关法律法规,谨慎使用和传播获得的图片。
    • 添加适当的错误处理机制,避免因网络故障或其他异常情况导致程序中断。
      通过运用axios库发起HTTP请求、cheerio库解析网页内容,并结合fs和path模块实现图片的下载,您可以轻松地获取所需的图片数据。。希望本文的内容能够帮助您在实际项目中应用爬虫技术,提升您的工作效率和数据采集能力。
相关推荐
wuyk55518 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
木头左1 天前
【浏览器自动化】用 CDP 接管本机 Chrome:从一个宿主迁到另一个宿主的设计与踩坑
node.js·浏览器自动化·cdp·技能化·踩坑实践
cpolar技术支持2 天前
把 agent-autoloop 装在 Mac 上:用本机 Node 实跑一次「接活—提问—拍板—接着干」,再用 cpolar 把它的状态页开给不在工位的自己
node.js·内网穿透·cpolar·ai agent·agent-autoloop
wuyk5552 天前
Spider-第14讲-表单提交与CSRF
前端·爬虫·python·elasticsearch·csrf
SEO_juper2 天前
Node.js 全站 SEO 体检报告生成器:一次查完标题、描述、canonical、H1、图片
开发语言·前端·node.js·html·bash
木头左3 天前
【Node.js】Markdown 转带图片 Word 文档实战:docx 库转换器设计与 5 个踩坑
node.js·word·markdown·文档自动化
思特奇时空智能3 天前
大规模点要素地图渲染性能优化实践
vue.js·arcgis·性能优化·node.js·html·gis·webgl
wuyk5554 天前
Spider-第11讲-工程化改造与可维护性
大数据·爬虫·elasticsearch·搜索引擎
wuyk5554 天前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
小宋10214 天前
AI 爬虫把大学图书馆站点拖垮:按行为指纹给爬虫分类、按类发配额、用边缘缓存分层,以带宽成本结构和真实用户 P95 延迟定档
人工智能·爬虫·分类