多语言编写的图片爬虫教程

可能他们需要几个不同编程语言的示例,比如Python、JavaScript(Node.js)、Ruby之类的。然后我要考虑每个语言常用的库和框架,确保示例简单易懂,适合不同水平的开发者。

接下来,我需要分步骤来思考每个语言的实现方式。比如Python的话,requests和BeautifulSoup是常用的组合,或者用Scrapy框架。对于Node.js,可能会用axios和cheerio,或者puppeteer来处理动态加载的图片。Ruby方面,可能用Nokogiri和HTTParty。

以下是使用不同编程语言编写的图片爬虫示例,涵盖 PythonJavaScript (Node.js)Ruby 三种常见语言,并附核心思路解释:

1. Python 版本 (推荐)

依赖库 : requests, BeautifulSoup, os

ini 复制代码
import os
import requests
from bs4 import BeautifulSoup
​
# 目标网页 URL
url = 'https://example.com/images'
​
# 创建保存图片的目录
os.makedirs('images_py', exist_ok=True)
​
# 发送 HTTP 请求
response = requests.get(url)
response.raise_for_status()  # 检查请求是否成功
​
# 解析 HTML
soup = BeautifulSoup(response.text, 'html.parser')
​
# 提取所有图片链接(根据实际网页结构调整选择器)
img_tags = soup.select('img')  # 或 soup.find_all('img', {'class': 'thumbnail'})
​
# 下载并保存图片
for img in img_tags:
    img_url = img.get('src')
    if not img_url.startswith('http'):
        img_url = f'https://example.com{img_url}'  # 补全相对路径
    img_data = requests.get(img_url).content
    filename = os.path.join('images_py', os.path.basename(img_url))
    with open(filename, 'wb') as f:
        f.write(img_data)
    print(f'下载完成: {filename}')

2. JavaScript (Node.js) 版本

依赖库 : axios, cheerio, fs, path

ini 复制代码
const axios = require('axios');
const cheerio = require('cheerio');
const fs = require('fs');
const path = require('path');
const { promisify } = require('util');
const writeFile = promisify(fs.writeFile);
​
async function downloadImages() {
  const url = 'https://example.com/images';
  const dir = 'images_js';
​
  // 创建目录
  if (!fs.existsSync(dir)) fs.mkdirSync(dir);
​
  // 获取网页内容
  const response = await axios.get(url);
  const $ = cheerio.load(response.data);
​
  // 遍历图片标签
  $('img').each(async (i, img) => {
    let imgUrl = $(img).attr('src');
    if (!imgUrl.startsWith('http')) {
      imgUrl = new URL(imgUrl, url).href; // 处理相对路径
    }
​
    // 下载图片
    try {
      const imageResponse = await axios.get(imgUrl, { responseType: 'arraybuffer' });
      const filename = path.join(dir, path.basename(imgUrl));
      await writeFile(filename, imageResponse.data);
      console.log(`下载完成: ${filename}`);
    } catch (err) {
      console.error(`下载失败: ${imgUrl}`, err.message);
    }
  });
}
​
downloadImages();

3. Ruby 版本

依赖库 : nokogiri, httparty, fileutils

ruby 复制代码
require 'nokogiri'
require 'httparty'
require 'fileutils'
​
url = 'https://example.com/images'
dir = 'images_rb'
​
# 创建保存目录
FileUtils.mkdir_p(dir)
​
# 获取网页内容
response = HTTParty.get(url)
doc = Nokogiri::HTML(response.body)
​
# 提取图片链接
doc.css('img').each do |img|
  img_url = img['src']
  next unless img_url
​
  # 处理相对路径
  img_url = URI.join(url, img_url).to_s unless img_url.start_with?('http')
​
  # 下载图片
  begin
    image_data = HTTParty.get(img_url, { headers: { 'User-Agent' => 'Mozilla/5.0' } }).body
    filename = File.join(dir, File.basename(img_url))
    File.open(filename, 'wb') { |f| f.write(image_data) }
    puts "下载完成: #{filename}"
  rescue => e
    puts "下载失败: #{img_url} - #{e.message}"
  end
end

关键步骤解释

  1. 发送 HTTP 请求: 使用各语言的 HTTP 客户端库获取网页内容。
  2. 解析 HTML : 利用解析库(如 BeautifulSoup、Cheerio、Nokogiri)定位 <img> 标签。
  3. 处理图片路径: 确保相对路径转换为绝对 URL。
  4. 下载图片: 再次发送请求获取图片二进制数据。
  5. 保存文件: 将二进制数据写入本地文件。

注意事项

  1. 遵守规则 : 检查目标网站的 robots.txt 和版权声明。
  2. 限速策略 : 添加延迟(如 time.sleep(1))避免被封禁。
  3. 错误处理: 增加重试机制和异常捕获。
  4. 动态页面 : 若页面通过 JavaScript 加载,需使用无头浏览器(如 Python 的 selenium 或 Node.js 的 puppeteer)。

根据实际需求调整选择器和 URL 处理逻辑。

相关推荐
CCF_NOI.1 小时前
谷歌浏览器深入用法全解析:解锁高效网络之旅
大数据·运维·服务器·前端·计算机·谷歌
paopaokaka_luck4 小时前
基于SpringBoot+Uniapp的健身饮食小程序(协同过滤算法、地图组件)
前端·javascript·vue.js·spring boot·后端·小程序·uni-app
患得患失9495 小时前
【前端】【vscode】【.vscode/settings.json】为单个项目配置自动格式化和开发环境
前端·vscode·json
飛_5 小时前
解决VSCode无法加载Json架构问题
java·服务器·前端
YGY Webgis糕手之路7 小时前
OpenLayers 综合案例-轨迹回放
前端·经验分享·笔记·vue·web
90后的晨仔8 小时前
🚨XSS 攻击全解:什么是跨站脚本攻击?前端如何防御?
前端·vue.js
Ares-Wang8 小时前
JavaScript》》JS》 Var、Let、Const 大总结
开发语言·前端·javascript
90后的晨仔8 小时前
Vue 模板语法完全指南:从插值表达式到动态指令,彻底搞懂 Vue 模板语言
前端·vue.js
德育处主任8 小时前
p5.js 正方形square的基础用法
前端·数据可视化·canvas