实战：用Splash搞定JavaScript密集型网页渲染

概述

Splash是一个专为JavaScript密集型网页渲染设计的轻量级浏览器，基于WebKit内核开发，支持Lua脚本控制，能够高效处理动态内容加载的网页。

核心优势

高效渲染能力‌

完整JavaScript执行环境，支持AJAX、React、Vue等现代框架

内置HTTP API，便于集成到爬虫和自动化系统

支持页面截图和PDF导出功能

主要应用场景‌

电商平台商品数据抓取（价格、库存、评价）

社交媒体内容采集

新闻资讯网站动态内容提取

金融数据实时监控

python 复制代码

import requests
import json
from urllib.parse import quote

class SplashRenderer:
    def __init__(self, splash_url="http://localhost:8050"):
        self.splash_url = splash_url
    
    def render_page(self, url, wait_time=2):
        """渲染JavaScript密集型网页"""
        render_url = f"{self.splash_url}/render.html"
        params = {
            "url": url,
            "wait": wait_time,
            "timeout": 30,
            "images": 0,  # 禁用图片加载加速
            "resource_timeout": 10
        }
        
        response = requests.get(render_url, params=params)
        return response.text
    
    def execute_script(self, url, lua_script):
        """执行自定义Lua脚本进行高级渲染"""
        execute_url = f"{self.splash_url}/execute"
        data = {
            "lua_source": lua_script,
            "url": url
        }
        
        response = requests.post(execute_url, json=data)
        return response.json()
    
    def take_screenshot(self, url, width=1024, height=768):
        """获取页面截图"""
        render_url = f"{self.splash_url}/render.png"
        params = {
            "url": url,
            "wait": 2,
            "width": width,
            "height": height
        }
        
        response = requests.get(render_url, params=params)
        return response.content

# 使用示例
if __name__ == "__main__":
    renderer = SplashRenderer()
    
    # 渲染动态页面
    html_content = renderer.render_page("https://example.com/dynamic-page")
    print