PHP——爬虫DOM解析

背景

php在爬取网页信息的时候,有一些函数可以使用。

这里介绍两个

  • DOMDocument
  • DOMXPath
代码解析
复制代码
<?php
// 示例HTML
$html = '<!DOCTYPE html>
<html>
  <head>
  <meta charset="UTF-8">
    <title>Example</title>
  </head>
  <body>
    <div>
      <p>Hello World!</p>
      <p xx="test_custom_key" k="test_multi_key">this is a test 中文</p>
      <a href="#xxx_link">Link</a>
      <p id="xxx_p">Link</p>
      <a href="#xxx_link------2">Link</a>
      <a href="#xxx_link_%E4%B8%AD%E6%96%87%E9%93%BE%E6%8E%A5">Link</a>
    </div>
    <div id="custom_div_id">
        <p id="xxx">Another paragraph</p>
        <a href="#">Another link</a>
        <div>second empty div</div>
        <div id="custom_div_id">
            <p>second div paragraph</p>
        </div>
    </div>
  </body>
</html>';

function printDomNode($paragraph){
    echo "----\nNode: ".$paragraph->nodeValue . "\n";
    echo "all attr: \n";
    for ($i = 0; $i < $paragraph->attributes->length; $i++) {
        $attr = $paragraph->attributes->item($i);
        echo "\t".$attr->nodeName . ': ' . $attr->nodeValue . "\n";
    }
}

// 创建DOMDocument实例并加载HTML
$dom = new DOMDocument();
@$dom->loadHTML($html);

// 创建DOMXPath实例
$xpath = new DOMXPath($dom);


echo "----------------------------\n";
// 示例1:查找所有<p>元素
$paragraphs = $xpath->query('//p');
foreach ($paragraphs as $paragraph) {
    echo "----\nNode----------: ".$paragraph->nodeValue . "\n";
    echo "id attr: ".$paragraph->getAttribute('id') . "\n";
    echo "all attr: \n";
    for ($i = 0; $i < $paragraph->attributes->length; $i++) {
        $attr = $paragraph->attributes->item($i);
        echo "\t".$attr->nodeName . ': ' . $attr->nodeValue . "\n";
    }
    echo "=foreach=\n";
    foreach ($paragraph->attributes as $attr) {
        echo "\t".$attr->name . ': ' . $attr->value . "\n";
        echo "\t".$attr->nodeName . ': ' . $attr->nodeValue . "\n";
    }

}

echo "----------------------------\n";
$paragraphs = $xpath->query('//p[@xx="test_custom_key"]');
foreach ($paragraphs as $paragraph) {
    printDomNode($paragraph);
}

echo "----------------------------\n";
// 示例2:查找包含特定文本的<a>元素
$links = $xpath->query('//a[text()="Link"]');
//$links = $xpath->query('//*[text()="Link"]'); //不限制a标签,会找到所有值是Link的节点
foreach ($links as $link) {
    $herf = $link->getAttribute('href');
    echo "origin: ".$herf . "\n";
    echo "decode: ".urldecode($herf) . "\n";
}

//如果找到指定路径下面的节点
echo "----------------------------指定路径下的p节点\n";
$paragraphs = $xpath->query('//div[@id="custom_div_id"]//p[@id="xxx"]');
foreach ($paragraphs as $paragraph) {
    printDomNode($paragraph);
}

echo "----------------------------\n";
// 示例3:查找<div>元素内的所有节点(这个会找到所有子节点,包括节点里面的节点)
$divChildren = $xpath->query('//div/*');
foreach ($divChildren as $child) {
//    echo $child->nodeName . ": " . $child->nodeValue . "\n";
    printDomNode($paragraph);
}

?>

示例:比如获取一个html文档中的p标签

  • 步骤
    • 获取网页html
      • 这里省略了请求url。如果需要从url获取html:$html = file_get_contents($url);
    • 将html文件构建成DOM树结构
    • 使用DOMXPath类来查找指定的元素节点
      • 构建DOMXPath类实例
      • 使用query函数查询
        • 如果找所有p标签,那么会遍历整个树,把所有的p标签找出来
        • 如何找指定属性的p标签:p[@xx="test_custom_key"]
          • 这里的xx是自定义的属性
          • 这里的@表示选择节点的属性
        • 如何找到指定路径下的节点
          • //div[@id="custom_div_id"]//p[@id="xxx"]
相关推荐
行思理1 小时前
Dockerfile 各指令说明
运维·macos·docker·容器·php
阿巴~阿巴~2 小时前
线程局部存储(Thread-Local Storage, TLS)
linux·服务器·开发语言·c++·线程·虚拟地址空间·线程局部存储
dont worry about it3 小时前
使用亮数据爬虫API零门槛快速爬取Tiktok数据
开发语言·爬虫·python
长存祈月心4 小时前
Rust 迭代器适配器
java·服务器·前端
小白学大数据4 小时前
Python爬虫定时任务:自动化抓取豆瓣每日最新短评
爬虫·python·自动化
格拉格拉5 小时前
PHP基础知识
开发语言·php·php基础
cmc10285 小时前
144.新工程导入原来工程的bd.tcl时原工程带有第三方自定义ip报错解决办法
服务器·网络·tcp/ip
路由侠内网穿透6 小时前
本地部署开源物联网平台 ThingsBoard 并实现外部访问( Windows 版本)
运维·服务器·windows·物联网·开源
微信api接口介绍6 小时前
微信个人发消息api
运维·服务器·开发语言·前端·网络·微信·ipad
攻心的子乐6 小时前
MinIO 开源的分布式文件服务器
运维·服务器