[Java]_[初级]_[以SAX流的方式高效读取XML大文件]

场景

  1. XML文件作为默认utf8格式的文件,它的作用和JSON文件相当。比如可以做为简单的数据存储格式,配置文件,网站的sitemap.xml导航等。它比json强的一点是它还有样式描述文件dtd,可以实现让XML里的结构化数据显示表格样式。
xml 复制代码
<?xml version="1.0" encoding="UTF-8"?>
  1. sitemap.xml作为网站的站点地图,提供了固定的格式化数据, 也方便了搜索引擎进行索引。 因此对sitemap.xml的读写功能是比较重要的。那么如何实现大数据量的XML读写才可以节省内存和减少指令的执行?
xml 复制代码
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
  xmlns:xhtml="http://www.w3.org/1999/xhtml">
	<url>
	<loc>https://blog.csdn.net/infoworld</loc>
	<priority>1.0</priority>
	<lastmod>2023-07-28</lastmod>
	<changefreq>Daily</changefreq>
	</url>
</urlset>

说明

  1. JSON一样,对XML读用流的方式,可以减少中间的DOM模型的生成,也不需要读取整个XML文件到内存。这样的API不需要借助第三方库,Java标准库里就有。
java 复制代码
import org.xml.sax.Attributes;
import org.xml.sax.SAXException;
import org.xml.sax.helpers.DefaultHandler;

import javax.xml.parsers.ParserConfigurationException;
import javax.xml.parsers.SAXParser;
import javax.xml.parsers.SAXParserFactory;
  1. 流式读取使用SAX模型的方式,从开头按起始标签和结束标签的方式进行读取数据。并需要实现自己的Handler来处理需要的元素。这个Handler就是模板类,它的相关方法会在识别到XML特定的对象是调用,比如属性,起始结束元素,元素值等。
java 复制代码
public boolean readAll(File file){

	SAXParserFactory sf = SAXParserFactory.newInstance();
	boolean result = false;
	try {
	    SAXParser sp = sf.newSAXParser();
	    sp.parse(file,this);
	    logger.info(sitemaps.size()+"");
	    result = true;
	} catch (ParserConfigurationException e) {
	    logger.error(e.getMessage());
	} catch (SAXException e) {
	    logger.error(e.getMessage());
	} catch (IOException e) {
	    logger.error(e.getMessage());
	}

	return result;
}

例子

  1. 以下是读取sitemap.xml文件的Reader实现,Sitemap对象实际就是Map对象。

SitemapReader

java 复制代码
import Sitemap;
import org.apache.log4j.Logger;
import org.xml.sax.Attributes;
import org.xml.sax.SAXException;
import org.xml.sax.helpers.DefaultHandler;

import javax.xml.parsers.ParserConfigurationException;
import javax.xml.parsers.SAXParser;
import javax.xml.parsers.SAXParserFactory;
import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public class SitemapReader extends DefaultHandler {

    private static Logger logger = Logger.getLogger(SitemapReader.class);

    private ArrayList<Sitemap> sitemaps = new ArrayList<>();
    private Sitemap current;
    private String cPValue;
    private String cPName;

    /**
     * 重置Reader,可以再次读取
     */
    public void reset(){
        sitemaps.clear();
        cPName = null;
        cPValue = null;
        current = null;
    }

    /**
     *
     * @return 读取到的sitemaps;
     */
    public List<Sitemap> getSitemaps(){
        return sitemaps;
    }

    /**
     *
     * @param file
     * @return
     */
    public boolean readAll(File file){
        SAXParserFactory sf = SAXParserFactory.newInstance();
        boolean result = false;
        try {
            SAXParser sp = sf.newSAXParser();
            sp.parse(file,this);
            logger.info(sitemaps.size()+"");
            result = true;
        } catch (ParserConfigurationException e) {
            logger.error(e.getMessage());
        } catch (SAXException e) {
            logger.error(e.getMessage());
        } catch (IOException e) {
            logger.error(e.getMessage());
        }

        return result;
    }

    @Override
    public void characters(char[] ch, int start, int length) throws SAXException {
        if(cPName != null && current != null) {
            cPValue = new String(ch, start, length);
            current.put(cPName,cPValue);
        }
    }

    @Override
    public void endElement(String uri, String localName, String qName) throws SAXException {
        cPName = null;
        cPValue = null;

        switch(qName) {
            case "url": {
                sitemaps.add(current);
                current = null;
                break;
            }
        }
    }

    @Override
    public void startElement(String uri, String localName, String qName, Attributes attributes) throws SAXException {

        cPName = null;
        cPValue = null;

        switch(qName){
            case "url":{
                current = new Sitemap();
                break;
            }
            default:
                cPName = qName;
        }
    }
}

TestSitemapReader

java 复制代码
import Sitemap;
import SitemapReader;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.junit.runners.JUnit4;

import java.io.File;
import java.net.URL;
import java.util.List;
import java.util.logging.Logger;

@RunWith(JUnit4.class)
public class TestSitemapReader{

    Logger logger = Logger.getLogger(TestSitemapReader.class.getName());

    @Test
    public void testXmlSaxReader(){
        URL resource = this.getClass().getResource("/");
        String path = resource.getPath();

        File file = new File(path+"..\\..\\..\\..\\doc\\tests\\xml\\sitemap.xml");
        SitemapReader sr = new SitemapReader();
        if(sr.readAll(file)){
            List<Sitemap> sitemaps = sr.getSitemaps();
            logger.info(sitemaps.size()+"");
        }

    }
}

参考

  1. SAX方式读取XML文件

  2. SAXParser

相关推荐
confiself13 分钟前
大模型系列——LLAMA-O1 复刻代码解读
java·开发语言
Wlq041518 分钟前
J2EE平台
java·java-ee
XiaoLeisj25 分钟前
【JavaEE初阶 — 多线程】Thread类的方法&线程生命周期
java·开发语言·java-ee
豪宇刘39 分钟前
SpringBoot+Shiro权限管理
java·spring boot·spring
Elaine20239144 分钟前
02多线程基础知识
java·多线程
gorgor在码农1 小时前
Redis 热key总结
java·redis·热key
百事老饼干1 小时前
Java[面试题]-真实面试
java·开发语言·面试
customer081 小时前
【开源免费】基于SpringBoot+Vue.JS医院管理系统(JAVA毕业设计)
java·vue.js·spring boot·后端·spring cloud·开源·intellij-idea
2402_857589361 小时前
SpringBoot框架:作业管理技术新解
java·spring boot·后端