parquet-go的CSVWriter

parquet-go的CSVWriter

代码:

go 复制代码
package main

import (
	"github.com/xitongsys/parquet-go-source/local"
	"github.com/xitongsys/parquet-go/writer"
	"log"
)

func main() {
	var err error
	md := []string{
		"name=Name, type=BYTE_ARRAY, convertedtype=UTF8, encoding=PLAIN",
		"name=address, type=LIST, valuetype=BYTE_ARRAY, valueconvertedtype=UTF8",
	}

	//write
	fw, err := local.NewLocalFileWriter("csv.parquet")
	if err != nil {
		log.Println("Can't open file", err)
		return
	}
	pw, err := writer.NewCSVWriter(md, fw, 4)
	if err != nil {
		log.Println("Can't create csv writer", err)
		return
	}

	num := 10
	for i := 0; i < num; i++ {
		data2 := []interface{}{
			"Student Name",
			[]string{"string1", "string2", "string3"},
		}
		if err = pw.Write(data2); err != nil {
			log.Println("Write error", err)
		}

	}
	if err = pw.WriteStop(); err != nil {
		log.Println("WriteStop error", err)
	}
	log.Println("Write Finished")
	fw.Close()

}

执行这段代码会报错:

go 复制代码
pw, err := writer.NewCSVWriter(md, fw, 4)

报错如下:

shell 复制代码
failed to create schema from tag map: type LIST: not a valid Type string

分析原因后是CSVWriter不支持LIST。

具体报错在这里:

go 复制代码
if t, err := parquet.TypeFromString(info.Type); err == nil {
	schema.Type = &t

} else {
		return nil, fmt.Errorf("type " + info.Type + ": " + err.Error())
}

进入parquet.TypeFromString()

go 复制代码
func TypeFromString(s string) (Type, error) {
	switch s {
	case "BOOLEAN":
		return Type_BOOLEAN, nil
	case "INT32":
		return Type_INT32, nil
	case "INT64":
		return Type_INT64, nil
	case "INT96":
		return Type_INT96, nil
	case "FLOAT":
		return Type_FLOAT, nil
	case "DOUBLE":
		return Type_DOUBLE, nil
	case "BYTE_ARRAY":
		return Type_BYTE_ARRAY, nil
	case "FIXED_LEN_BYTE_ARRAY":
		return Type_FIXED_LEN_BYTE_ARRAY, nil
	}
	return Type(0), fmt.Errorf("not a valid Type string")
}

可以看到这里并没有LIST,也没有MAP。只支持如上一些类型。

相关推荐
拖孩6 分钟前
# 我又用 AI 做了个小程序:24 天,记录我这辈子认识的人
前端·后端·微信小程序
Csvn16 分钟前
Nginx rewrite 与 server_name:last/break 语义、多域名匹配与伪静态
后端·nginx
专注仿真28 分钟前
基于 AFSIM 的智能体训练:多智能体强化学习篇 —— QTRAN 算法实战
开发语言·python·算法·php·强化学习·afsim智能体·仿真训练
AAA修煤气灶刘哥1 小时前
32 GB 内存跑起 1800 亿参数模型,代价是什么?
人工智能·后端·架构
SimonKing1 小时前
零 OCR 依赖!Firecrawl 这个 Rust 库把 Word / PPT / Excel 全变成 Markdown
java·后端·程序员
Rain的Java大神之路1 小时前
别被 ChatGPT 的打字机效果骗了:一字一字蹦,才是 LLM 自回归的命门(附大厂 Java 流式落地)
java·后端·面试
AAA修煤气灶刘哥1 小时前
同一个项目,为什么换个 Agent 又得从头解释?
后端·架构·代码规范
BingoGo2 小时前
PHP 8.6 正式发布
后端·php
JaguarJack2 小时前
PHP 8.6 正式发布
后端·php·服务端
Funlang2 小时前
RISC-V 上的 Fun:第四套机器码
开发语言·risc-v·龙芯