clickhouse数据结构和常用数据操作

背景, 大数据中查询用mysql时间太长, 使用clickhouse 速度快, 数据写入mysql后同步到clickhouse中

测试1千万数据模糊搜索 mysql 需要30-40秒 clickhouse 约 100ms

一 数据结构和存储引擎

1 查看clickhouse所有数据类型

select * from system.data_type_families;

2 常用数据类型及同mysql对比

|--------------|------------|--------|------------------------------------------------|
| MySQL | Clickhouse | 大小(字节) | 数据范围 |
| tinyint | Int8 | 1 | [-128 : 127] |
| smallint | Int16 | 2 | [-32768 : 32767] |
| int | Int32 | 3 | [-2147483648 : 2147483647] |
| bigint | Int64 | 4 | [-9223372036854775808 : 9223372036854775807] |
| Int unsigned | UInt32 | 3 | [0 : 4294967295] |

|--------|------------|--------|----------|
| MySQL | Clickhouse | 大小(字节) | 有效精度(位数) |
| float | Float32 | 4 | 6~7 |
| double | Flout64 | 8 | 15~16 |

3 表存储引擎 engine

TinyLog,不分区,不索引,磁盘,列数据文件(.bin)

Memory,不分区,不索引,内存 (内存中, clickhouse 重启后表结构存在但数据被清空)

Merge,合并查询,并行查询多张表,类似视图

MergeTree,分区,索引,稀疏索引文件(.idx),列标识文件(.mrk,建立.idx与.bin之间的映射关系),列数据文件(.bin)

ReplacingMergeTree,分区,索引,组内去重

SummingMergeTree,分区,索引,组内聚合

Distributed分片集群,分布式表

二 sql操作和数据导入

1 sql操作

-- 新建数据库

CREATE DATABASE IF NOT EXISTS tmp_test;

-- 新建数据表

create table demo(id Int32,name String) engine=Memory;

-- 插入数据 , 注意 字符串使用单引号

insert into demo(id,name) values(110,'zhangsan');

-- 查询

select * from demo where name like '%san%' --字符串不能使用双引号

2 数据导入

a csv直接导入, 会新建表, 默认engine是Memory

b 先新建表, 再csv导入, 好处是可以指定engine是TinyLog

c 查询出数据数组, 使用代码插入

三 php操作clickhouse数据库

GitHub - smi2/phpClickHouse: php ClickHouse wrapper

composer require smi2/phpclickhouse

复制代码
$config = [
    'host' => '192.168.1.1',
    'port' => '8123',
    'username' => 'default',
    'password' => ''
];
$db = new ClickHouseDB\Client($config);

if (!$db->ping()) echo 'Error connect';
# 查看建表sql
$db->database('tmp_test');
echo $db->showCreateTable('demo');
# 插入数据
$db->insert('demo',
    [
        [1, 'A1'],
        [2, 'A2'],
        [3, 'A3'],
    ],
    ['id', 'name']
);
# 查询
$statement = $db->select('SELECT * FROM demo LIMIT 10');
var_dump($statement->rows());
相关推荐
MMMMMMMMMMemory3 天前
clickhouse迁移工具clickhouse-copier
clickhouse
securitor3 天前
【clickhouse】设置密码
clickhouse
天道有情战天下5 天前
ClickHouse使用Docker部署
clickhouse·docker·容器
冷雨夜中漫步6 天前
ClickHouse常见问题——ClickHouseKeeper配置listen_host后不生效
java·数据库·clickhouse
qq_339191146 天前
docker 启动一个clickhouse , docker 创建ck数据库
clickhouse·docker·容器
Kookoos9 天前
ABP + ClickHouse 实时 OLAP:物化视图与写入聚合
clickhouse·c#·linq·abp vnext·实时olap
喂完待续10 天前
【Big Data】AI赋能的ClickHouse 2.0:从JIT编译到LLM查询优化,下一代OLAP引擎进化路径
大数据·数据库·clickhouse·数据分析·olap·big data·序列晋升
阿里云大数据AI技术18 天前
鹰角网络基于阿里云 EMR Serverless StarRocks 的实时分析工程实践
starrocks·clickhouse·阿里云·emr·实时分析
更深兼春远20 天前
flink+clinkhouse安装部署
大数据·clickhouse·flink