03-用户画像+Elasticsearch

优点

  • es支持海量数据的写入和更新
  • es可以和hadoop,hive及spark进行集成
  • es支持hivesql的操作,可以通过hivesql将数据导入es
  • es的在进行数据检索查询是速度比较快
  • es是分布式存储

应用

全文检索

全文检索流程:

1-对文档数据(文本数据)进行分词

2-将分词数据建立索引

3-根据分词查询数据

官网 https://www.elastic.co/cn/

ES 分布式搜索服务 文本数据存储

  • 存储单元 shard 分片
  • 副本 默认 2
    • 主分片 副本分片
  • 索引 相同类型数据 先创建索引,然后存储数据
  • 元数据
    • 分片信息,datanode信息
      • 被master管理
  • 自己内部有选举算法实现master选举

es启动命令

python 复制代码
su es
cd
elasticsearch -d

es客户端工具使用

启动

在浏览器输入网址

Pycharm的客户端插件


python 复制代码
# 创建索引
PUT itcast


# 写入 数据
POST itcast/_doc
{
  "name": "张飒",
  "age": 20
}

# 查询数据
GET itcast/_search

# 删除索引
DELETE itcast

# 查看索引配置
GET itcast/_settings

# 修改索引配置
PUT itcast/_settings
{
  "number_of_replicas": "0"
}

elasticsearch 模块安装

python 复制代码
pip install elasticsearch==7.17.3 -i https://mirrors.aliyun.com/pypi/simple

开发

python 复制代码
# 导入模块
# Elasticsearch类封装了操作es的方法
from elasticsearch import Elasticsearch
# 1、创建索引库
es = Elasticsearch(hosts=['192.168.88.166:9200'])
# index='itheima' 指定索引库名
# id=1 指定数据id
# document 指定数据内容
# res = es.index(index='itheima',id=1,document={'name':'张三','age':20,'gender':'男性'})
res = es.index(index='itheima',id=2,document='{"name":"李四","age":22,"gender":"男性"}')
# 查看创建后的信息
# print(res)

# 2、查询创建的数据
# 返回的结果是字典类型,可以按照字典方式进行取值
# 查询所有数据
res = es.search(index='itheima')
print(res["hits"]['hits'][0]['_source'])

# 2-1 按照指定一个字段查询
res = es.search(index='itheima',query={'match':{'name':"李四"}})
print(res["hits"]['hits'][0]['_source'])

# 2-2 按照指定多个字段查询
res = es.search(index='itheima',query={'multi_match':{'query':"李四",'fields':["name",'gender']}})
print(res["hits"]['hits'][0]['_source'])

# 2-3 指定id查询
res = es.get(index='itheima',id=1)
print(res['_source'])
相关推荐
wuyk55513 小时前
Spider-第16讲-线程池与竞态问题
大数据·爬虫·python·elasticsearch·搜索引擎
数字新视界16 小时前
全国产化动环监控平台在机房智能化管理中的应用探索
大数据·人工智能·数据中心·机房管理·模块化机房
TDengine (老段)18 小时前
TDengine IDMP 预测、异常检测与数据插补
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
Elasticsearch20 小时前
Java4Shell 远程代码执行漏洞 - CVE-2026-114938
elasticsearch
字节跳动数据平台21 小时前
火山引擎 VeKnow 落地指南(上):从选场景到知识治理
大数据
Elasticsearch1 天前
哈利波特问答 Agent Builder + Workflow 教程
elasticsearch
安心联-车辆监控管理系统1 天前
以事实为基础,详解车辆主动安全相关功能
大数据·人工智能·安全
Elasticsearch1 天前
复制、粘贴,即刻捕获:利用文本指纹识别检测电子邮件和生成式人工智能提示词中的数据泄露
elasticsearch
大大大大晴天2 天前
每天认识一个组件:VictoriaMetrics
大数据
龙腾AI白云2 天前
具身智能的空间导航与未知环境探索
大数据·数据库·人工智能·机器学习·知识图谱