使用阿里云试用Elasticsearch学习:sentence-transformers 包使用

环境:centos8,windows坑太多。

一、检查linux环境openssl哪个版本(如果是OpenSSL 1.1.1k+ 直接跳过)

bash 复制代码
[root@hecs-334217 python39]# openssl version
OpenSSL 1.0.2k-fips  26 Jan 2017

原因后续会出麻烦,遇到这种情况最好换一个系统,不然浪费时间:

bash 复制代码
# Ensure that Python is compiled with OpenSSL 1.1.1+
# If the 'ssl' module isn't available at all that's
# fine, we only care if the module is available.
try:
    import ssl
except ImportError:
    pass
else:
    if not ssl.OPENSSL_VERSION.startswith("OpenSSL "):  # Defensive:
        warnings.warn(
            "urllib3 v2 only supports OpenSSL 1.1.1+, currently "
            f"the 'ssl' module is compiled with {ssl.OPENSSL_VERSION!r}. "
            "See: https://github.com/urllib3/urllib3/issues/3020",
            exceptions.NotOpenSSLWarning,
        )
    elif ssl.OPENSSL_VERSION_INFO < (1, 1, 1):  # Defensive:
        raise ImportError(
            "urllib3 v2 only supports OpenSSL 1.1.1+, currently "
            f"the 'ssl' module is compiled with {ssl.OPENSSL_VERSION!r}. "
            "See: https://github.com/urllib3/urllib3/issues/2168"
        )

安装openssl11

bash 复制代码
sudo yum install openssl11

备份并删除原openssl

bash 复制代码
sudo mv /usr/bin/openssl /usr/bin/openssl_backup
sudo rm /usr/bin/openssl

软链

bash 复制代码
sudo ln -sf /usr/bin/openssl11 /usr/bin/openssl
sudo ln -sf /usr/lib64/libcrypto.so.1.1k /usr/lib64/libcrypto.so
sudo ln -sf /usr/lib64/libssl.so.1.1k /usr/lib/libssl.so

二、python3.9.9 安装

下载地址

linux选这个:Gzipped source tarball
安装包

将下载好的安装包放到指定服务器

bash 复制代码
# 不建议速度太慢
wget https://www.python.org/ftp/python/3.9.9/Python-3.9.9.tgz

下面这个依赖一定要安装,不然后面会出现乱七八糟缺少以来的问题,比如:_ctypes 模块不存在

bash 复制代码
sudo yum install gcc openssl-devel bzip2-devel libffi-devel zlib-devel
  1. 解压缩源代码
    将下载的压缩包解压缩到你希望安装 Python 的目录。你可以选择在 /usr/local 目录下创建一个新目录,例如 python39,并将源代码解压缩到该目录中。
bash 复制代码
sudo tar -zxvf Python-3.9.9.tgz
sudo mv Python-3.9.9 /usr/local/python39/
  1. 配置和编译: 进入解压后的 Python 源代码目录,并执行以下命令来配置 Python 的编译选项和编译源代码:
bash 复制代码
cd /usr/local/python39
./configure --enable-optimizations
make -j$(nproc)

--enable-optimizations 参数会在编译时应用一些优化,这可能会增加编译时间。

  1. 安装: 编译完成后,执行以下命令来安装 Python:
bash 复制代码
sudo make altinstall

使用 altinstall 而不是 install 选项可以防止覆盖系统默认的 Python 版本。

  1. 验证安装: 安装完成后,你可以使用以下命令来验证 Python 的安装:
bash 复制代码
python3.9 --version

三、验证

下载对应的包

bash 复制代码
pip-tools
flask
python-dotenv
elasticsearch
sentence-transformers

启动python3:

bash 复制代码
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('all-MiniLM-L6-v2')
embedding = model.encode('The quick brown fox jumps over the lazy dog')
print(embedding )

四、远程解释器出错

generator3/main.py

五、连接不到 https://huggingface.co

参考:https://blog.csdn.net/m0_65609016/article/details/134020029

原因:外网访问不到

解决:直接去官网把模型下载下来,all-MiniLM-L6-v2

将参数替换为模型的本地路径

成功:

相关推荐
jwolf21 小时前
Elasticsearch向量搜索:从语义搜索到图搜图只有一步之遥
elasticsearch·搜索引擎·ai
你可以叫我仔哥呀2 小时前
ElasticSearch学习笔记三:基础操作(一)
笔记·学习·elasticsearch
hummhumm3 小时前
第 25 章 - Golang 项目结构
java·开发语言·前端·后端·python·elasticsearch·golang
java1234_小锋6 小时前
Elasticsearch中的节点(比如共20个),其中的10个选了一个master,另外10个选了另一个master,怎么办?
大数据·elasticsearch·jenkins
Elastic 中国社区官方博客6 小时前
Elasticsearch 开放推理 API 增加了对 IBM watsonx.ai Slate 嵌入模型的支持
大数据·数据库·人工智能·elasticsearch·搜索引擎·ai·全文检索
我的运维人生6 小时前
Elasticsearch实战应用:构建高效搜索与分析平台
大数据·elasticsearch·jenkins·运维开发·技术共享
Mephisto.java10 小时前
【大数据学习 | Spark】Spark的改变分区的算子
大数据·elasticsearch·oracle·spark·kafka·memcache
mqiqe11 小时前
Elasticsearch 分词器
python·elasticsearch
小马爱打代码11 小时前
Elasticsearch简介与实操
大数据·elasticsearch·搜索引擎
java1234_小锋19 小时前
Elasticsearch是如何实现Master选举的?
大数据·elasticsearch·搜索引擎