使用阿里云试用Elasticsearch学习:sentence-transformers 包使用

环境:centos8,windows坑太多。

一、检查linux环境openssl哪个版本(如果是OpenSSL 1.1.1k+ 直接跳过)

bash 复制代码
[root@hecs-334217 python39]# openssl version
OpenSSL 1.0.2k-fips  26 Jan 2017

原因后续会出麻烦,遇到这种情况最好换一个系统,不然浪费时间:

bash 复制代码
# Ensure that Python is compiled with OpenSSL 1.1.1+
# If the 'ssl' module isn't available at all that's
# fine, we only care if the module is available.
try:
    import ssl
except ImportError:
    pass
else:
    if not ssl.OPENSSL_VERSION.startswith("OpenSSL "):  # Defensive:
        warnings.warn(
            "urllib3 v2 only supports OpenSSL 1.1.1+, currently "
            f"the 'ssl' module is compiled with {ssl.OPENSSL_VERSION!r}. "
            "See: https://github.com/urllib3/urllib3/issues/3020",
            exceptions.NotOpenSSLWarning,
        )
    elif ssl.OPENSSL_VERSION_INFO < (1, 1, 1):  # Defensive:
        raise ImportError(
            "urllib3 v2 only supports OpenSSL 1.1.1+, currently "
            f"the 'ssl' module is compiled with {ssl.OPENSSL_VERSION!r}. "
            "See: https://github.com/urllib3/urllib3/issues/2168"
        )

安装openssl11

bash 复制代码
sudo yum install openssl11

备份并删除原openssl

bash 复制代码
sudo mv /usr/bin/openssl /usr/bin/openssl_backup
sudo rm /usr/bin/openssl

软链

bash 复制代码
sudo ln -sf /usr/bin/openssl11 /usr/bin/openssl
sudo ln -sf /usr/lib64/libcrypto.so.1.1k /usr/lib64/libcrypto.so
sudo ln -sf /usr/lib64/libssl.so.1.1k /usr/lib/libssl.so

二、python3.9.9 安装

下载地址

linux选这个:Gzipped source tarball
安装包

将下载好的安装包放到指定服务器

bash 复制代码
# 不建议速度太慢
wget https://www.python.org/ftp/python/3.9.9/Python-3.9.9.tgz

下面这个依赖一定要安装,不然后面会出现乱七八糟缺少以来的问题,比如:_ctypes 模块不存在

bash 复制代码
sudo yum install gcc openssl-devel bzip2-devel libffi-devel zlib-devel
  1. 解压缩源代码
    将下载的压缩包解压缩到你希望安装 Python 的目录。你可以选择在 /usr/local 目录下创建一个新目录,例如 python39,并将源代码解压缩到该目录中。
bash 复制代码
sudo tar -zxvf Python-3.9.9.tgz
sudo mv Python-3.9.9 /usr/local/python39/
  1. 配置和编译: 进入解压后的 Python 源代码目录,并执行以下命令来配置 Python 的编译选项和编译源代码:
bash 复制代码
cd /usr/local/python39
./configure --enable-optimizations
make -j$(nproc)

--enable-optimizations 参数会在编译时应用一些优化,这可能会增加编译时间。

  1. 安装: 编译完成后,执行以下命令来安装 Python:
bash 复制代码
sudo make altinstall

使用 altinstall 而不是 install 选项可以防止覆盖系统默认的 Python 版本。

  1. 验证安装: 安装完成后,你可以使用以下命令来验证 Python 的安装:
bash 复制代码
python3.9 --version

三、验证

下载对应的包

bash 复制代码
pip-tools
flask
python-dotenv
elasticsearch
sentence-transformers

启动python3:

bash 复制代码
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('all-MiniLM-L6-v2')
embedding = model.encode('The quick brown fox jumps over the lazy dog')
print(embedding )

四、远程解释器出错

generator3/main.py

五、连接不到 https://huggingface.co

参考:https://blog.csdn.net/m0_65609016/article/details/134020029

原因:外网访问不到

解决:直接去官网把模型下载下来,all-MiniLM-L6-v2

将参数替换为模型的本地路径

成功:

相关推荐
筱源源5 小时前
Elasticsearch-linux环境部署
linux·elasticsearch
Elastic 中国社区官方博客15 小时前
释放专利力量:Patently 如何利用向量搜索和 NLP 简化协作
大数据·数据库·人工智能·elasticsearch·搜索引擎·自然语言处理
Shenqi Lotus1 天前
ELK-ELK基本概念_ElasticSearch的配置
elk·elasticsearch
yeye198912241 天前
10-Query & Filtering 与多字符串多字段查询
elasticsearch
Narutolxy1 天前
精准优化Elasticsearch:磁盘空间管理与性能提升技巧20241106
大数据·elasticsearch·jenkins
谢小涛2 天前
ES管理工具Cerebro 0.8.5 Windows版本安装及启动
elasticsearch·es·cerebro
LKID体2 天前
Elasticsearch核心概念
大数据·elasticsearch·搜索引擎
晨欣2 天前
Elasticsearch里的索引index是什么概念?(ChatGPT回答)
大数据·elasticsearch·jenkins
许苑向上2 天前
最详细【Elasticsearch】Elasticsearch Java API + Spring Boot集成 实战入门(基础篇)
java·数据库·spring boot·elasticsearch
笔墨登场说说2 天前
git sonar maven 配置
大数据·elasticsearch·搜索引擎