Python使用FastAPI结合Word2vec来向量化200维的语言向量数值

准备

bash 复制代码
pip install fastapi>=0.68.0
pip install uvicorn[standard]>=0.15.0
pip install gensim>=4.0.0
pip install jieba>=0.42.1
pip install numpy>=1.21.0
pip install scikit-learn>=1.0.0

少了的就直接补充就好

代码

python 复制代码
from fastapi import FastAPI, HTTPException
from gensim.models import KeyedVectors
import jieba
import numpy as np
import os
import logging

# 配置日志
logging.basicConfig(level=logging.INFO)

app = FastAPI(title="Text Embedding API")

# 路径配置
MODEL_PATH = os.path.abspath("../light_Tencent_AILab_ChineseEmbedding.bin")


# 服务启动前检查
@app.on_event("startup")
async def load_model():
    global model
    try:
        if not os.path.exists(MODEL_PATH):
            raise FileNotFoundError(f"Model file not found: {MODEL_PATH}")

        model = KeyedVectors.load_word2vec_format(MODEL_PATH, binary=True)
        logging.info(f"✅ 模型加载成功 | 词表量:{len(model.key_to_index)}")
        logging.info(f"✅ 词向量维度:{model.vector_size}")  # 确认输出200

    except Exception as e:
        logging.error(f"❌ 初始化失败:{str(e)}")
        raise RuntimeError("Service initialization failed")


def text_to_vector(text: str) -> np.ndarray:
    """直接返回200维向量"""
    words = jieba.lcut(text)
    vectors = []
    for word in words:
        if word in model.key_to_index:
            vec = model[word]
            # 添加维度验证
            assert vec.shape == (200,), f"词向量维度异常: {vec.shape}"
            vectors.append(vec)

    if not vectors:
        return np.zeros(model.vector_size)

    avg_vector = np.mean(vectors, axis=0)
    assert avg_vector.shape == (200,), f"平均向量维度异常: {avg_vector.shape}"
    return avg_vector


@app.get("/vector")
async def get_vector(sentence: str):
    if not model:
        raise HTTPException(503, "服务未就绪")

    if len(sentence.strip()) < 2:
        raise HTTPException(400, "输入文本过短")

    try:
        vector = text_to_vector(sentence)
        return {
            "dimension": vector.size,
            "vector": vector.tolist()
        }
    except Exception as e:
        logging.error(f"处理失败:{str(e)}")
        raise HTTPException(500, "内部错误")


if __name__ == "__main__":
    import uvicorn

    uvicorn.run(app, host="0.0.0.0", port=8000)
相关推荐
天才测试猿4 分钟前
常见的Jmeter压测问题
自动化测试·软件测试·python·测试工具·jmeter·职场和发展·压力测试
mortimer4 分钟前
一次与“顽固”外部程序的艰难交锋:subprocess 调用exe踩坑实录
windows·python·ai编程
lifallen9 分钟前
JCTools 无锁并发队列基础:ConcurrentCircularArrayQueue
java·开发语言·数据结构·算法
千里镜宵烛38 分钟前
深入理解 Linux 线程:从概念到虚拟地址空间的全面解析
开发语言·c++·操作系统·线程
Eternity_GQM1 小时前
【Word VBA Zotero 引用宏错误分析与改正指南】【解决[21–23]参考文献格式插入超链接问题】
开发语言·c#·word
张柏慈1 小时前
JavaScript性能优化30招
开发语言·javascript·性能优化
来自天蝎座的孙孙1 小时前
洛谷P1595讲解(加强版)+错排讲解
python·算法
promising-w2 小时前
【嵌入式C语言】六
c语言·开发语言
打不了嗝 ᥬ᭄2 小时前
Linux 信号
linux·开发语言·c++·算法
张子夜 iiii2 小时前
机器学习算法系列专栏:主成分分析(PCA)降维算法(初学者)
人工智能·python·算法·机器学习