【python】Gpt-embedding文本建模

要使用Gpt-embedding计算两组在不同主题下的相似度，可以按照以下步骤进行：

1. 准备数据

• 收集公司文档 D c D_c Dc 和政府文档 D g D_g Dg。

2. 定义主题和关键词

• 设定主题集合 T = { t 1 , t 2 , ... , t n } T = \{t_1, t_2, \ldots, t_n\} T={t1,t2,...,tn} 和对应的关键词集合 K ( t i ) K(t_i) K(ti)。

3. 生成主题嵌入

• 对于每个主题 t i t_i ti，生成嵌入向量 E ( t i ) E(t_i) E(ti)：
  E ( t i ) = Embedding ( K ( t i ) ) E(t_i) = \text{Embedding}(K(t_i)) E(ti)=Embedding(K(ti))

4. 生成文档嵌入

• 生成公司文档和政府文档的嵌入向量：
  E ( D c ) = Embedding ( D c ) E(D_c) = \text{Embedding}(D_c) E(Dc)=Embedding(Dc)
  E ( D g ) = Embedding ( D g ) E(D_g) = \text{Embedding}(D_g) E(Dg)=Embedding(Dg)

5. 计算相似度

• 对于每个主题 t i t_i ti，计算公司文档与主题的相似度 S c ( t i ) S_c(t_i) Sc(ti) 和政府文档与主题的相似度 S g ( t i ) S_g(t_i) Sg(ti)：
  S c ( t i ) = CosineSimilarity ( E ( D c ) , E ( t i ) ) S_c(t_i) = \text{CosineSimilarity}(E(D_c), E(t_i)) Sc(ti)=CosineSimilarity(E(Dc),E(ti))
  S g ( t i ) = CosineSimilarity ( E ( D g ) , E ( t i ) ) S_g(t_i) = \text{CosineSimilarity}(E(D_g), E(t_i)) Sg(ti)=CosineSimilarity(E(Dg),E(ti))

• 计算公司文档与政府文档之间的相似度 S(D_c, D_g) ：
  S ( D c , D g ) = CosineSimilarity ( E ( D c ) , E ( D g ) ) S(D_c, D_g) = \text{CosineSimilarity}(E(D_c), E(D_g)) S(Dc,Dg)=CosineSimilarity(E(Dc),E(Dg))

6. 输出结果

• 输出每个主题的相似度得分：
  Result = { ( t i , S c ( t i ) , S g ( t i ) , S ( D c , D g ) ) ∣ ∀ t i ∈ T } \text{Result} = \{(t_i, S_c(t_i), S_g(t_i), S(D_c, D_g)) | \forall t_i \in T\} Result={(ti,Sc(ti),Sg(ti),S(Dc,Dg))∣∀ti∈T}

要点

• 使用text-embedding-3-small模型为每个主题的关键词生成嵌入向量。

• 使用相同的模型为公司文档和政府文档生成嵌入向量。

• 对于每个主题，计算公司文档嵌入与政府文档嵌入之间的相似度得分。

示例代码（Python伪代码）

from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
import openai  # 确保你安装了OpenAI的Python库

# 假设你有两个文档
company_document = "公司文档内容"
government_document = "政府文档内容"

# 定义18个主题和关键词
themes = {
    "主题1": ["关键词1", "关键词2"],
    "主题2": ["关键词3", "关键词4"],
    # 继续为其他主题定义关键词，直到主题18
}

# 生成主题嵌入
theme_embeddings = {}
for theme, keywords in themes.items():
    keywords_str = ' '.join(keywords)
    embedding = openai.Embedding.create(input=keywords_str, model="text-embedding-3-small")['data'][0]['embedding']
    theme_embeddings[theme] = embedding

# 生成文档嵌入
company_embedding = openai.Embedding.create(input=company_document, model="text-embedding-3-small")['data'][0]['embedding']
government_embedding = openai.Embedding.create(input=government_document, model="text-embedding-3-small")['data'][0]['embedding']

# 计算每个主题的相似度
similarity_scores = {}
for theme, theme_embedding in theme_embeddings.items():
    # 计算公司文档和政府文档与主题的相似度
    company_similarity = cosine_similarity([company_embedding], [theme_embedding])[0][0]
    government_similarity = cosine_similarity([government_embedding], [theme_embedding])[0][0]
    
    # 计算公司和政府文档之间的相似度
    document_similarity = cosine_similarity([company_embedding], [government_embedding])[0][0]
    
    # 存储相似度得分
    similarity_scores[theme] = {
        "company_similarity": company_similarity,
        "government_similarity": government_similarity,
        "document_similarity": document_similarity
    }

# 输出结果
for theme, scores in similarity_scores.items():
    print(f"Theme: {theme}, Company Similarity: {scores['company_similarity']}, Government Similarity: {scores['government_similarity']}, Document Similarity: {scores['document_similarity']}")