基于 AI 的 Python 爬虫

✦ 支持 OPENAI、Gemini、Groq、本地 Ollama、Azure 等 LLM

✦ 只需传递 Prompt 和链接

注意：

调用 Ollama 模型，需要运行下方指令，拉取 embedding 模型：

ollama pull nomic-embed-text

问题：

似乎不能换成兼容 OpenAI 调用的 Kimi、DeepSeek 等。

用法

该模型是一个嵌入模型，这意味着它只能用于生成嵌入。

休息API

curl http://localhost:11434/api/embeddings -d '{

"model": "nomic-embed-text",

"prompt": "The sky is blue because of Rayleigh scattering"

}'

Python库

ollama.embeddings(model='nomic-embed-text', prompt='The sky is blue because of rayleigh scattering')

JavaScript 库

ollama.embeddings({ model: 'nomic-embed-text', prompt: 'The sky is blue because of rayleigh scattering' })