极客时间:使用本地小型语言模型运行网页浏览器应用程序。

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

许多开源的小型语言模型已经发布,这使得在本地运行由SLMs驱动的客户端应用程序成为可能。有一个来自https://ollama.ai/blog/building-llm-powered-web-apps的有趣博客文章。我在我的M1 Mac上尝试了这个方法,结果是令人鼓舞的。

首先,从以下链接安装Ollama的Mac版本: Ollama

安装完成后,加载Mistral。

复制代码
$ ollama run mistral

要运行本地模型,请遵循以下指南:

复制代码
$ OLLAMA_ORIGINS=https://webml-demo.vercel.app OLLAMA_HOST=127.0.0.1:11435 ollama serve

然后,在内外个终端上面

复制代码
$ OLLAMA_HOST=127.0.0.1:11435 ollama pull mistral

准备好要嵌入的PDF文件,其内容是:

复制代码
Nedved likes to eat durian a lot.

然后在浏览器中输入网址 https://webml-demo.vercel.app 进行操作,接着上传之前准备好的PDF文件。

问问题 "What does Nedved like to eat?", 在上传PDF文件后,你会看到基于PDF内容的回复。如果你直接向本地运行的Mistral提出同样的问题,你会得到以下回复。

目前,还不能将SLM(小型语言模型)集成到浏览器应用中。但随着边缘硬件的改进和越来越多的SLM发布,例如llama、Mistra,以及微软最近发布的ORCA 2(参见:https://www.microsoft.com/en-us/research/blog/orca-2-teaching-small-language-models-how-to-reason/),未来出现更多基于本地SLM的Web应用是一个令人兴奋的前景。

相关推荐
巴里巴气3 分钟前
安装GPU版本的Pytorch
人工智能·pytorch·python
「、皓子~12 分钟前
后台管理系统的诞生 - 利用AI 1天完成整个后台管理系统的微服务后端+前端
前端·人工智能·微服务·小程序·go·ai编程·ai写作
笑衬人心。1 小时前
初学Spring AI 笔记
人工智能·笔记·spring
luofeiju1 小时前
RGB下的色彩变换:用线性代数解构色彩世界
图像处理·人工智能·opencv·线性代数
测试者家园1 小时前
基于DeepSeek和crewAI构建测试用例脚本生成器
人工智能·python·测试用例·智能体·智能化测试·crewai
张较瘦_1 小时前
[论文阅读] 人工智能 + 软件工程 | Call Me Maybe:用图神经网络增强JavaScript调用图构建
论文阅读·人工智能·软件工程
大模型真好玩1 小时前
准确率飙升!Graph RAG如何利用知识图谱提升RAG答案质量(四)——微软GraphRAG代码实战
人工智能·python·mcp
Baihai_IDP1 小时前
vec2text 技术已开源!一定条件下,文本嵌入向量可“近乎完美地”还原
人工智能·面试·llm
江太翁1 小时前
Pytorch torch
人工智能·pytorch·python
拓端研究室2 小时前
专题:2025即时零售与各类人群消费行为洞察报告|附400+份报告PDF、原数据表汇总下载
大数据·人工智能