极客时间:使用本地小型语言模型运行网页浏览器应用程序。

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

许多开源的小型语言模型已经发布,这使得在本地运行由SLMs驱动的客户端应用程序成为可能。有一个来自https://ollama.ai/blog/building-llm-powered-web-apps的有趣博客文章。我在我的M1 Mac上尝试了这个方法,结果是令人鼓舞的。

首先,从以下链接安装Ollama的Mac版本: Ollama

安装完成后,加载Mistral。

复制代码
$ ollama run mistral

要运行本地模型,请遵循以下指南:

复制代码
$ OLLAMA_ORIGINS=https://webml-demo.vercel.app OLLAMA_HOST=127.0.0.1:11435 ollama serve

然后,在内外个终端上面

复制代码
$ OLLAMA_HOST=127.0.0.1:11435 ollama pull mistral

准备好要嵌入的PDF文件,其内容是:

复制代码
Nedved likes to eat durian a lot.

然后在浏览器中输入网址 https://webml-demo.vercel.app 进行操作,接着上传之前准备好的PDF文件。

问问题 "What does Nedved like to eat?", 在上传PDF文件后,你会看到基于PDF内容的回复。如果你直接向本地运行的Mistral提出同样的问题,你会得到以下回复。

目前,还不能将SLM(小型语言模型)集成到浏览器应用中。但随着边缘硬件的改进和越来越多的SLM发布,例如llama、Mistra,以及微软最近发布的ORCA 2(参见:https://www.microsoft.com/en-us/research/blog/orca-2-teaching-small-language-models-how-to-reason/),未来出现更多基于本地SLM的Web应用是一个令人兴奋的前景。

相关推荐
WSSWWWSSW10 分钟前
华为昇腾NPU卡 文生视频[T2V]大模型WAN2.1模型推理使用
人工智能·大模型·音视频·显卡·文生视频·文生音频·文生音乐
数据要素X17 分钟前
【数据架构10】数字政府架构篇
大数据·运维·数据库·人工智能·架构
Ronin-Lotus30 分钟前
深度学习篇---PaddleDetection模型选择
人工智能·深度学习
java1234_小锋31 分钟前
【NLP舆情分析】基于python微博舆情分析可视化系统(flask+pandas+echarts) 视频教程 - 微博评论IP地图可视化分析实现
python·自然语言处理·flask
qq_40999093?37 分钟前
安全和AI方向的学习路线
人工智能·安全
Blossom.11839 分钟前
基于深度学习的医学图像分析:使用CycleGAN实现图像到图像的转换
人工智能·深度学习·目标检测·机器学习·分类·数据挖掘·语音识别
沐沐沐沐沐沐1 小时前
图像认知与OpenCV | Day5:图像预处理(4)
人工智能·opencv·计算机视觉
一水鉴天1 小时前
关于“PromptPilot” 之3 -Prompt构造器核心专项能力:任务调度
人工智能
陈敬雷-充电了么-CEO兼CTO1 小时前
强化学习三巨头PK:PPO、GRPO、DPO谁是大模型训练的「王炸」?
人工智能·python·机器学习·chatgpt·aigc·ppo·grpo
Wendy14411 小时前
【图像噪点消除】——图像预处理(OpenCV)
人工智能·opencv·计算机视觉