什么? 20分钟,构建你自己的LLaMA3应用程序| 京东云技术团队

4月19日,Meta发布了最新的大语言模型LLaMA3,具体包括一个 8B 模型和一个 70 B 模型,上下文长度支持8K, 被誉为史上最强开源大语言模型,开源社区的"重磅炸弹",效果直指GTP4。在诸多评测任务上,LLaMA3都有非常炸裂的效果。 8B模型在多项指标中超越了Gemma 7B和Mistral 7B Instruct,而70B模型则超越了闭源的Claude 3 Sonnet,和Gemini Pro 1.5。具体的评测报告可以参见: github.com/meta-llama/...

由于Llama 3 选择了相对标准的纯解码器 Transformer 架构,根据各方信息推测,性能提升主要来自数据质量的提升。一是使用了15T的预训练数据,相比Llama 2提高了7倍,并且大幅提高了代码的使用量,以增强模型的推理能力。二是使用了词汇量为128K的标记器,相比Llama 2使用的 32K 标记器,改善了标记化的粒度。另外,在8B 和 70B 大小的模型上采用了分组查询注意力 (GQA),提高了Llama 3的推理效率。

开源社区对此反响强烈,短短5天,Hugging Face上已经有了1000多个变种,而且数字还在持续增长。

面对AI行业一波又一波的巨大事件,我们在赞美和焦虑之外,能做点什么呢?虽说不上躬身入局,但总想让稍微感受一下AI巨浪带来的点点涟漪。不是有句老话说得好么,不是AI取代人类,而是懂AI的人取代不懂AI的人。

于是我用百度找到了LLaMA3的体验地址:www.meta.ai/。但当我在浏览器输入并........ 网络问题,无情的阻碍了我进步的脚步。 我再次打开百度,想试试能不能在本地安装一个LLaMA3,但当我看到60G的模型大小,以及昂贵的GPU算力,以及各种程序报错时,我又一次知难而退了。是坚持,还是放弃,这是个问题。。。。。

直到,我在京东云上看到了这个产品.....

什么? 20分钟,构建你自己的LLaMA3应用程序!

于是,我打开手机计时器,开始了我寻找AI浪花之旅

第一步 ,进入京东智算服务控制台: gcs-console.jdcloud.com/instance/li...

第二步 ,点击创建按钮购买GPU实例,注意计费方式一定选择 "按配置" ,就是按使用时长进行计费,一个小时才1.89,充值2块钱,就能玩2个小时,真是良心。 点击"立即购买"下单。

第三步,在实例列表页面,等待实例状态变为"运行中",然后点击Jupyter进入AI的开发环境。

第四步,在Jupyter页面中,点击进入Terminal终端,执行如下命令:

bash 复制代码
cp -r /gcs-pub/llama-factory/ /data/

第五步:在左侧的目录树中,找到llama-factory/src/web_demo.py文件,双击打开,然后把server_port修改为28888,Ctrl+S保存这个修改。

第六步:再次打开刚才的终端,分别执行下面几行命令:

ini 复制代码
cd /data/llama-factory 
conda create -n liandan python=3.10 -y
conda activate liandan
pip install -e .[metrics]
CUDA_VISIBLE_DEVICES=0 python src/web_demo.py --model_name_or_path /gcs-pub/Meta-Llama-3-8B-Instruct --template llama3

这个平台的特点是速度特别快,比其他平台都快,几分钟后,我看到了胜利的曙光...

第七步 : 在控制台实例列表页面(gcs-console.jdcloud.com/instance/li...),点击该实例的最后一栏,操作-应用-自定义应用,于是乎,LLaMA3就显出了原型。

听说这个平台还能无代码直接启动文生图应用,等下次我再试试吧,现在要迫不及待的开始调戏LLaMA3啦,完美!

作者:京东科技 彭建宏

来源:京东云开发者社区

相关推荐
不死的精灵几秒前
【Java21】在spring boot中使用ScopedValue
java·spring boot·后端
M1A138 分钟前
TCP/IP协议精解:IP协议——互联网世界的邮政编码系统
后端·网络协议·tcp/ip
逸风尊者1 小时前
开发易掌握的知识:GeoHash查找附近空闲车辆
java·后端
程序猿阿越2 小时前
Kafka源码(一)Controller选举与创建Topic
java·后端·源码
程序员爱钓鱼2 小时前
Go语言项目工程化 — 常见开发工具与 CI/CD 支持
开发语言·后端·golang·gin
Jiude2 小时前
MinIO 社区版被故意阉割,Web管理功能全面移除。我来试试国产RustFS
后端·docker·架构
仰望星空@脚踏实地2 小时前
Spring Boot Web 服务单元测试设计指南
spring boot·后端·单元测试
羊小猪~~3 小时前
数据库学习笔记(十七)--触发器的使用
数据库·人工智能·后端·sql·深度学习·mysql·考研
用户8324951417323 小时前
JAVA 版本多版本切换 - 傻瓜式操作工具
后端
estarlee3 小时前
随机昵称网名API接口教程:轻松获取百万创意昵称库
后端