技术栈
大模型推理
Python算法实战
2 个月前
人工智能
·
算法
·
语言模型
·
自然语言处理
·
大模型
·
transformer
·
大模型推理
在华为昇腾 910B 上进行阿里大模型 Qwen2.5 推理
最近已有不少大厂都在秋招宣讲了,也有一些在 Offer 发放阶段。节前,我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。
汀、人工智能
6 个月前
人工智能
·
语言模型
·
自然语言处理
·
大模型
·
大模型推理
人工智能大模型之开源大语言模型汇总(国内外开源项目模型汇总)
Large Language Model (LLM) 即大规模语言模型,是一种基于深度学习的自然语言处理模型,它能够学习到自然语言的语法和语义,从而可以生成人类可读的文本。
Baihai IDP
9 个月前
人工智能
·
深度学习
·
llm
·
白海科技
·
大模型推理
·
kv 缓存
LLM 推理优化探微 (3) :如何有效控制 KV 缓存的内存占用,优化推理速度?
编者按: 随着 LLM 赋能越来越多需要实时决策和响应的应用场景,以及用户体验不佳、成本过高、资源受限等问题的出现,大模型高效推理已成为一个重要的研究课题。为此,Baihai IDP 推出 Pierre Lienhart 的系列文章,从多个维度全面剖析 Transformer 大语言模型的推理过程,以期帮助读者对这个技术难点建立系统的理解,并在实践中做出正确的模型服务部署决策。
shui123546yi
1 年前
llm
·
aigc
·
vllm
·
大模型推理
vLLM介绍
vLLM 工程github地址 Paged attention论文地址vLLM: A high-throughput and memory-efficient inference and serving engine for LLMs. SkyPilot: A framework for easily and cost effectively running machine learning workloads on any cloud.