inference

爱听歌的周童鞋2 天前
llm·vllm·scheduler·inference·nano-vllm·block manager
Nano-vLLM深度解读（上）最近博主看了几个视频想来学习下 nano-vllm，记录下个人学习笔记，和大家一起分享交流😄Note：一些基础的内容默认大家都会，我们的重点是关注 vLLM 推理框架的核心机制，而对于模型本身的知识例如 nano-vllm 使用的 Qwen 系列模型构建部分我们会跳过，不会讲得那么详细。
爱听歌的周童鞋1 年前
llm·llama·llama.cpp·inference
理解llama.cpp如何进行LLM推理看到一篇非常不错的文章和大家分享下，主要是解决了博主之前的很多困惑，记录下个人学习笔记，仅供自己参考😄
伊织code2 年前
自然语言处理·nlp·文本分类·transformers·评估·inference
NLP transformers - 文本分类本文翻译自：Text classification https://huggingface.co/docs/transformers/tasks/sequence_classification notebook : https://colab.research.google.com/github/huggingface/notebooks/blob/main/transformers_doc/en/pytorch/sequence_classification.ipynb
我是有底线的