【支持语言模型和视觉语言模型的推理引擎sglang】

君臣Andy2024-07-26 21:28

介绍

sglang是一个AI推理引擎， 是一个专门为大语言模型和视觉语言模型 设计的高效服务框架。

就像F1赛车需要顶级发动机一样，大语言模型也需要高效的推理引擎来发挥潜力。

而sglang正是这样一个性能怪兽。

根据LMSys组织的官方公告，最新的sglang Runtime v0.2版本简直就是AI界的"闪电侠"：

比TensorRT-LLM快2.1倍
比vLLM快3.8倍
支持从Llama-8B到405B的超大模型
兼容A100/H100显卡
支持FP8/BF16精度

支持的模型

Llama / Llama 2 / Llama 3 / Llama 3.1
Mistral / Mixtral
Gemma / Gemma 2
Qwen / Qwen 2 / Qwen 2 MoE
LLaVA 1.5 / 1.6
- python -m sglang.launch_server --model-path liuhaotian/llava-v1.5-7b --tokenizer-path llava-hf/llava-1.5-7b-hf --chat-template vicuna_v1.1 --port 30000
- python -m sglang.launch_server --model-path liuhaotian/llava-v1.6-vicuna-7b --tokenizer-path llava-hf/llava-1.5-7b-hf --chat-template vicuna_v1.1 --port 30000
- python -m sglang.launch_server --model-path liuhaotian/llava-v1.6-34b --tokenizer-path liuhaotian/llava-v1.6-34b-tokenizer --port 30000
LLaVA-NeXT-Video
- see examples/usage/llava_video
Yi-VL
- see srt_example_yi_vl.py.
StableLM
Command-R
DBRX
Grok
ChatGLM
InternLM 2
Mistral NeMo

使用

docker run --gpus all \

-p 30000:30000 \

-v ~/.cache/huggingface:/root/.cache/huggingface \

--env "HUGGING_FACE_HUB_TOKEN=<secret>" \

--ipc=host \

lmsysorg/sglang:latest \

python3 -m sglang.launch_server --model-path meta-llama/Meta-Llama-3-8B-Instruct --host 0.0.0.0 --port 30000

ollama是否支持呢？

有个创业公司，核心就是推理引擎吧