技术栈

inferenceclient

shao918516
25 天前
人工智能·推理·hf inference·inferenceclient·text_to_image·chat_completion
Gradio全解10——Streaming:流式传输的多模态应用(3)——HF Inference:在服务器运行推理在学习更高级聊天机器人示例之前,需要先学习一下要用到的两个知识点:HF Inference和ZeroGPU。本节学习HF Inference,推理(Inference)是指使用训练好的模型对新数据进行预测的过程。由于该过程可能涉及大量计算,所以最好运行在专用服务或外部服务上。关于在服务上运行推理请参阅HuggingFace说明文档: Run Inference on servers🖇️链接10-6。
我是有底线的