React中实现大模型的打字机效果

React 想实现一个打字机的效果,类似千问、Kimi 返回的效果。调用大模型时,模型的回答通常是流式输出的,如果等到模型所有的回答全部完成之后再展示给最终用户,交互效果不好,因为模型计算推理时间比较长。本文将采用原生 React 写一个简单的组件,调用本地 Ollama 模型进行对话。

服务端实现

由于要流式返回数据数据,正常的 http 请求是一来一回,不会一段一段返回,Websocket 是一个解决方案,Websocket比较重,模型对话只需要单向的返回就可以。所以,OpenAI提供的 API是基于 SSE (Server Sent Event)协议的,SSE 协议采用 Http Chunk Response 实现。下图中可以看到,Response 是 Chunked 编码的。

客户端实现

通过 Fetch 调用 Ollama 提供的接口,并对返回进行处理,Fetch API 默认支持 Chunk 编码。由于是流式输出,需要定义从 Reponse body 中获取一个 reader,代码如下:

复制代码
import React, { useState, useEffect } from 'react';

const ChunkedJSONResponseComponent = () => {
  const [responses, setResponses] = useState([]);
  const [loading, setLoading] = useState(true);

  useEffect(() => {
    const fetchData = async () => {
      const response = await fetch('http://10.91.3.116:11434/api/generate', {
        method: 'POST',
        headers: {
          'Content-Type': 'application/json'
        },
        body: JSON.stringify({
          model: "testllama3",
          prompt: "Why is the sky blue?",
          stream: true
        })
      });

      const reader = response.body.getReader();
      const decoder = new TextDecoder();
	  #处理返回值
      const processChunk = ({ done, value }) => {
        if (done) {
          console.log('Stream complete');
          setLoading(false);
          return;
        }

        const chunk = decoder.decode(value, { stream: true });
        const lines = chunk.split('\n').filter(line => line.trim() !== '');

        lines.forEach(line => {
          try {
            const jsonObject = JSON.parse(line);
            setResponses(prevResponses => [...prevResponses, jsonObject.response]);
          } catch (e) {
            console.error("Failed to parse JSON:", e);
          }
        });

        reader.read().then(processChunk);
      };

      reader.read().then(processChunk);
    };

    fetchData();
  }, []);

  return (
    <div>
      <h1>Chunked JSON Response</h1>
      <p>
        {responses.map((response, index) => (
          <span>{response}</span>
        ))}
      </p>
      {loading && <div>Loading...</div>}
    </div>
  );
};

export default ChunkedJSONResponseComponent;

总结

OpenAI 设计的接口比较简单,后续出来的大模型都遵循了 OpenAPI 的接口格式,感谢各位大佬没有再造轮子。打字机效果实现很简单,由于原生 Fetch API 就支持 Chunk 编码,做对应的处理既可以完成。

相关推荐
kyriewen9 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
code2cat12 小时前
【随笔】MCP长任务:查询已经返回,为什么任务还没有完成
javascript·人工智能·后端·mcp
FRing0312 小时前
vue2干货总结11(短信验证、登录功能、统一处理错误(响应拦截器)、将token信息存入vuex、vuex持久化处理)
开发语言·前端·javascript·vue.js·vue2
泯泷12 小时前
改一个字,整段都红了?——中文内容差异对比的算法与协议设计
前端·javascript·typescript
afumu12 小时前
免费 API 满地都是,为什么还有人做「让网页 AI 干活」这种东西
javascript·chrome·浏览器
云起SAAS12 小时前
本地生活同城多商户商城系统源码源码 合伙人分红加区域代理加排队返现
前端·javascript·后端
鹿鹿鹿鹿isNotDefined13 小时前
布局更新后,canvas 重新绘制,出现了只持续一帧的闪烁?!
前端·javascript·vue.js
技术分享官13 小时前
Geejing WebBuilder 新手指导:用 Wb.Button 按钮组件跑通企业级快速开发平台的前后端闭环
前端·javascript·低代码
程序员大阳17 小时前
副队长ES6+教程(5)--模板字符串
javascript·vue.js·es6·模板字符串
安若浮生17 小时前
从零写一个 HarmonyOS NEXT 影视聚合播放器,我踩过的 14 个坑
javascript