AI进行小说续写创作

本文介绍如何在本地环境搭建一个小说续写的环境,采用Opencode + 云平台部署私有模型的方式来进行。

部署私有模型

在本地环境或在云平台上租用GPU资源,部署私有模型。主要是考虑到性价比,以及减少公有模型对小说题材内容等各方面的限制。

这里选用的是Modelscope的Limu520/Huihui-Qwen3.8-27B-abliterated-UD-Q4_K_XL模型。下载之后,采用llama.cpp推理框架来进行部署。

运行以下命令安装llama.cpp

复制代码
curl -LsSf https://llama.app/install.sh | sh

然后运行以下命令来启动模型服务:

复制代码
llama serve \
  -m /path/Qwen3.8-27B-abliterated-UD-Q4_K_XL/Huihui-Qwen3.8-27B-abliterated-UD-Q4_K_XL.gguf \
  -md /path/Qwen3.8-27B-abliterated-UD-Q4_K_XL/Qwen3.8-27B-DFlash2-Q4_K_M.gguf \
  --spec-type draft-dflash \
  --spec-draft-n-max 7 \
  -ngl 99 -ngld 99 \
  -fa on \
  --jinja \
  --host 0.0.0.0 \
  --port 8888 \
  --alias qwen3.8-27b \
  --ctx-size 131072 \
  --cache-type-k q8_0 \
  --cache-type-v q8_0 \
  --reasoning-budget 0

这里除了加载主模型外,还加载了DFLASH模型,这个模型提供了推测解码的功能,通过小模型打草稿,大模型验证的方式,加快Token生成的速度。这里面ctx-size是控制上下文长度,在我采用的5090 32G显卡,这个长度是一个比较合适的数值。模型服务运行后,能稳定提供大约50+ Token/s的速度。

opencode运行

配置好模型之后,就可以在Opencode里面添加该模型,只要在Opencode的对话窗口里提供模型访问地址让其自动添加即可。另外还需要让opencode安装**opencode-novel-plugin这个插件,这个插件** 提供了3个专用Agent、7个工具、5个Skill(含武侠专项) ,覆盖从故事概念到成稿的完整工作流。它明确对武侠小说创作有专门优化 ,并融合了"优先级分层上下文(P0/P1/P2)"等机制。安装后通过 /novel-init 等命令启动。

最后在Opencode里面指定要参考的小说,让其按照风格来创作,或者进行续写等即可。

相关推荐
Csvn15 小时前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
罗西的思考16 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考16 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
汤姆宝库17 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静17 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康17 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea18 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen18 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷19 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘19 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习