更长的 GPT-4 对话 token 上限,如何影响我的翻译工作流?

(注:本文为小报童精选文章,已订阅小报童或加入知识星球「玉树芝兰」用户请勿重复付费

顺便聊聊生成式 AI 对你将来的工作流究竟有什么影响。

惊喜

Setapp 里面的 Typingmind 终于可以支持 128K token 窗口的 GPT-4 Turbo 了。只要你订阅了 Setapp ,就不需要额外付费使用自己的 OpenAI API Key 了。欧耶!

上面这段话,是我在 12 月 4 日偶然重启电脑和 Typingmind 之后,发在社交媒体上的感慨。还配了下面这张图。

为什么我会如此兴奋呢?

主要因为「心理账户」因素。所谓心理账户,就是同样的钱,你花在某一件事(例如游戏氪金、打赏主播)会毫不犹豫,用在另一件事(例如买书、订阅付费内容)上,则会感觉非常痛苦。

首先给你看看 GPT-4 Turbo 128k 的价格。这里我用的是 Perplexity 来查询回答。

这个价格很高吗?其实不算。但当初玩儿 AutoGPT 和 BabyAGI 等框架的时候,OpenAI GPT-4 API 疯狂调用,账单给我留下了比较严重的心理阴影。

如果使用 GPT-4 Turbo 128k 的边际成本下降,我会非常开心。例如 Typingmind 中 Setapp 订阅额度如果能直接包含,就太好了。

在 Setapp 里面使用 Typingmind 的原因,我在《如何用低成本集成式 AI 应用,满足你对 GPT-4 的需求?》这篇文章里,已经给你详细介绍过了。用 Typingmind 调用 GPT-4,其实还有个特别大的好处 ------ 你上传的数据,不会被 OpenAI 用来训练模型,所以安全性和隐私保护上,更为妥帖。

到了 11 月 25 日,Typingmind 中的 Setapp GPT-4 Turbo 模型才算是姗姗来迟,可惜窗口大小只有 8k 。

小窗口会带来什么呢?看看 之前我的工作流,你会发现长文翻译的时候,主要精力都被用在对输入内容进行切割。

为此,我甚至学会了如何用 Python 加上 OpenAI 的软件包查看一段话对应的 GPT-4 token 数量......

但是,这样的先切片、后逐片翻译的流程,带来了非常显著的问题。

首先,是内容的上下文割裂。我们都知道,翻译的好坏跟上下文是很相关的。例如前面的对话里出现了一个人名,可能 GPT-4 都不知道他是男是女。但是看到后面,就可以清楚了解其性别。而如果在揭示性别之前,文字就被割断,那显然翻译会出现不准确的情况。

其次,是这样的操作,需要把分片后的内容,逐一放到对话中去。如果你像我一样使用 Keyboard Maestro ,可能还算是「半自动化」,好一些。如果是手动操作,很容易感到枯燥。

第三,我们往往不会满足于一次翻译的结果,需要进行校对。这就意味着要进行 k (分片数量)次的翻译,k 次校对,甚至再加上 k 次的校对后改写...... 想想都让人头疼。所以,更长的上下文窗口,真的是非常重要的改进。

现在,Typingmind 终于有了 128k 的 Setapp GPT-4 Turbo 选项,而价格却没有任何调整,这会给我的翻译工作流带来什么改进呢?

下面我就给你演示一下,增大 token 限制后, Typingmind 里面翻译文章的流程和效果。

相关推荐
新缸中之脑4 分钟前
Llama 3.2 安卓手机安装教程
前端·人工智能·算法
人工智障调包侠5 分钟前
基于深度学习多层感知机进行手机价格预测
人工智能·python·深度学习·机器学习·数据分析
开始King1 小时前
Tensorflow2.0
人工智能·tensorflow
Elastic 中国社区官方博客1 小时前
Elasticsearch 开放推理 API 增加了对 Google AI Studio 的支持
大数据·数据库·人工智能·elasticsearch·搜索引擎
infominer1 小时前
RAGFlow 0.12 版本功能导读
人工智能·开源·aigc·ai-native
涩即是Null1 小时前
如何构建LSTM神经网络模型
人工智能·rnn·深度学习·神经网络·lstm
本本的小橙子1 小时前
第十四周:机器学习
人工智能·机器学习
励志成为美貌才华为一体的女子2 小时前
《大规模语言模型从理论到实践》第一轮学习--第四章分布式训练
人工智能·分布式·语言模型
学步_技术2 小时前
自动驾驶系列—自动驾驶背后的数据通道:通信总线技术详解与应用场景分析
人工智能·机器学习·自动驾驶·通信总线
winds~2 小时前
自动驾驶-问题笔记-待解决
人工智能·笔记·自动驾驶