这几天的 ai 体验

00x1 中转站

由于用国外模型较为昂贵,或者是限制地区,风控严重(动不动就给你封号),支付麻烦,因此中转站就诞生了。

AI 中转站卖的不是模型本身,而是一套"帮你调用模型的服务",更准确地说,它像一个点餐窗口。

中转站有时候会比官方更便宜,而且还会送额度,所以是我这种人(穷鬼)的最佳选择。

但是中转站不能保证你的隐私,对话的内容与模型返回的内容都会经过中转站,就跟bp一样。

在这之前就得说一下中转站的一些常用词了。

参考

https://zhuanlan.zhihu.com/p/2040448036741112647

倍率

一般就是你一块钱可以当几块钱用的意思,比如倍率1.2就是官方价格的1.2倍,比如倍率0.1就是价格是官方的1/10。

至于为什么能比官方便宜,那就是另外的渠道了,有些是通过js逆向,有些是通过抓包薅官方的羊毛,有些甚至直接是外包中的外包直接薅别的中转站的羊毛,甚至有的时候可以看到八重套娃中转站套中转站的奇观。

但是有些就是以次充好了,就和鹅腿阿姨差不多。

上游下游

一般来说

最上游就是AI的厂商= 真正提供模型能力的服务商

下游 = 转卖/聚合/封装给你的平台

但是有些说法是上游是倍率最低的那些中转站,下游就是普通的中转站。

计费

有些中转站模型是按次计费,有些都是token计费

但是token计费的注意了,你的上下文越长花的钱就越多,模型本身没有记忆能力,每次对话都是要读取上面的上文,所以每一次对话的钱也是累加的,有时候大头都是输入的内容,最好的办法就是定时整理记忆,重新开一个对话。

而我这几天由于沉迷于AI,无法自拔,加上薅羊毛去了,没有学,所以愧疚写下了这篇。

key

Key是调用模型的凭证,也是厂商或者中转站计费的东西,一般来说你想让模型输出东西,一般就得借助key加上对应的接口调用模型。所以有时候就会出现偷key的人。

手机端调用

下载Rikkahubapp

然后这样配置就行了,一般中转站或者官方都有key的API说明。

还有现在国外的AI风控特别严重,道德感限制的特别厉害,所以一般用的是国产模型特调来进行安全攻击之类的。

要不就是找找有没有合适的提示词破甲

克劳德死贵了(但是确实好用),所以一定要选择性价比最高的模型使用。

我的理解是一天大规模的使用Token

公益站

公益站一般指的是费用收的极低的那种网站,费率特别低,或者是赠送额度很高的,但一般这种很不稳定。

命中缓存

如果你反复调用同一个内容,就会命中缓存,模型会给你扣少一点钱

但由于我是混用的(多个站点一起用),所以没看出来哪里少钱了,命中缓存也命中的特别少。

感觉是同一个站点同一个模型才会给你算命中缓存吧。

并发与限流

账号 / Key / 分组 三级限流如何叠加

系统采用 三层限流 模型,优先级从高到低: Key 级别账号级别分组级别

个人资料页可看到 并发限制(默认 5)。同一时刻最多 5 个未完成请求。

这是一个站点的限制,可能是怕你薅羊毛或者高并发导致网站受不了。

这里可以看看

接入文档 · 随想

鉴别中转真伪 · 10 个测试项

你可以拿下面 10 项去衡量任何一家中转 (包括我们):

  1. 调用一个明确 400 的请求 (例: temperature=999),看返回的 error.type 是否原样 (真官方: invalid_request_error + 具体字段)
  2. 对比首 token 延迟 与官方 API 的差距 (官方一般 <1s,中转应 <1.5s)
  3. 测 prompt caching (Anthropic) --- 第二次同 prefix 是否命中 cache,cache_read_input_tokens 是否>0
  4. 测 vision --- 上传一张图 (base64),看是否真的能 OCR/描述
  5. 测 tool use --- 复杂 JSON schema 的 tool calling 是否能正确执行
  6. 测 stream usage --- 流式响应末尾的 message_delta.usage 是否完整
  7. 对比同 prompt 在多家中转的输出 (固定 temperature=0) --- 应该几乎一致
  8. 查响应 header --- 是否含 x-request-idanthropic-version 等官方头
  9. 测长 context (200k tokens) --- 真 Opus / Sonnet 能吃下,小模型会截断
  10. 测复杂推理 --- 数学竞赛题、代码 debug、长链条逻辑 --- 这是 Opus 与 Haiku 最明显的差距

00x2 手机体验

除了特别稳定的站或者是官方站调用的特别快以外,其他的体验非常不好,转的死慢了,经常给我返回报错,要不就是只输出一半的内容,或者是输出有错误编码,感觉与官方免费版的区别就是可以设置思考强度,也确实更聪明了。

然后deep是真的没有眼睛啊,只能用国产(比如千问)模型或者其他模型的识别图功能。

一般是模型调用识图功能,然后识图功能把图片信息返回给ai,ai再根据文字猜测,也不存在看不看见。

相关推荐
thinking_talk1 小时前
会议纪要工具选型指南
人工智能·语音识别
ZhengEnCi1 小时前
09bab-斯坦福CS336作业一-Xavier初始化
人工智能
2601_961963381 小时前
Spring Boot集成电子签章的7个典型问题与解决方案:从入门到生产级实践
大数据·人工智能·spring boot·python·区块链·智能合约
诺***帝1 小时前
GPT-Image-2 氛围渲染能力全解析:光影、景深、材质还原的 Prompt 实战教程
人工智能·gpt
朱大喜1 小时前
机器学习驱动的异常检测:从统计基线到根因定位的工程化实战
人工智能
字节跳动数据库1 小时前
文章分享——好代码 - 半点没用的话题
人工智能·程序员
xcLeigh1 小时前
数学之美:数字革命背后的底层逻辑
人工智能·数学·ai·数学原理·书籍·数学之美·绝对边界
星轨zb1 小时前
[Corner项目实战]Spring Boot + LangChain4j Tool Calling实战:让AI自动选择推荐策略
人工智能·spring boot·后端·langchain4j
Deepoch1 小时前
VLA多模态架构赋能无人机 拓展全域智能巡检应用
人工智能·机器人·无人机·具身模型·deepoc