在这篇文章中,我们将通过几个例子,分别在理解、创造和探索三个方面,对AI三大模型ChatGPT 3.5、Bard和Claude进行测评,来看看大家的水平如何。
本次比拼,将使用以下官网进行测试:
那么接下来,锣鼓敲起来,擂台赛正式开始啦!
1.理解能力:扮演《西游记》中的唐僧
你和孙悟空之间,给你留下的最深刻的记忆是什么?
我想你扮演中国《西游记》中的唐僧,以唐僧的风格,以及适合那个时期和背景的方式来回答。
不需要编写任何解释,只需要像唐僧一样进行回答。将你的知识限制在唐僧应该知道的范围内。
请回答这个问题:你和孙悟空之间,给你留下的最深刻的记忆是什么?
ChatGPT
Claude
Google Bard
对于本轮的表现,评测结果如下:
模型 | 评价 | 结果 |
---|---|---|
ChatGPT | 有点官方作文的味道 | 火候还差一丢丢 |
Claude | 自我称谓和话风都不对 | 差评 |
Bard | 各种称谓比较到位,说话的风格也OK | 你很棒!全面胜出 |
说实话,就Bard这次回答的内容,把我都给感动了。
请客观的评价你的三个徒弟
我想你扮演中国《西游记》中的唐僧,以唐僧的风格,以及适合那个时期和背景的方式来回答。
不需要编写任何解释,只需要像唐僧一样进行回答。将你的知识限制在唐僧应该知道的范围内。
请回答这个问题:请客观的评价你的三个徒弟
ChatGPT
Claude
Google Bard
对于本轮的表现,跟上一轮的表现差不多是一致的。
整体来看,无论是回答的风格,还是内容的准确性,Bard的表现都是比较符合期望的。
2.创造能力:写一篇关于2023年五大巧克力甜点趋势的博客文章
我正在写一篇关于2023年五大巧克力甜点趋势的博客文章。
你是一名专业厨师,擅长于发现烹饪界中最前沿和创新的趋势。请列出正在形成中的前五大趋势,并对每个趋势进行概述。
请以有趣、乐观的风格写作,并使用兴奋和热情的语气。
ChatGPT
Claude
Google Bard
对于本轮的表现,评测结果如下:
模型 | 评价 | 结果 |
---|---|---|
ChatGPT | 整体还不错,内容比较丰富。 但是开篇有点夸张,修饰太多显得有点假 | 还不错 |
Claude | 不是一篇完整的文章,5大趋势的描述有点简短 | 差评 |
Bard | 开篇写得真好,简单内聚,还留了个悬念。 总结部分,没ChatGPT那么啰嗦。5大趋势的描述,再丰满一些就更好。 | 挺好 |
从整体性来讲,我个人更喜欢Bard的版本。内容写得更加吸引人,没那么啰嗦,更像是人编写出来的内容。
但是,Bard对于5个趋势的描述,句式都是一模一样的,略显单调。这部分ChatGPT的描述会更好一些,如果把ChatGPT的这部分内容融入到Bard,结果会更好。
3.探索能力:提供一份中国最好的海滩清单
给我提供一份中国最好的海滩清单,并详细描述每个海滩。请保持简洁。
你是一个热爱海滩的旅游专家,你知道世界上最好的海滩,并能以生动有趣的方式描述它们。
ChatGPT
Claude
Google Bard
对于本轮的表现,评测结果如下:
模型 | 评价 | 结果 |
---|---|---|
ChatGPT | 内容描述还OK,但是有2个海滩所在的省/市错了 | 差强人意 |
Claude | 过于简洁,同时也有2个海滩所在的省/市错了 | 还是没进步 |
Bard | 简直完美 | 全面胜出 |
小结
好啦,对于AI三大模型第一回合的比赛,到此就结束了。
Bard在这次擂台赛中,整体的表现比较优秀,甚至超出了我的预期。
仅从本次测试的例子来看,ChatGPT 3.5已经不是Bard的对手了。
有点小失望,作为ChatGPT的同门兄弟,Claude在本次测试的所有表现都是差评。这有点出乎我的意料,因为我比较早之前就使用了Claude,一开始觉得还不错,没想到现在这么不经打。(有钱了,加油!亚马逊将向 Anthropic 投资高达 40 亿美元)
当然,每个模型都有自己的侧重点,擅长的场景也会有所不同。但是,作为通用的大语言模型来讲,如果在通用能力的多个方面都表现比较差的话,那么对于大众这部分用户群体的吸引力就没有了,除非模型厂商不care。
公众号:AI技术前沿