企业微信产品折扣下单

营销日历

您现在的位置是:首页 > 营销快讯 > 名家专栏

名家专栏

ChatGPT 的能力上限将被突破!

2023-04-27名家专栏
最近,一篇名为《Scaling Transformr to 1M tokens and beyond with RMT》的论文在 AI 界引起了广泛热议。

最近,一篇名为《Scaling Transformr to 1M tokens and beyond with RMT》的论文在 AI 界引起了广泛热议。

该论文提出一种名为 RMT 的新技术,如果能够成功应用,那将把 Transformer 的 Token 上限扩展至 100 万,甚至更多。
 

  • GitHub:https://github.com/booydar/t5-experiments/tree/scaling-report
  • 论文:https://arxiv.org/abs/2304.11062

由于许多 AI 模型使用的大部分是非结构化文本,因此需要用某一种特定单位作为文本标记,这些文本在模型中,常用 "Token" 表示。

以 GPT 模型为例,1000 个 Token 约等于 750 个英文单词。

要知道,目前最强的 GPT-4-32k,其 Token 上限也才 3.2 万,也就是说,它一次性最多只能处理 2.4 万个单词,这就导致它无法处理长文内容。

像文档、书籍、代码这种大块内容,已经超过了 GPT-4 模型能处理的上限,所以用户往往需要先对内容进行切割,分多次喂给 GPT。

但是,由于 GPT 能理解的上下文内容也有限,便容易导致结果偏离预期。

如果未来 Token 的上限能够不断突破,也就意味着 ChatGPT 能够一次性接收更多消息,更好的理解你的上下文,进而给你提供更多精准的结果。

要是你觉得上面这些技术名词还听不大懂,不妨读一下 Twitter 网友 riddhi 让 ChatGPT 做的这个总结,直接通俗易懂的解读了这项技术:

假设你有个很聪明的机器人朋友,它可以读很多东西并记住它们。这个机器人朋友使用一种叫做 “Transformer” 的东西来帮助它理解和记忆内容,就像人类大脑一样。

现在有这么一群聪明人,发现了一种能让你的机器人朋友变得更好的方法,那就是给它装上一个新大脑,叫做“Recurrent Memory Transformer”,或者简称“RMT”。

有了这个新大脑,机器人朋友就可以记住和理解更多的东西,一次多达 2 百万个字!这相当于它可以同时记住大约 20 本很长的书的内容。

在这之前,其他聪明的机器人只能记住最多 6.4 万个字,虽然这已经很多了,但还远不及 2 百万个字。

这个发现非常重要,因为这意味着我们的机器人朋友现在可以理解和谈论更多的事情,为我们提供更多的帮助。

最棒的是,这种新大脑不会让机器人变得更重或者耗费更多的能量。所以这就像一台拥有超能力的机器人朋友,可以做很多厉害的事情并且不会累!

如果这项技术能够成功应用到 GPT-4,那 ChatGPT 的能力上限也将被再次突破。

当这项技术优化到足够好的时候,代码块、文本、聊天记录,都不再需要分多次发送,直接丢一个项目给 ChatGPT,它便能直接上手重构项目代码、自动增加需求。

书籍也不再需要分段切块,传给它一本英文书籍,它便能一字不差的给你翻译成中文,连校对都不需要!

想通过 ChatGPT 来训练一个无限接近自己人格的 AI 机器人?

没问题,你把聊天信息、朋友圈动态都导成数据发给它,让它理解吸收,分分钟给你整个虚拟人格出来。

我相信,随着该技术的推进,越来越多的 AI 应用场景将被挖掘出来,各个行业都将被彻底颠覆。

ChatGPT 的能力每天都在进步,所有大语言模型上的技术探索,每增进一步,都能让它发生质的突破。奇点临近,我们距离通用人工智能到来的那一天,也不会太远。

最近看的东西越多,我便越庆幸自己能够生活在如此一个科技大爆炸时代,科幻片中的情节现在每天都在上演,时时刻刻都能在 AI 界见证那些多不胜数的 "HOLY SHIT" moment。

如果你想了解更多有趣、实用的 AI 技术,以及 ChatGPT 新进展,欢迎点击下方链接,加入我们社群进一步交流探讨。

文章评论

客服在线

服务时间

周一至周日 9:00-21:00