OpenAI下一代Astra采用了一种「循环深度」全新推理方法。
OpenAI首席科学家JakubPachocki，第一时间做出了回应——内部目前最前沿的模型，它的计算图深度顶多也就GPT-4的两倍，没外界传的那么玄乎。01「循环Transformer」，火遍全网「循环深度」还有另外一个名字，叫「循环Transformer」。实际上，这一概念并不是由OpenAI首次提出。在此之前，整个业界都在「循环Transformer」上做过不少研究。循环Transformer换了个极其暴力的思路：让它转起来。信息不再是单向穿过网络一次，而是把同一组Transformer层反复循环使用。03Astra真正王牌，就是新Transformer对于数学和编程来说，「循环Transformer」架构极有吸引力。「循环Transformer」，天然适合执行这种算法。OpenAI多位研究员，包括「赛博义父」也在疯狂暗示强大的Astra。
本文来自作者[AI维度笔记]投稿，不代表绮畅科技网立场，如若转载，请注明出处：https://www.lorte.cn/rgzn/202609/682.html
评论列表（4条）
我是绮畅科技网的签约作者“AI维度笔记”！
希望本篇文章《OpenAI全新Transformer架构“Astra”首次亮相引关注》能对你有所帮助！
本站[绮畅科技网]内容主要涵盖：教育咨询,知识百科
本文概览：OpenAI下一代Astra采用了一种「循环深度」全新推理方法。