​首款人机交互端到端多模态AI大模型发布，公司CEO：训推同步是自主学习的最佳

首款人机交互端到端多模态AI大模型发布，公司CEO：训推同步是自主学习的最佳方式

基于自研 Yan 系列模型的智能机器人（图片来源：受访者提供）

钛媒体 App 9 月 27 日消息，岩芯数智 RockAI 日前在上海推出全新升级、采用非 Transfomer 架构的 Yan 1.3 大模型，可高效处理图文及语音等多模态信息，用于无人机、机器人、PC、手机等各类终端设备场景。

RockAI CEO 刘凡平表示，这是全球首个人机交互领域端到端的多模态大模型，同时也是全球首个跨越广泛设备的多模态大模型，而且还是国内推出的自研群体智能单元大模型。目前，该模型已快速在英伟达、高通、联发科、英特尔、瑞芯微等多元化硬件设备上实现适配，进一步加速商业落地，让世界上每一台设备拥有自己的智能。

会后，刘凡平向钛媒体 App 等表示，Yan1.3 大模型将落地覆盖从低端到高端更广泛的群体。谈到行业未来发展，刘凡平强调，" 基于 Transfomer 架构的通用大模型，未来只有两到三家可能是成立的。Transfomer 这样的‘造神式’大模型未来解决问题的场景依然有限，相比较而言，以群体智能为目标的群体智能单元大模型更有意义。"

" 在 AGI（通用人工智能）这个终极命题下，无论是云端还是端侧，都只是实现智能普惠及跃迁的一个载体。我们始终坚信，只有真正提升每一台设备的自我学习能力，才能激发更高级别智能形态即群体智能的涌现。" 刘凡平表示。

RockAI CEO 刘凡平

据悉，成立于 2023 年 6 月的 RockAI，是 A 股上市公司岩山科技（002195.SZ）旗下 AIGC 新公司，专注于打造一站式 AIGC 数智化服务平台。而 RockAI 团队则早在 2022 年就早已组建。

相比于其他大模型企业，RockAI 主攻基于非 Transformer 自研架构的 AI 大模型研发。今年 1 月，RockAI 首次发布 Yan1.0 模型，并公布基于 AI 大模型的 To B 垂直领域行业和场景方案，释出包括 RockAI 模型大脑、知识库问答、业务助手、智能客服等产品。

此前，刘凡平对钛媒体 App 表示，亟需创新型的 AI 算法，现有的很多算法不仅无法满足客户的实际应用需求，而对于大模型成本也造成一定承压。他表示，目前算力在客户交付成本中占了近一半，而 RockAI 利用自研的非 Transformer 的记忆逻辑模型架构，将交付成本降低到 30%-40% 左右。（详见钛媒体 App 前文：《独家对话岩芯数智 CEO 刘凡平：" 百模大战 " 下，AIGC 新玩家如何杀出重围？》）

所谓非 Transformer 架构，其实是以底层神经网络架构 MCSD 替代 Transformer 的 Attention 机制，因为 Attention 是 Transformer 架构的核心，其加权算法决定了计算量会随着序列长度的增加而数倍增长，对计算的算力要求也会越来越高。而 RockAI 通过 MCSD 机制替换掉 Attention，只把最有效的信息、特征往后传，以线性的方式降低计算的复杂度，提升训练和推理效率。

如今，RockAI 再次更新 Yan1.3 模型。

相较于 1 月份发布的 Yan1.0，Yan1.3 具备了强大的多模态能力，可高效处理图文及语音等多模态信息，并实现了模型在更广泛设备端上的离线无损部署，普通电脑 CPU 上也能够流畅运行。

" 在技术的征途上，RockAI 正在以创新者和突围者的姿态书写新的篇章，我们很自豪的向大家宣布，在效果表现上，自研架构 Yan 1.3 已经超越了 Llama3，成为了中国自主架构大模型的里程碑事件。如今，未经压缩、裁剪的 Yan1.3 大模型在越来越多设备端展现出的丝滑适配和超强模力，正向行业证实 RockAI 技术路线的合理性，及其最终激发群体智能的充分可能。" 刘凡平在演讲中表示。

商业化层面，基于 Yan1.3 模型的 " 胖虎 " 智能机器人，能够基于多模态处理能力，在离线状态下识别复杂环境、准确理解用户意图，并据此控制其机械躯体高效完成各类复杂任务。

同时，Yan 系列模型也已经在无人机、手机、PC 等端侧场景中落地，如基于 Yan1.3 的飞龙无人机，可全面感知复杂环境并在设备端实时处理，支持各类环境下的智能巡检，不仅适配电力巡检、安全监控、环境监测等城市治理及工业场景，而且可以面向个人用户广泛用于日常生活情景。

刘凡平表示，目前 RockAI 主要以 "Yan inside" 的模式赋能不同设备，也愿意为终端销量较大的公司赋能，但同时针对量小的终端厂商也不会忽视，例如部署在小众却有潜在发展前景的具身智能当中，以及在关注玩具或陪伴机器人，从而加速大模型的广泛落地应用。

"Yan1.3 已经可以在广泛的设备上部署和应用了，开启了多元化硬件生态，所以我们认为它在第二阶段，第三阶段是自主学习。" 刘凡平认为，RockAI 的群体智能实现包括四个阶段：创新型基础架构、多元化硬件生态、自适应智能进化、协同化群体智能，而目前公司仍在第二阶段当中进行实施。

此外，RockAI 还在会上发布 " 训推同步 " 技术，刘凡平称这是群体智能单元大模型自主学习实现的最佳方式。会后他向钛媒体 App 进一步解释称，" 训推同步 " 是更偏算法层面，目标是不仅能在端侧上运行，同时能够做训练，这将是一个很大的进步。

谈到未来发展，刘凡平强调，Transfomer 是一条通往 AGI（通用人工智能）中的可能路径，但实践过程无法论证它是最优的路径。我们应该让大模型模拟人脑的方式来工作，而不应该是 Transfomer 架构大模型中那样无时间差别的输出。" 作为非常早期的 Transformer 研究者之一，我们从理解 Transfomer、深入 Transfomer 到放弃 Transfomer 是一个无奈但迫使我们创新的过程，这个过程非常漫长。"

" 在当前充满竞争的时代，现在国内大模型研发似乎进入一种‘模式化’的困境，创新的思路已经开始稀缺，大家都在追随国外的步伐，仿佛像一场没有终点的技术接力赛。春节时期 OpenAI 发布视频模型 Sora，国内都去 follow 它。所以 Yan 架构就像一股清流，它以非 Transformer 架构的身份证明了中国智慧的无限可能。试想一下，其实中国的大模型又有多少是真正自己研发的？我们没法‘造壳’，因为我们底层架构全是自己的，没法用别人的东西，我们就只能从零开始走向超越 Llama 3，甚至很多企业在用 Transformer 架构都还没有超越 Llama 3，这种方式就决定了我们创新之路，不断证明它是一个越来越正确的事情。不同于其他的厂商，我们选择更艰难的道路，直面挑战，因为我们知道，RockAI 作为真正的创新者，是无法靠‘套壳’去安身立命的。我们未来一定会比现在更好。" 刘凡平在演讲中表示。

以下是 RockAI CEO 刘凡平与钛媒体 App 等进行部分对话交流整理：

问：Yan 大模型的训推同步，与 OpenAI o1 推出的强化学习有什么不同？

刘凡平：严格来说 OpenAI O1 是一个强化学习过程，但 Yan1.3 的训推同步并不是这个路线，或者说强化学习并不是主要的。强化学习要通过大量数据去调整，意味着它应用成本很高。这也是 O1 在真正实际运用时会有限制的原因。

训推同步的目标是能在端侧上运行并做训练，这将是一个很大的进步。我们希望更廉价的训练，而不是更昂贵的。训推同步可理解为模型的训练与推理同步进行，正如人一样，在聊天的时候可以通过语音输出推理，但同时也可以通过耳朵的听觉、眼睛的视觉作为输入进行实时学习。

问：训推同步在本地设备上是怎么进行训练的？

刘凡平：我们刚才提到了类脑激活机制，其实我们人在处理事件时，并不是大脑的所有神经元都会参与。我们在端侧也是以选择部分神经元参与的方式，比如说 100 亿参数，并不是所有参数都会参与这个过程，而是很小部分，这样它的算力需求就会很低，训推就可以完全同步的进行，而且在输出时也能调整参数。

问：您觉得大模型可能在未来哪个领域里出现大的爆发？

刘凡平：我觉得在一些消费终端设备上可能会有一些爆发，目前手机和 PC 本身就有很大的一个存量，但我觉得更多消费终端应该很快也能打开这个局面。现在的很多终端设备智能还是固定化程序运转，接下来应该很快就能通过 AI 的方式产生变化，包括交互体验上也能产生变化的。就比如搭载了 Yan1.3 的无人机，是可以人机对话的，我们可以让无人机拍摄不同角度的照片，比如拍下我身后的风景，并将我放在画面正中的位置。

问：大家认为大模型是一种信息的压缩，在这个层面一般都会是生成内容，但我们强调的是学会，这个是什么原因？

刘凡平：学会的方式则不再是 next token 的预测了。例如之前厂商都在做的文生视频，其实有个很大的痛点，就是生成后很难再编辑它，得重新改提示词。而我们是想教会大模型如何去做视频的技能，它学会技能后再去生产视频。所以我们更希望模型是面向过程的学习，而非面向结果的学习，同时面向过程的学习会使得模型具备更强的可解释性。

问：有一种论调就是现在的通用大模型太多了，未来是不是就可能只剩两三家，您怎么看这个问题？

刘凡平：基于 Transfomer 架构的通用大模型，未来只有两到三家可能是成立的。但 Transfomer 这样的 " 造神式 " 大模型未来解决问题的场景依然有限，相比较而言，以群体智能为目标的群体智能单元大模型更有意义。

（本文首发于钛媒体 App，作者｜林志佳，编辑｜胡润峰）