基于成本、能耗、可靠性和时延、隐私、个性化服务等考虑,端云混合的 AI 才是 AI 的未来,高通认为终端 AI 能力是赋能混合 AI 并让生成式 AI 实现全 球规模化扩展的关键。
百亿参数开源 MoE 大模型 Mixtral 8x7B 再掀热潮,性能超 LLaMA2-70B,对 标 GPT-3.5。MoE(混合专家模型)通过将任务分配给对应的一组专家模型来 提高模型的性能和效率。Mixtral 8x7B 的专家数量为 8 个,总参数量为 470 亿, 但在推理过程中仅调用两个专家即只调用 130 亿参数。
我们认为 MoE 或为现阶段大模型平衡成本、延迟以及性能的最优选择,叠加 开源模型本身高灵活性、安全性和高性价比特点,Mistral AI 的开源 MoE 轻量 化模型可能是未来最适合部署于终端的模型。
目前,高通、联发科、英特尔、 AMD 等龙头芯片厂商都推出了终端 AI 芯片,能跑十亿甚至百亿量级大模型。后 续类 Mixtral 8x7B 的 SMoE 模型在高性能基础上继续压缩的话,很大几率可以 装进终端设备实现本地运行。
SMoE 轻量模型大幅降低了训练的门槛和成本, 且由于在推理时只激活少部分参数,保持较高性能的同时能适应不同的计算环 境,包括计算能力有限的终端,降低推理成本且将催生更多大模型相关应用。
2024 年有望成为终端智能元年,看好拥有终端资源、深耕场景、掌握行业 knowhow、积累了海量数据的 B 端和 C 端公司。
1)未来每台终端都将是 AI 终端,包括 AI PC、AI 手机、AI MR 等,这将带来全新的用户体验。
2)AI PC 有望成为“AI+”终端中最先爆发的。英特尔预计全球今年将交付 4000 万台 AI PC,明年将交付 6000 万台,预估 2025 年底 AI PC 在全球 PC 市场中占比将超 过 20%;微软 AI PC 预计于今年亮相。
3)随着大模型逐步发展,尤其是多模态 能力增强,更广泛的 AIoT 设备也迎来了更新换代的重要机遇。
4)B 端私有化 部署也是 AI 应用的重要方向,关注边缘侧 AI。
5)鸿蒙:提供顶级流畅连接体 验,大模型有望赋能奔赴万物智联下一站。
人形机器人是大模型应用的重要硬件载体,也是终端智能发展的核心方向。
1) 人形机器人是目前具身智能最好的形态,因为它们有着与人相似的外观设计, 能更好地适应周围的环境和基础设施。2)端云混合的“大脑”让机器人既能处理 复杂和高强度的计算任务,又能实时进行信息处理和分析。
好文章,需要你的鼓励
多伦多大学研究团队提出Squeeze3D压缩框架,巧妙利用3D生成模型的隐含压缩能力,通过训练映射网络桥接编码器与生成器的潜在空间,实现了极致的3D数据压缩。该技术对纹理网格、点云和辐射场分别达到2187倍、55倍和619倍的压缩比,同时保持高视觉质量,且无需针对特定对象训练网络,为3D内容传输和存储提供了革命性解决方案。
浙江大学与腾讯联合研究团队提出MoA异构适配器混合方法,通过整合不同类型的参数高效微调技术,解决了传统同质化专家混合方法中的表征坍塌和负载不均衡问题。该方法在数学和常识推理任务上显著优于现有方法,同时大幅降低训练参数和计算成本,为大模型高效微调提供了新的技术路径。
耶鲁、哥大等四校联合研发的RKEFino1模型,通过在Fino1基础上注入XBRL、CDM、MOF三大监管框架知识,显著提升了AI在数字监管报告任务中的表现。该模型在知识问答准确率提升超过一倍,数学推理能力从56.87%提升至70.69%,并在新颖的数值实体识别任务中展现良好潜力,为金融AI合规应用开辟新路径。
加州大学圣巴巴拉分校研究团队开发出能够自我进化的AI智能体,通过《卡坦岛拓荒者》桌游测试,这些AI能在游戏过程中自主修改策略和代码。实验显示,具备自我进化能力的AI显著超越静态版本,其中Claude 3.7模型性能提升达95%。研究验证了AI从被动工具向主动伙伴转变的可能性,为复杂决策场景中的AI应用开辟新路径。