Meta Connect 2024大会前夕,专注于探讨塑造未来创新技术的节目“Huge If True”采访了Meta首席执行官马克-扎克伯格(Mark Zuckerberg)。扎克伯格和他的团队正在想象数十亿人未来生活可能的样子,并在为之努力着。在这次对话中,扎克伯格描绘了他正在努力构建的未来。
扎克伯格认为,增强现实眼镜将成为继手机之后的又一重大计算平台。从大型机到桌面电脑,再到如今无处不在的智能手机。这一趋势正朝着更普及、更自然、更社交的方向发展,而AR眼镜正是这一趋势的自然延伸。
AR眼镜提供了一种与数字内容互动的新方式,这种方式比通过手机屏幕更为自然和直观。用户可以通过眼镜看到现实世界,同时与全息图像进行交互,这将彻底改变我们与技术的互动模式。
通过AR和AI技术,即使人们身处远方,也能以全新的方式进行互动和沟通,仿佛彼此近在咫尺,从而增强社交体验。他认为,随着AI技术的进步,我们正迈向一个新时代,在这个时代中,智能系统能够深入理解用户需求并提供定制化的服务。
例如,AI实时翻译技术,可以帮助人们跨越语言障碍,实现更广泛的交流。这种技术不仅促进了国际合作,也使获取全球内容变得更加容易。在教育和编程领域,他预见AI将能够根据每个学习者的学习速度和风格提供个性化的教育体验,同时辅助编程,帮助开发者解决复杂问题,提高工作效率。
随着AI技术的普及,扎克伯格预见将会出现一系列个性化的AI产品,从没有显示屏的智能眼镜到全息AR眼镜,再到全面混合现实头显,满足不同用户的需求。扎克伯格强调,AI技术将变得足够普及和可访问,使得每个人都能根据自己的需求定制和使用AI。无论是在日常任务中获得帮助,还是在专业领域实现创新,AI都将成为人们生活中不可或缺的一部分。
扎克伯格还强调了开源人工智能的重要性。开源意味着全球的开发者社区都能访问和贡献自己的力量,这样的开放性促进了广泛的参与和协作。开源提高了AI系统的透明度,任何人都可以查看和理解系统的工作原理。开源还有助于更快地发现并解决潜在的安全漏洞,提高系统的安全性。
关于目前的AI架构是否会继续扩展其能力,还是会达到一个上限的问题,扎克伯格解释说,目前的AI架构,尤其是基于Transformer的模型,已经显示出了强大的扩展性,这些模型随着训练数据的增加和计算资源的扩展而变得更加强大和有效。
到目前为止,这些AI模型并没有显示出能力增长的停滞迹象,随着模型在更多的GPU上进行训练,它们的性能和能力似乎在持续提升。对于未来AI的发展,扎克伯格提到,正在考虑大规模投资于基础设施,以便能够支持更大、更复杂的AI模型。
如果AI架构能够持续扩展,那么我们可能会看到一系列新的、令人兴奋的产品和应用。如果存在上限,那么技术社区需要寻找新的方法来进一步提高AI的性能。扎克伯格认为即使达到某种上限,创新也将继续。技术人员将会探索新的AI架构或算法,以实现进一步的性能提升。
扎克伯格在采访中展现了对未来技术发展的热情和乐观,同时也意识到伴随这些变革而来的挑战和责任。他强调了开放源代码的重要性,并对AI的未来发展持谨慎乐观的态度。
好文章,需要你的鼓励
北京交通大学与西蒙弗雷泽大学联合研发的混合神经-MPM方法实现了实时交互式流体模拟。该方法巧妙结合神经物理学与传统数值求解器,在低时空分辨率下运行神经网络并设置保障机制自动切换到MPM,显著降低计算延迟同时保持高保真度。团队还设计了基于扩散模型的控制器,支持用户通过简单草图直观控制流体行为,为游戏、VR和设计领域提供了实用解决方案。
这项研究介绍了EgoZero,一种创新的机器人学习系统,能够仅通过Project Aria智能眼镜捕获的人类示范数据,训练出零样本迁移的机器人操作策略。研究团队提出了一种形态无关的状态-动作表示方法,使用点集来统一人类和机器人数据,并开发了从原始视觉输入中提取准确3D表示的技术。在没有任何机器人训练数据的情况下,EgoZero在7种真实世界操作任务上实现了70%的成功率,展示了强大的泛化能力,为解决机器人学习中的数据瓶颈问题提供了新思路。
FLAME-MoE是卡内基梅隆大学团队开发的首个全透明混合专家语言模型研究平台,包含7个规模从3800万到17亿活跃参数的模型。它采用每层64位专家、top-8选择和2位共享专家的架构,公开所有训练数据、代码和检查点。实验显示,FLAME-MoE比相同计算量的密集模型提升3.4个百分点,并揭示了三个关键发现:专家逐渐专注于特定词汇子集,专家协同激活保持稀疏多样,路由行为在训练早期就趋于稳定。这一平台为MoE模型的系统研究提供了前所未有的开放基础。
这篇论文介绍了ModernGBERT,一个由维尔茨堡大学研究团队开发的高性能德语编码器模型家族(1.34亿和10亿参数版本)。研究将ModernBERT的创新架构应用于德语,同时通过LLM2Vec方法将德语解码器模型转换为编码器以进行对比研究。在SuperGLEBer和MTEB等基准测试中,ModernGBERT 10亿参数模型不仅超越了之前最先进的德语编码器,还在性能和参数效率方面优于转换后的编码器。研究团队还证明了更大模型能有效利用大规模单语语料库,为德语自然语言处理提供了全透明、高性能的资源。