12月27日,中国市占第一的消费级AR品牌雷鸟创新发布大模型语音助手Rayneo AI(beta版),并通过雷鸟X2消费级真AR眼镜内测上线。
依托于雷鸟创新自研的 AI大模型中控平台,Rayneo AI在传统语音助手功能的基础上,进一步加入了多轮自然语言对话、行程规划、便捷百科问答、头脑风暴等多项能力。配合雷鸟X2真AR眼镜,Rayneo AI将以一种更加自然、智能和无感的方式,真正成为用户的能力延伸。
举个例子,以往用户的规划旅游行程时,用户需要通过多个软件,查询天气、交通等信息,而有了Rayneo AI的加持,用户只需要唤醒雷鸟X2,即可一次性完成天气、出行交通、景区景点等信息查询,快速规划个人行程,兼具高效性和实用性。
未来,Rayneo AI还将加入视觉理解能力,进一步探索多模态信息交互能力和场景,帮助用户实现“所见即所知”。
2023年以来,以ChatGPT作为代表性的AI大模型产品引起了热议,随之AI+硬件时代也缓缓拉开序幕。雷鸟创新创始人兼CEO李宏伟指出,AI大模型会带来新场景和新产品,而AR眼镜则是AI的最佳载体。AR眼镜的信息交互与人类的感官系统高度一致,具备“看你所看,听你所听,在你眼前,在你耳旁”的天然优势,提供了无感的自然交互。AI与AR眼镜的深度融合,能够让AR眼镜成为用户的实时“外脑”,能够适应更多的场景,并成为用户的能力延伸。
2023年10月13日,雷鸟创新发布消费级真AR眼镜雷鸟X2,产品攻克了多项行业技术难题,是业内首款发布和量产的双目全彩MicoLED+光波导AR眼镜。在此基础上,雷鸟X2还搭载了高通骁龙XR2旗舰级芯片和6+128GB内存,把消费级真AR眼镜算力推到了前所未有的高度,带来出色的空间感知交互能力和丰富的虚实融合AR应用。伴随着Rayneo AI的发布,雷鸟X2的能力也将进一步提升,为用户提供真正的数字世界无感赋能。
此外,将即将到来的CES 2024,雷鸟创新还将展示新一代AR眼镜雷鸟X2 Lite,产品不仅在外观、重量上有极大的提升,还将首发高通骁龙AR1芯片,带来更强劲的AI能力。
好文章,需要你的鼓励
这项研究提出了ORV(占用中心机器人视频生成)框架,利用4D语义占用作为中间表示来生成高质量的机器人操作视频。与传统方法相比,ORV能提供更精确的语义和几何指导,实现更高的时间一致性和控制精度。该框架还支持多视角视频生成(ORV-MV)和模拟到真实的转换(ORV-S2R),有效弥合了虚拟与现实之间的差距。实验结果表明,ORV在多个数据集上的表现始终优于现有方法,为机器人学习和模拟提供了强大工具。
这项研究由Writer公司团队开发的"反思、重试、奖励"机制,通过强化学习教导大型语言模型生成更有效的自我反思内容。当模型回答错误时,它会生成反思并二次尝试,若成功则奖励反思过程。实验表明,该方法在函数调用和数学方程解题上带来显著提升,最高分别改善18.1%和34.7%。令人惊讶的是,经训练的小模型甚至超越了同家族10倍大的模型,且几乎不存在灾难性遗忘问题。这种自我改进技术为资源受限环境下的AI应用开辟了新方向。
FuseLIP是一项突破性研究,提出了通过早期融合离散标记实现多模态嵌入的新方法。与传统CLIP模型使用独立编码器不同,FuseLIP采用单一编码器同时处理图像和文本标记,实现了更自然的模态交互。研究证明,这种早期融合方法在多种多模态任务上表现优异,特别是在需要理解图像结构而非仅语义内容的任务上。研究还开发了创新的数据集和评估任务,为多模态嵌入研究提供了宝贵资源。
ByteDance与浙江大学合作开发的MERIT是首个专为多语言多条件语义检索设计的基准数据集,包含320,000条跨5种语言的查询和135,000个产品。研究发现现有模型在处理多条件查询时过度关注全局语义而忽略特定条件元素,为此提出CORAL框架,通过嵌入重建和对比学习相结合的方式,使检索性能提升45.9%。这项研究不仅识别了现有方法的关键局限性,还为多条件交错语义检索领域的未来研究奠定了基础。