4月5日,知名类ChatGPT平台Cohere在官网发布了全新模型——Command R+。
据悉,Command R+有1040亿参数,支持英语、中文、法语、德语等10种语言。最大特色之一是,Command R+对内置的RAG(检索增强生成)进行了全面强化,其性能仅次于GPT-4 tubro,高于市面上多数开源模型。
目前,Cohere已经开源了Command R+的权重,但只能用于学术研究无法商业化。想商业应用,用户可以通过微软Azure云使用该模型或者Cohere提供的API。
huggingface地址:https://huggingface.co/CohereForAI/c4ai-command-r-plus
量化版:https://huggingface.co/CohereForAI/c4ai-command-r-plus-4bit
强化版RAG
Cohere联合创始人兼Transformer作者之一的Aidan Gomez表示,RAG作为目前大模型厂商必备模块之一,Command R+对该功能进行了深度强化,在提升生成内容的准确的同时,极大减少了模型的“幻觉”。
根据其发布的性能测试数据显示,在多语言、RAG、工具使用三大模块,Command R+的性能基本与GPT-4 turo差不多,大幅度超过知名开源模型Mistral。
由于Command R+内置了一个高级分词器,对非英语文本的压缩效果比市面上其他模型好得多能够实现高达 57% 的成本降低。
所以,在大模型输入方面成本只有GPT-4 turo的三分之一,输出只有其二分之一,可以帮助企业节省大量资金。
Command R+另外一个特色就是支持与企业平台相结合,实现业务流程自动化。Gomez认为,大模型不仅能够生成各种文本等内容,对于企业来说就像“发动机”一样,能充当核心推理引擎来实现复杂业务流程的自动化(和RPA机器人差不多)。
Command R+可以与企业的CRM、ERP、HR等不同类型的软件相结合使用,例如,可以将大模型内置在CRM平台中,帮助企业自动记录、管理客户关系、活动以及更新日志等。
这也就是说,Command R+不仅仅是一个能生成内容的模型,更多的是可以帮助自动执行多场景复杂业务的智能AI代理(和AutoGPT差不多)。
此外,当Command R+在执行任务的过程中发生错误时,可以进行自我纠错,然后记住错误避免下次遭遇相同的情况。
什么是RAG
RAG(Retrieval-Augmented Generation)是一种结合了信息检索和生成的技术,主要为大型语言模型提供外部知识源,以便生成更准确、更丰富的回答或内容,并减少模型的幻觉问。
尤其是在需要广泛背景知识来生成响应的任务中,例如,问答、文本摘要和拟人对话等。
RAG的主要架构包括检索器、生成器和融合机制三大块。
检索器:检索器的作用是在给定输入(例如,一个自然文本提问)时,从一个大规模的文档集合中快速检索出相关的文档或信息片段。常用的检索方法包括基于向量空间模型的方法包括BM25、Dense Passage Retrieval等。
生成器:生成器通常是一个预训练模型,例如,GPT-4、Command R+等。它使用检索到的文档作为额外的上下文信息,生成与输入相关的回答或文本。
融合机制:在检索到的文档和原始输入之间建立联系的机制。它决定了如何将检索到的信息整合到生成过程中,以提高生成文本的相关性和准确性。
可以通过不同的方式实现,包括直接将检索结果作为生成器的一部分输入,或使用更复杂的注意力机制来动态选取最相关的信息。
所以,大模型在使用了RAG功能后,可以访问比预训练模型训练时期更广泛、更具时效性的知识,提高生成内容的相关性和准确性。
尤其是对于一些需要特定知识背景的任务,大模型直接生成响应需要耗费巨大AI算力。而RAG通过检索引入的背景知识,可以显著减少算力需求。
好文章,需要你的鼓励
zip2zip是一项创新技术,通过引入动态自适应词汇表,让大语言模型在推理时能够自动组合常用词组,显著提高处理效率。由EPFL等机构研究团队开发的这一方法,基于LZW压缩算法,允许模型即时创建和使用"超级tokens",将输入和输出序列长度减少20-60%,大幅提升推理速度。实验表明,现有模型只需10个GPU小时的微调即可适配此框架,在保持基本性能的同时显著降低计算成本和响应时间,特别适用于专业领域和多语言场景。
这项研究创新性地利用大语言模型(LLM)代替人类标注者,创建了PARADEHATE数据集,用于仇恨言论的无毒化转换。研究团队首先验证LLM在无毒化任务中表现可与人类媲美,随后构建了包含8000多对仇恨/非仇恨文本的平行数据集。评估显示,在PARADEHATE上微调的模型如BART在风格准确性、内容保留和流畅性方面表现优异,证明LLM生成的数据可作为人工标注的高效替代方案,为创建更安全、更具包容性的在线环境提供了新途径。
这项研究由中国科学技术大学的研究团队提出了Pro3D-Editor,一种新型3D编辑框架,通过"渐进式视角"范式解决了现有3D编辑方法中的视角不一致问题。传统方法要么随机选择视角迭代编辑,要么同时编辑多个固定视角,都忽视了不同编辑任务对应不同的"编辑显著性视角"。Pro3D-Editor包含三个核心模块:主视角采样器自动选择最适合编辑的视角,关键视角渲染器通过创新的MoVE-LoRA技术将编辑信息传递到其他视角,全视角精修器修复并优化最终3D模型。实验证明该方法在编辑质量和准确性方面显著优于现有技术。
这项研究提出了ComposeAnything,一个无需重新训练的框架,可显著提升AI图像生成模型处理复杂空间关系的能力。该技术由INRIA、巴黎高师和CNRS的研究团队开发,通过三个创新步骤工作:首先利用大型语言模型创建包含深度信息的2.5D语义布局,然后生成粗略的场景合成图作为先验指导,最后通过物体先验强化和空间控制去噪引导扩散过程。在T2I-CompBench和NSR-1K基准测试中,该方法远超现有技术,特别是在处理复杂空间关系和多物体场景时表现卓越,为AI辅助创意设计开辟新可能。