Anthropic被认为是最像OpenAI的一家公司。他们推出的Claude2模型是全球首个支持200K超长上下文的商业模型。在PDF理解方面被认为表现优秀。就在2023年3月4日,Anthropic推出了他们的第三代大语言模型Claude3,包含3个不同的版本,支持多模态和最高100万上下文输入!
Claude3系列模型简介
Claude3系列模型的评测结果
Claude3能更少地拒绝回答用户问题
Claude3系列模型不同的应用
Claude3当前如何使用
Claude3实际测试
Claude3系列模型包含3个版本,分别是Claude3-Opus、Claude3-Sonnet和Claude3-Haiku,能力从高到低依次下降,成本也随之下降。尽管官方没有透露Claude3这三个版本模型的参数细节和模型架构。但是从成本和表现结果来看,参数应该是逐次递减的。
三者的区别对比如下:
从上表中可以看到,这三个模型各有特色,其中Claude3-Opus在多项评测结果中超过了GPT-4,因此也是最被大家期待的模型。
Claude3系列模型在各项评测结果中表现都非常好。下图是DataLearnerAI收集的关于Claude3与其它模型的对比结果,按照GSM8K排序降序。
从这个表格中可以看到,Claude3三个模型在GSM8K上的得分都非常高。而按照MMLU排序的话,Claude3-Opus得分86.8,略超GPT-4的86.4,超过了Gemini Ultra的83.7,是目前全球的分最高的预训练模型了。
除了文本理解和数学能力外,Claude3-Opus在代码生成方面表现也非常好。在HumanEval 5-shot评测上得分84.9,超过了GPT-4,也是全球目前排名第一的模型。
此前,Claude模型最被大家诟病的就是它经常拒绝回答用户问题。由于Anthropic做了过度的对齐优化,导致Claude2.1模型经常错误的拒绝回答用户问题。例如当用户问“如何杀死一个进程”这样一个计算机问题,Claude会认为这是不道德的拒绝回答。此次发布的Claude3模型,官方说它可以更加准确理解用户意图,在错误的拒绝方面表现更好。
上图是Anthropic的内部测试,结果显示,相比较Claude2.1错误拒绝概率高达26%左右,Claude3系列模型的错误拒绝概率都有较大的下降,最高的Claude3-Opus也就只有12%左右。
官方也给出了三个模型的不同应用场景,帮助大家如何选择模型。而这些应用场景其实也是我们在做大模型应用时候需要考虑的模型能力和成本的权衡因素。
从上面的对比可以看到,越强大的模型,越能处理复杂的任务,价格也更贵。而相应的,目前最新的GPT-4的接口价格是40美元/100万 tokens,比Claude3-Opus还是便宜不少。gpt-3.5-turbo价格是9美元/100万tokens,因此Claude3-Haiku的价格是gpt-3.5-tubo的1/6,如果能力与gpt-3.5差不多的话,那是非常有吸引力的。
此外,这三个Claude3模型都支持最高200K的上下文输入,而官方说的是Claude3-Opus未来可以支持100万的上下文输入!另外,Claude3的模型全部是多模态大模型!支持图像理解和图像生成!
目前Claude3-Opus和Claude3-Sonnet都可以通过API接口使用,因此开发者可以直接调用测试。而免费版本的Claude聊天服务也是直接上了Claude3-Sonnet,大家可以直接测试。至于最快最便宜的Claude3-Haiku,大家还需要等等。
我们做了几组测试,Claude3-Opus模型的结果令人满意。
不过我们测试中也发现一个问题,Claude3的模型幻觉比较严重,如果没有给牛肉价格,它会自己给一个价格,这个价格其实我们没有提到。而GPT-4则会用x代替没有给出的价格。
好文章,需要你的鼓励
NOVER是一种创新的无验证器强化学习框架,解决了传统激励训练依赖外部验证器的限制。由伦敦国王学院研究团队开发,它通过计算"推理困惑度"作为奖励代理,使语言模型能在任何文本任务中自主发展推理能力。实验表明,NOVER在一般推理、创意写作、社会智能和多语言能力等多种任务上均优于基线方法,甚至使3B模型接近从671B模型蒸馏版本的性能。此外,其灵活性还支持"反向激励训练"等创新应用,为语言模型训练开辟了新方向。
韩国中央大学研究团队开发了名为CoPriva的基准测试,评估大语言模型遵守上下文安全策略的能力。研究发现,虽然多数模型能成功拒绝直接违反安全政策的查询,但在面对间接攻击时存在严重漏洞,泄露率平均增加40%以上。即使是推理能力强的模型也未显示出明显优势,且高忠实度的回答往往伴随更多信息泄露。研究团队评估了10种先进模型,发现政策存在与否对防止泄露影响有限,而修订功能仅能部分提升合规性。这揭示了当前AI安全对齐的重大缺陷,强调了开发更强健安全机制的紧迫性。
这项研究分析了混合专家模型(MoE)的"局部路由一致性"特性,即连续词元激活相似专家的程度,这对内存受限设备上的模型部署至关重要。研究者提出了两种测量指标:段路由最佳性能(SRP)和段缓存最佳命中率(SCH),分析了20个不同MoE模型。结果表明,在每层都使用MoE且不含共享专家的模型局部路由一致性最高,领域专业化的专家比词汇专业化的专家对一致性贡献更大。研究还发现,缓存大小为激活专家数量2倍时能取得最佳平衡,为MoE模型设计和部署提供了重要指导。
清华大学研究团队开发的"思维增强型策略优化"(TAPO)通过将外部高级思维模式整合到强化学习中,显著提升了大语言模型的推理能力。这种方法从仅500个样本中抽象出思维模板,在AIME、AMC和Minerva Math等基准测试中分别比传统方法提高了99%、41%和17%的性能,同时增强了模型的可解释性、稳定性和泛化能力,为AI推理研究开辟了新方向。