Anthropic被认为是最像OpenAI的一家公司。他们推出的Claude2模型是全球首个支持200K超长上下文的商业模型。在PDF理解方面被认为表现优秀。就在2023年3月4日,Anthropic推出了他们的第三代大语言模型Claude3,包含3个不同的版本,支持多模态和最高100万上下文输入!
Claude3系列模型简介
Claude3系列模型的评测结果
Claude3能更少地拒绝回答用户问题
Claude3系列模型不同的应用
Claude3当前如何使用
Claude3实际测试
Claude3系列模型包含3个版本,分别是Claude3-Opus、Claude3-Sonnet和Claude3-Haiku,能力从高到低依次下降,成本也随之下降。尽管官方没有透露Claude3这三个版本模型的参数细节和模型架构。但是从成本和表现结果来看,参数应该是逐次递减的。
三者的区别对比如下:
从上表中可以看到,这三个模型各有特色,其中Claude3-Opus在多项评测结果中超过了GPT-4,因此也是最被大家期待的模型。
Claude3系列模型在各项评测结果中表现都非常好。下图是DataLearnerAI收集的关于Claude3与其它模型的对比结果,按照GSM8K排序降序。
从这个表格中可以看到,Claude3三个模型在GSM8K上的得分都非常高。而按照MMLU排序的话,Claude3-Opus得分86.8,略超GPT-4的86.4,超过了Gemini Ultra的83.7,是目前全球的分最高的预训练模型了。
除了文本理解和数学能力外,Claude3-Opus在代码生成方面表现也非常好。在HumanEval 5-shot评测上得分84.9,超过了GPT-4,也是全球目前排名第一的模型。
此前,Claude模型最被大家诟病的就是它经常拒绝回答用户问题。由于Anthropic做了过度的对齐优化,导致Claude2.1模型经常错误的拒绝回答用户问题。例如当用户问“如何杀死一个进程”这样一个计算机问题,Claude会认为这是不道德的拒绝回答。此次发布的Claude3模型,官方说它可以更加准确理解用户意图,在错误的拒绝方面表现更好。
上图是Anthropic的内部测试,结果显示,相比较Claude2.1错误拒绝概率高达26%左右,Claude3系列模型的错误拒绝概率都有较大的下降,最高的Claude3-Opus也就只有12%左右。
官方也给出了三个模型的不同应用场景,帮助大家如何选择模型。而这些应用场景其实也是我们在做大模型应用时候需要考虑的模型能力和成本的权衡因素。
从上面的对比可以看到,越强大的模型,越能处理复杂的任务,价格也更贵。而相应的,目前最新的GPT-4的接口价格是40美元/100万 tokens,比Claude3-Opus还是便宜不少。gpt-3.5-turbo价格是9美元/100万tokens,因此Claude3-Haiku的价格是gpt-3.5-tubo的1/6,如果能力与gpt-3.5差不多的话,那是非常有吸引力的。
此外,这三个Claude3模型都支持最高200K的上下文输入,而官方说的是Claude3-Opus未来可以支持100万的上下文输入!另外,Claude3的模型全部是多模态大模型!支持图像理解和图像生成!
目前Claude3-Opus和Claude3-Sonnet都可以通过API接口使用,因此开发者可以直接调用测试。而免费版本的Claude聊天服务也是直接上了Claude3-Sonnet,大家可以直接测试。至于最快最便宜的Claude3-Haiku,大家还需要等等。
我们做了几组测试,Claude3-Opus模型的结果令人满意。
不过我们测试中也发现一个问题,Claude3的模型幻觉比较严重,如果没有给牛肉价格,它会自己给一个价格,这个价格其实我们没有提到。而GPT-4则会用x代替没有给出的价格。
好文章,需要你的鼓励
OpenAI 的 ChatGPT 爬虫存在安全漏洞,可被利用对任意网站发起分布式拒绝服务攻击。攻击者只需向 ChatGPT API 发送一个包含大量重复 URL 的请求,就能触发爬虫对目标网站进行大量访问。此外,该漏洞还可能被用于绕过限制,让爬虫回答查询。这些问题凸显了 AI 系统在安全性方面的潜在风险。
三星即将发布的Galaxy S25 Ultra旗舰手机将带来多项升级,尤其是相机方面。据泄露信息显示,新机将支持高分辨率视频拍摄、超广角微距模式、AI音频擦除等功能,并集成Google Gemini AI助手。这些升级将大幅提升用户体验,令人期待。
本周科技圈风云激荡:TikTok 面临美国最高法院裁决,或将被迫停运;Meta 在美国终止事实核查,引发争议;ChatGPT 推出全新任务功能,为用户提供智能日程管理;Beat Saber 在 Quest 平台销量突破千万,AI 电影制作技术展现惊人潜力。
AI正重塑人类生活的方方面面,从商业到国防再到社会政策。AI计算能力与全球影响力息息相关。各国和企业纷纷投资巨额资金建设数据中心,以增强AI实力。预计到2030年AI市场规模将达1.81万亿美元,掌握最佳数据和计算平台的国家将占据优势地位。AI计算力的竞争已成为21世纪全球力量的决定性较量。