AI数据平台iMerit认为,企业级AI工具集成的下一步发展方向不是获得更多数据,而是更高质量的数据。该公司表示,更好的数据不是来自大量零工工作者,而是来自数学、医学、医疗保健、金融、自动驾驶和其他认知领域的专家。
iMerit首席执行官兼创始人Radha Basu告诉TechCrunch:"现在极其重要的是吸引和留住最优秀的认知专家的能力,因为我们必须将这些大型模型进行高度定制,以解决企业AI问题。"
这家总部位于加利福尼亚和印度的初创公司在过去九年中悄然发展,成为计算机视觉、医学影像、自动驾驶移动和其他需要高精度人工标注的AI应用领域公司的可信数据标注合作伙伴。
现在,iMerit正式推出其Scholars项目,该公司独家告诉TechCrunch。该项目的目标是建立一支不断壮大的专家队伍,为企业应用微调生成式AI模型,并越来越多地参与基础模型的优化。
据该公司介绍,iMerit已经与一些顶级AI公司建立了客户关系,包括七大生成式AI公司中的三家、八家顶级自动驾驶汽车公司、三家大型美国政府机构以及三大云服务提供商中的两家。
这一消息传出之际,AI数据标注领域最大的公司Scale AI的创始人兼首席执行官Alexandr Wang已加入Meta,Meta还收购了该公司49%的股份。在Meta投资之后,Scale的许多主要客户都选择退出,包括Google、OpenAI、Microsoft和xAI,担心Meta可能获得他们的产品路线图。
iMerit并不声称要取代Scale AI的核心产品——高吞吐量、面向开发者的"闪电数据"。相反,该公司认为现在是专注于专家主导的高质量数据的合适时机,这种数据需要深度的人类判断和特定领域的监督。
iMerit全球专业工作团队副总裁Rob Laing告诉TechCrunch:"我们是房间里的成年人。现在有很多资金投入到AI中。有一些非常聪明的人在构建大型人力平台。但他们从这种大规模方法和快速推向市场方法中获得的输出质量并未达到企业所需的水平。"
Basu举了一个例子,基于基础大语言模型的医疗记录助手已经进入市场。
"如果你没有心脏病专家或医生的专业知识,你基本上创造的东西可能只有50%或60%的准确率,"Basu说。"你希望达到99%的准确率。你需要质疑模型、破解它、修复它。这就是专家主导的AI为企业提供的可能性。"
iMerit的专家负责使用该初创公司的专有平台Ango Hub对企业和基础AI模型进行微调或"折磨"。Ango允许iMerit的"学者"与客户的模型交互,为模型生成和评估需要解决的问题。
对iMerit来说,吸引和留住认知专家是成功的关键,因为这些专家不是完成几个任务就消失,而是在项目上工作多年。iMerit拥有91%的留存率,其中50%的专家是女性。
Laing曾创立人工翻译平台myGengo,他的经验帮助他理解如何进行众包。他说,让人们执行琐碎任务相对容易,但创建社区需要更以人为中心的方法。
"与其让某人成为数据库中的一个名字,当有人加入Scholars项目时,他们实际上会见团队成员,"Laing说。"他们进行协作讨论,被大力推动在最高水平上工作。我们在人员招募方面非常、非常、非常严格。"
Laing补充道:"我认为在接下来的几年里,像iMerit这样真正专注于参与度、留存率和质量的公司,将成为人们训练AI的首选公司。"
目前,iMerit与超过4000名学者合作,希望在扩展过程中招募更多人员。Basu告诉TechCrunch,尽管公司自2020年以来没有进行融资——当时引入了Khosla Ventures、Omidyar Network、Dell.org和英国国际投资等投资者——iMerit是可持续和盈利的。凭借自有现金储备,iMerit能够扩展到10000名专家,Basu说。进一步扩展需要更多外部投资,iMerit对此持开放态度,但并不迫切需要。
iMerit在过去一年中一直在开发Scholars项目,主要专注于医疗保健领域。目标是扩展到其他企业应用,包括金融和医学。Laing指出,生成式AI是其增长最快的领域,因为顶级AI公司与iMerit合作改进其基础模型。
"互联网上的免费数据已经没有了,较低级别的人工输入数据也已经商品化,"Laing说。"这些公司现在真正想要做的是调整这些模型以实现通用人工智能或超级智能。"
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。