谷歌首席执行官Sundar Pichai表示,谷歌正在努力使旗下的人工智能和机器学习模型更加透明,以此抵御系统的偏差。
Pichai提及一系列人工智能增强技术(https://blog.google/technology/developers/io19-helpful-google- everyone /)以及将更多的机器学习模型放在设备上的举动,而对于开发人员和数据科学家而言他说的重点则在于TCAV。 TCAV是概念激活向量测试(Testing with Concept Activation Vectors)的英文缩写(https://ai.google/research/pubs/pub47077)。简而言之,TCAV是一种可解释性的方法,可用于了解神经网络模型用来预测的信号。
理论上,TCAV具有理解信号可能表现出偏差的能力(https://github.com/tensorflow/tcav),因为这些信号会强调男性是否是有别于女性,信号还会表现出其他的问题,如种族、收入和位置。计算机科学家利用TCAV就可以看到价值概念到底有多高的价值(https://arxiv.org/abs/1711.11279)。
偏差是人工智能里的一个重要概念,一些学者呼吁引进更多的自我监管和法例(https://www.zdnet.com/article/why-businesses-will-have-to-audit-algorithms-ai-and-account-for-risk/)。此外,诸如IBM一类的行业参与者也在推动更大的透明度和具有监控算法层的软件,以达到了解算法是如何产生偏见的目的(https://www.zdnet.com/article/ibm-launches-tools -to-detect-ai-fairness-bias-and-open-sources-some-code /)。而与此同时,一些企业也在向着可解释人工智能方向努力(https://www.zdnet.com/article/capital-one-ai-chief-sees-path- to-explainable-ai /)。对于谷歌来说,透明度很重要,因为谷歌的技术包括Duplex和下一代谷歌智能助理(https://www.zdnet.com/article/google-sees-next-gen-duplex- assistant-as-next-step-in-taking-over-your-tasks/ )。这些工具现在为用户执行任务时的功能越来越多。模型的透明度可能意味着对谷歌技术的更多信任和使用。
最关键的一点:透明度和防范偏差对于企业以及为我们提供大多数模型即服务的所有云提供商都至关重要(https://www.zdnet.com/article/top-cloud- providers -2019-aws-microsoft-azure-google-cloud-ibm-makes-hybrid-move-salesforce-dominates-saas/)。
TCAV的使用不需要重新训练模型,TCAV做的是解剖模型即说明模型为何做出某种决定。例如,识别斑马的模型可以使用更高级别的概念来识别斑马。来看一个示例:
Pichai表示,“要为每个人建立一个更有帮助的谷歌就意味着解决偏差问题。你需要知道模型是如何工作的,并且清楚其中可能存在偏差。为此,我们将提高模型的透明度。”
他补充表示,谷歌的人工智能团队正在开发TCAV,这项技术可以允许模型使用更多的高级概念。TCAV的目标是将支撑模型的变量表现出来。“还有做很多的工作,但我们奉行的原则是打造适合所有人的人工智能。”Pichai表示。
由于谷歌能够将模型的大小缩小到可以驻留在设备上,谷歌现在正朝着降低延迟及使用联合学习等技术减少数据使用并增强用户隐私的方向努力。
好文章,需要你的鼓励
苏州大学研究团队提出"语境降噪训练"新方法,通过"综合梯度分数"识别长文本中的关键信息,在训练时强化重要内容、抑制干扰噪音。该技术让80亿参数的开源模型在长文本任务上达到GPT-4o水平,训练效率比传统方法高出40多倍。研究解决了AI处理长文档时容易被无关信息干扰的核心问题,为文档分析、法律研究等应用提供重要突破。
在Cloudera的“价值观”中,企业智能化的根基可以被概括为两个字:“源”与“治”——让数据有源,智能可治。
清华大学团队首次揭示了困扰AI训练领域超过两年的"幽灵故障"根本原因:Flash Attention在BF16精度下训练时会因数字舍入偏差与低秩矩阵结构的交互作用导致训练崩溃。研究团队通过深入分析发现问题源于注意力权重为1时的系统性舍入误差累积,并提出了动态最大值调整的解决方案,成功稳定了训练过程。这项研究不仅解决了实际工程问题,更为分析类似数值稳定性挑战提供了重要方法论。