当前,生成式人工智能(AI)正以惊人的创造力和应用潜力在全球范围内掀起一场革命。在中国,各行各业都在思考如何利用生成式AI技术实现自身行业的自动化和高质量、高效率发展。然而,正如光明与阴影相伴,生成式AI的进一步发展也让网络攻击的潜力达到前所未有的水平。
Jumio发布的《2023年在线身份研究》验证了这一点,67%的消费者意识到这类生成式AI工具可以制作捏造的内容,包括视频、图像和音频等,将会为身份欺诈带来更大风险。假冒诈骗已经成为一个全球性问题,其影响深远且代价巨大。仅在 2022 年,冒名欺诈就给英国消费者造成了 1.07 亿英镑的损失,给美国消费者造成了 26 亿美元的损失,给新加坡造成了 1.01 亿新元的损失。在中国也有真实的案例发生,去年6月在内蒙古包头,骗子通过AI换脸和拟声技术佯装好友实施诈骗,导致被害人10分钟内被骗走430万元。
为什么生成式AI会带来如此大的欺诈风险?
生成式AI工具如果被欺诈团伙所利用,将为个人和企业带来严重的安全威胁。以网络钓鱼电子邮件为例。以前,大家经过仔细观察一般很容易发现钓鱼邮件的异常之处,因为它们充满了错别字和语病。而借助生成式AI工具,欺诈者可以轻松起草一封精美的专业电子邮件,从而更难识别为冒名顶替。
再比如,机器人现在能够在社交媒体上开设账户,并使用生成式AI撰写看起来很可靠的消息。如果这一消息被自动化地传播出去,虚假信息的规模将达到前所未有的水平,用户将很难辨别真实信息和虚假信息。生成式AI也被欺诈者滥用于制造逼真的深度伪造内容。估计市场上有 50 多种工具可以让人在 10 到 15 分钟内就制作出一份深度伪造内容。今年2月份,有媒体报道称,诈骗团伙利用深伪技术在视频会议中冒充企业高管,导致一家大型跨国公司香港分公司的财务人员被骗取高达2,500万美金。
对于企业而言,以金融行业为例,尽管很多企业已经意识到KYC(了解您的客户)流程的重要性并开始部署,但在生成式AI的挑战下,这一流程正面临着前所未有的考验。例如,诈骗团伙利用生成式AI技术伪造身份证件和护照,通过线上银行进行诈骗活动,往往造成巨大的经济损失。
应对之策在于永远保持领先于欺诈技术
面对生成式AI带来的欺诈风险,我们必须以AI对抗AI驱动的欺诈,保持永远领先于欺诈技术。例如,AI可用于检测篡改迹象,如文字和照片篡改。采用基于面部的生物识别技术和先进的活体检测技术,可以检测到复杂的欺骗攻击,如人脸互换和人脸变形等。
事实上,越来越多的企业正在利用基于AI的生物识别和活体检测技术来加固其欺诈预防系统。Jumio 数字身份调查表明,由于生成式AI的兴起和深伪图像的出现,54% 的全球受访者认为面部识别技术在身份验证方面将发挥更大价值。
对于金融行业来说,在拥有强大的eKYC流程之外,结合生物识别认证技术将有助于增强安全性。此外,在注册过程中加上被动风险信号可提供更多一层保障。例如,验证用户的个人身份信息 (PII)、验证年龄、评估用户电子邮件和电话号码的信用级别、通过 IP 地址验证用户的位置,评估设备的可信度以评估用户的风险等级。拥有高度准确和主动化的身份验证解决方案,将有助于实时拦截可疑交易并迅速采取适当的行动。对于出海企业来说,还需要考虑不同国家和地区的客户尽调标准和跨境支付工作流程。
基于生物识别的身份验证变得更加重要
作为全球生物识别和身份验证解决方案的领导者,Jumio以创新的生物识别、活体检测、欺诈分析等技术,提供了一种有效的以AI对抗AI的策略。Jumio的流程简洁而高效,用户只需拍摄身份证照片,然后自拍,系统便会迅速完成身份验证。在这一过程中,Jumio运用AI技术进行实时分析,不仅验证身份证的真实性,还确保了验证过程的真实性。
在区分机器生成和人类交互越来越具有挑战性的环境中,基于生物识别的身份验证变得更加重要。Jumio将继续致力于推动身份验证技术的进步,确保在AI时代,安全、便捷的身份验证不再是奢侈品,而是每一笔交易的标准配置。
好文章,需要你的鼓励
这项由复旦、港科大等多校联合完成的研究首次系统性地解决了大型AI模型在识别场景文字时产生"语义幻觉"的问题。研究团队发现AI模型常将视觉上模糊的文字"脑补"成有意义但错误的词汇,并开发了包含ZoomText定位策略和接地层修正机制的训练无关解决方案,在多个基准测试中实现显著性能提升,为提高AI视觉系统可靠性提供了重要突破。
IBM研究院发布AssetOpsBench,全球首个工业资产AI代理评估平台。该研究建立了多代理协作框架,涵盖IoT数据采集、时序分析、故障诊断等专业模块,通过141个真实场景和六维评估标准测试AI在复杂工业运维中的表现。测试显示当前AI技术仍有改进空间,为工业4.0时代的智能运维发展提供重要基准。
韩国科学技术院研究团队开发出Simba方法,通过层次化稀疏化技术对状态空间模型进行"瘦身",在保持性能的同时显著提升计算效率。该方法采用类似高速公路的架构设计,让AI模型的上层只处理最重要的信息,实现了最高80%的速度提升和更好的长序列处理能力。这项即插即用的技术为AI模型优化提供了新思路。
这项研究展示了一个基于ModernBERT架构的prompt injection检测模型,通过精心构建的多样化数据集训练,在内部测试中达到98.7%准确率和98.0% F1分数,在公开基准测试中平均F1分数达93.8%,显著超越现有最强基线系统。该模型推理速度仅0.02秒,具备实时检测能力,为AI系统安全防护提供了新的解决方案。