近日,ARM发布 2023全面计算解决方案(TCS23),并于北京举行了技术分享日活动,来自快手的技术专家分享了在大型项目中通过使用MTE来提升内存安全的最新实践。
ARM在 2023全面计算解决方案中,重点强调了内存标签扩展 (Memory Tagging Extension, MTE) 特性。据了解,MTE可以帮助开发者在部署之前和之后检测到内存安全问题,保证App内存稳定性提升用户体验,并减少安全漏洞降低受到攻击的可能性。
作为领先的短视频和直播平台,2023年一季度,快手应用的DAU同比增长8.3%达 3.74亿,短视频及直播内容的总观看次数同比增长超10%,累计互关用户对数超过296亿对。为了给用户提供极致体验,快手非常重视App稳定性和保护用户的隐私安全。
来自快手的技术专家李锐介绍,通过与ARM、Google、VIVO、荣耀等公司合作,快手在大型Android工程项目中使用 Arm MTE 提高内存安全,90% 的内存安全问题可以在 App 正式发布之前就在线下被检测拦截,全面保障线上用户的基础体验。
在追求高性能和跨平台的基础软件领域,快手使用C/C++/Assembly作为主要编程语言,这些语言提供了对内存的直接灵活控制,程序员需要手动管理内存,包括分配、释放和直接使用地址读写内存,通常被称为内存不安全的语言。
在快手这样量级的App里,由于多线程并发和对象生命周期的管理复杂,外加海量用户、高使用时长、碎片化设备等因素,很容易出现内存破坏的问题,导致了大量偶发崩溃。并且根据Google Android的报道,75%的漏洞都和内存非法使用有关。
过去,快手主要基于LLVM ASan工具进行内存破坏检测,由于传统内存检测工具的性能开销较高,且需要重新编译所有源代码,所以几乎无法在快手这样量级的大型项目日常开发实践中使用这些工具。
而快手MTE 自定义方案解决了这些问题,打破了传统内存检测工具的不可能三角。基于用户真实场景,在高内存负载下开启MTE,依然可以十分流畅的运行快手app。包括视频观看、主页刷feed流、生产拍摄、直播推拉流、电商等高频使用内存的业务场景。累计检出内存破坏bug数十个,包括自研库、三方库和系统GPU驱动库等,在保证内存安全方面发挥了重要作用。
快手稳定性团队是国内率先在Android应用侧把MTE技术完整落地用于大型App内存安全检测的,也早于Facebook和Unity在大型工程中实践,取得了不错的收益。并且ARM也在2023MWC世界移动通信大会上,将快手的实践作为Case Study展示。
李锐表示,通过与ARM等合作伙伴的共同努力,快手技术团队将持续提升系统稳定性和隐私安全,为用户提供更好的体验。
好文章,需要你的鼓励
多伦多大学研究团队提出Squeeze3D压缩框架,巧妙利用3D生成模型的隐含压缩能力,通过训练映射网络桥接编码器与生成器的潜在空间,实现了极致的3D数据压缩。该技术对纹理网格、点云和辐射场分别达到2187倍、55倍和619倍的压缩比,同时保持高视觉质量,且无需针对特定对象训练网络,为3D内容传输和存储提供了革命性解决方案。
浙江大学与腾讯联合研究团队提出MoA异构适配器混合方法,通过整合不同类型的参数高效微调技术,解决了传统同质化专家混合方法中的表征坍塌和负载不均衡问题。该方法在数学和常识推理任务上显著优于现有方法,同时大幅降低训练参数和计算成本,为大模型高效微调提供了新的技术路径。
耶鲁、哥大等四校联合研发的RKEFino1模型,通过在Fino1基础上注入XBRL、CDM、MOF三大监管框架知识,显著提升了AI在数字监管报告任务中的表现。该模型在知识问答准确率提升超过一倍,数学推理能力从56.87%提升至70.69%,并在新颖的数值实体识别任务中展现良好潜力,为金融AI合规应用开辟新路径。
加州大学圣巴巴拉分校研究团队开发出能够自我进化的AI智能体,通过《卡坦岛拓荒者》桌游测试,这些AI能在游戏过程中自主修改策略和代码。实验显示,具备自我进化能力的AI显著超越静态版本,其中Claude 3.7模型性能提升达95%。研究验证了AI从被动工具向主动伙伴转变的可能性,为复杂决策场景中的AI应用开辟新路径。