视频化已是各行业大势所趋,激发出多元化需求。面临机遇与挑战,快手StreamLake专注于成为视频化升级助推器,推出视频化升级全链路解决方案。近期,快手StreamLake亮相LiveVideoStackCon 2022北京站,展示了一站式音视频+AI解决方案。
快手高级副总裁、研发线负责人于冰在主论坛带来《汇聚音视频新能量,探索行业新蓝海》主题演讲,从视频行业趋势和痛点出发,结合快手自身的探索、演进历程,探讨AIGC、编解码和AI结合等方向,分享了技术变革和突破的新思路。演讲中,于冰表示,“在激发行业增长点方向上,快手StreamLake围绕音视频+AI方向打造新产品,聚焦视频质量评估、PCDN、媒体传输协议、芯片等方向,推动新一代视频标准核心候选算法平台ECM的发展,助力更多客户实现视频化业务转型与增长。”
图:快手高级副总裁、研发线负责人于冰
活动现场,快手StreamLake举办了品牌专场。来自快手音视频技术团队的专家们进行了主题演讲,结合行业发展最新动态,聚焦极致体验,分享了在媒体处理、媒体传输协议、播放器等方向上最新进展与落地应用。
快手智能处理与编码算法产品化之路
快手视频图像算法引擎负责人陈宇聪分享了在智能处理与编码算法方向上的探索和应用。基于在业务场景中的沉淀,他讲述了如何将算法从0到1、从1到100实现落地应用,通过内部业务的积累和打磨,团队将算法产品化,并结合外部客户业务需求,加速解决方案的迭代。此外,他还分享了StreamLake转码产品的技术亮点以及在客户合作中的应用案例,展示了质臻轻流、质臻影音对于视频化业务发展的重要性。
媒体传输协议的演进与未来
身处视频大时代,视频化需求飞速增长。快手传输算法负责人周超分享了在泛VoD、泛Live、泛RTC等场景中,媒体传输协议所面临的挑战。基于快手KTP、KLP、LAS等协议和标准,周超讲述了团队如何结合业务需求,在媒体传输上的优化与实践。他表示,“下一代媒体传输协议CMTP(Common Media Transport Protocol)具有四个特点:架构通用、全场景、高扩展性、特性丰富,后续将逐步在业务中落地,以持续探索更多可能”。
打造音视频极致消费体验
长期以来,视频方向都在追求清晰度,流畅度和互动性。快手播放技术中心负责人苍鹏在分享中从端侧播放的视角来讲述消费体验,介绍了规模庞大而设计精巧的快手点播链路。基于快手海量数据,建立了快手音视频大数据体系及播放数据体系与指标体系,实现量化度量,让用户体验可视化。同时,苍鹏还介绍了快手播放核心技术、自研内核与优化方案,展示了快手HDR播放、移动端超分、3D环绕音效、6DoF自由视角播放、VR全景视频和全景直播等特色功能。目前,相关技术及产品能力均已对外开放,为StreamLake业务中的众多客户提供服务。
在音视频硬件互动体验区,快手StreamLake专业级会议麦克风SoundMatrix A10也进行了展示,其集成了先进的AI多通道降噪算法、AI回声消除算法和AI混响抑制算法,为高质量的音频会议保驾护航。该设备由一台主设备、2个扩展麦克风组成,主设备配备四个高信噪比麦克风,能够实现360°全向拾音和10米超远拾音,可以支持大中小会议室的全方位覆盖。
作为此次快手StreamLake特邀合作伙伴,NVIDIA也在活动中分享了其在音视频技术探索和应用实践的思考。在《元宇宙入局之路——新风口,新挑战》圆桌上,NVIDIA深度学习解决方案架构师刘一鸣,以NVIDIA Omniverse为基础介绍了NVIDIA在构建元宇宙上的技术布局以及相关案例。在 “AI与多媒体” 分会场上,NVIDIA GPU计算专家团队高级工程师张毅带来了以《CV-CUDA:高性能图像处理加速库》为题的主题分享。CV-CUDA是NVIDIA携手合作伙伴推出的计算机视觉和图像处理管道开源库,能高效运行在GPU上,算子速度能达到OpenCV(运行在CPU)的百倍左右。目前,CV-CUDA在例如搜索多模态、图片分类等多个实际场景中已经得到了应用。
好文章,需要你的鼓励
一加正式推出AI功能Plus Mind和Mind Space,将率先在一加13和13R上线。Plus Mind可保存、建议、存储和搜索屏幕内容,并将信息整理到Mind Space应用中。该功能可通过专用按键或手势激活,能自动创建日历条目并提供AI搜索功能。一加还计划推出三阶段AI战略,包括集成大语言模型和个人助手功能,同时将推出AI语音转录、通话助手和照片优化等工具。
北航团队推出Easy Dataset框架,通过直观的图形界面和角色驱动的生成方法,让普通用户能够轻松将各种格式文档转换为高质量的AI训练数据。该工具集成了智能文档解析、混合分块策略和个性化问答生成功能,在金融领域实验中显著提升了AI模型的专业表现,同时保持通用能力。项目已开源并获得超过9000颗GitHub星标。
预计到2035年,数据中心用电需求将增长一倍以上,达到440TWh,相当于整个加利福尼亚州的用电量。AI工作负载预计将占2030年数据中心需求的50-70%。传统冷却系统电机存在功率浪费问题,通常在30-50%负载下运行时效率急剧下降。采用高效率曲线平坦的适配电机可显著降低冷却系统功耗,某大型数据中心通过优化电机配置减少了近4MW冷却功耗,为13500台AI服务器腾出空间,年增收入900万美元。
卢森堡计算机事件响应中心开发的VLAI系统,基于RoBERTa模型,能够通过阅读漏洞描述自动判断危险等级。该系统在60万个真实漏洞数据上训练,准确率达82.8%,已集成到实际安全服务中。研究采用开源方式,为网络安全专家提供快速漏洞风险评估工具,有效解决了官方评分发布前的安全决策难题。