带领你亲手打造一个深度学习推理框架。跟随本项目,从零开始自制深度学习推理框架,你将有以下收获:
学习一个深度学习框架背后的知识,掌握现代C++项目的写法,调试技巧和工程经验;
如何设计、编写一个计算图;
实现常见的算子,卷积算子、池化算子、全连接算子等;
在3的基础上,学会常见的优化手段加速算子的执行;
最后你将获得一个属于自己的推理框架,可以推理resnet、unet、yolov5、mobilenet等模型,对面试和知识进阶大有裨益。
参考文献:
[1] 地址:https://github.com/zjhellofss/KuiperInfer
好文章,需要你的鼓励
MariaDB企业平台2026版本集成了RAG管道和AI代理支持,并通过基于Exasol的Exa内存引擎显著加速分析处理。该平台将事务、分析和AI数据库引擎统一到单一高性能平台中,支持检索增强生成管道和AI代理。新版本提供开箱即用的RAG功能,内置自然语言交互的AI副驾驶,包括开发者和DBA助手。MariaDB Exa分析引擎处理多TB复杂分析的速度比传统OLTP引擎快1000倍以上。
浙江大学团队提出动态专家搜索方法,让AI能根据不同问题灵活调整内部专家配置。该方法在数学、编程等任务上显著提升推理准确率,且不增加计算成本。研究发现不同类型问题偏爱不同专家配置,为AI推理优化开辟新路径。
软件定义高性能全闪存存储公司PEAK:AIO正在采用并行NFS(pNFS)技术,从单节点系统向横向扩展产品演进。该公司宣布将pNFS元数据软件开源,旨在为HPC环境提供现代化文件系统替代方案。PEAK:AIO的单个2RU系统可实现320GB/s性能并支持线性扩展,同时探索CXL技术以降低GPU访问延迟,计划构建统一的块、文件和对象协议系统。
清华大学研究团队提出SIRI方法,通过"压缩-扩张"交替训练策略,成功解决了大型推理模型"话多且准确率低"的问题。实验显示,该方法在数学竞赛题上将模型准确率提升43.2%的同时,输出长度减少46.9%,真正实现了效率与性能的双重优化,为AI模型训练提供了新思路。