KuiperInfer：自制深度学习推理框架

本项目教你从零开始打造深度学习推理框架，涵盖深度学习背后知识、现代C++编程、计算图设计、算子实现及优化。完成后，你将拥有能推理多种模型的个人推理框架，有助于面试和知识提升。

带领你亲手打造一个深度学习推理框架。跟随本项目，从零开始自制深度学习推理框架，你将有以下收获：

学习一个深度学习框架背后的知识，掌握现代C++项目的写法，调试技巧和工程经验；

如何设计、编写一个计算图；

实现常见的算子，卷积算子、池化算子、全连接算子等；

在3的基础上，学会常见的优化手段加速算子的执行；

最后你将获得一个属于自己的推理框架，可以推理resnet、unet、yolov5、mobilenet等模型，对面试和知识进阶大有裨益。

KuiperInfer：自制深度学习推理框架

参考文献：

[1] 地址：https://github.com/zjhellofss/KuiperInfer

来源：NLP工程化

0赞

好文章，需要你的鼓励

人工智能

数据库技术

分析引擎优化

2025-10-23

MariaDB推出智能体功能并获得分析性能提升

MariaDB企业平台2026版本集成了RAG管道和AI代理支持，并通过基于Exasol的Exa内存引擎显著加速分析处理。该平台将事务、分析和AI数据库引擎统一到单一高性能平台中，支持检索增强生成管道和AI代理。新版本提供开箱即用的RAG功能，内置自然语言交互的AI副驾驶，包括开发者和DBA助手。MariaDB Exa分析引擎处理多TB复杂分析的速度比传统OLTP引擎快1000倍以上。

人工智能

动态专家搜索

推理优化

2025-10-22

浙江大学突破：让AI专家团队在考试时“动态组队“，推理能力飙升

浙江大学团队提出动态专家搜索方法，让AI能根据不同问题灵活调整内部专家配置。该方法在数学、编程等任务上显著提升推理准确率，且不增加计算成本。研究发现不同类型问题偏爱不同专家配置，为AI推理优化开辟新路径。

分布式存储

并行文件系统

开源技术

2025-10-23

PEAK:AIO押注开放pNFS技术挑战Lustre文件系统

软件定义高性能全闪存存储公司PEAK:AIO正在采用并行NFS(pNFS)技术，从单节点系统向横向扩展产品演进。该公司宣布将pNFS元数据软件开源，旨在为HPC环境提供现代化文件系统替代方案。PEAK:AIO的单个2RU系统可实现320GB/s性能并支持线性扩展，同时探索CXL技术以降低GPU访问延迟，计划构建统一的块、文件和对象协议系统。