KuiperInfer:自制深度学习推理框架

本项目教你从零开始打造深度学习推理框架,涵盖深度学习背后知识、现代C++编程、计算图设计、算子实现及优化。完成后,你将拥有能推理多种模型的个人推理框架,有助于面试和知识提升。

带领你亲手打造一个深度学习推理框架。跟随本项目,从零开始自制深度学习推理框架,你将有以下收获:

学习一个深度学习框架背后的知识,掌握现代C++项目的写法,调试技巧和工程经验;

如何设计、编写一个计算图;

实现常见的算子,卷积算子、池化算子、全连接算子等;

在3的基础上,学会常见的优化手段加速算子的执行;

最后你将获得一个属于自己的推理框架,可以推理resnet、unet、yolov5、mobilenet等模型,对面试和知识进阶大有裨益。

KuiperInfer:自制深度学习推理框架

KuiperInfer:自制深度学习推理框架

KuiperInfer:自制深度学习推理框架

参考文献:

[1] 地址:https://github.com/zjhellofss/KuiperInfer

 

来源:NLP工程化

0赞

好文章,需要你的鼓励

2024

03/07

16:04

分享

点赞

NLP工程化

专注于Python/C++/CUDA、ML/DL/RL和NLP/KG/DS/LLM领域的技术分享。

最近文章 :