SOPHON SDK

SOPHON SDK

SOPHON SDK是基于算能深度学习处理器，所自主研发的深度学习SDK，通过其强有力的工具，可在生产环境中部署深度学习应用程序，并提供最大化的推理吞吐量和效率。

联系我们

全栈式解决方案

SOPHON SDK由Compiler和Runtime两部分组成。

Compiler 负责对各种深度神经网络模型（如ONNX）进行优化和转换，充分平衡EU运算和访存时间，提升运算的并行度，并最终转换成算能科技智能视觉深度学习处理器支持的bmodel模型。
Runtime 负责驱动智能视觉深度学习处理器，为上层应用程序提供统一的可编程接口，使程序可以通过bmodel模型进行神经网络推理，而用户无需关心底层硬件实现细节。
Full-Stack solution

提供PCIE和SOC两种设备驱动模式，开发者有更多的选择。

结合算能科技自主研发的深度学习处理器，提供最大的推理吞吐量和最简单的应用部署环境。

提供操纵底层计算资源的运行库编程接口，用户可进行深度开发。

运行库提供并发处理能力，支持多进程和多线程两种模式。

产品功能

模型编译

目前SOPHON SDK向开发者提供两种网络模型的编译模式：第一种是开发者直接使用MLIR编译器进行编译和部署。第二种是开发者可使用MLIR的编程接口对编译器进行扩展，利用TPU kernel底层语言编程接口（类似CUDA/intrinsics调用原子操作），或者利用RISC-V指令添加自定义网络层，实现非公开网络的编译。

应用开发

我们给用户提供一个Docker开发镜像，集成了SOPHON SDK应用开发需要的工具和依赖库，用户可以使用该Docker镜像进行SOPHON SDK应用的开发。

应用部署

编译后的网络以及开发的深度学习应用，集成之后可通过Runtime进行部署，部署过程中，需要使用Runtime inference engine的API接口进行编程。