课程介绍

TPU-MLIR是一种专用于处理器的TPU编译器。该编译器项目提供了一个完整的工具链，可以将来自不同深度学习框架(PyTorch, ONNX, TFLite和Caffe)的各种预训练神经网络模型转换为高效的模型文件(bmodel/cvimodel)，以便在SOPHON TPU上运行。通过量化到不同精度的bmodel/cvimodel，优化了模型在sophon计算TPU上的加速和性能。这使得可以将与对象检测、语义分割和对象跟踪相关的各种模型部署到底层硬件上以实现加速。

本课程主要分为三个部分:

  • 搭建和配置本地开发环境，了解相关的SOPHON SDK, TPU-MLIR编译器核心理论，以及相关的加速接口。
  • 转换和量化来自ONNX, TFLite, Caffe和PyTorch的示例深度学习模型，以及将其他深度学习框架模型转换为中间ONNX格式的方法。
  • 指导参与者实际移植四种实例算法(检测、识别、跟踪)进行编译、转换、量化，并最终部署到SOPHON 1684x张量处理器的TPU上进行性能测试。

本课程旨在通过实际演示，全面、直观地展示TPU- mlir编译器的使用方法，使学生能够快速理解各种深度学习模型算法的转换和量化，以及它们在SOPHGO计算处理器TPU上的部署测试。目前，TPU-MLIR的使用已应用于由SOPHGO开发的最新一代深度学习处理器BM168X和CV18XX，并辅以处理器的高性能ARM内核和相应的SDK，用于快速部署深度学习算法。

本课程在模型移植和部署方面的优势:

1. 支持多种深度学习框架
目前支持的框架包括PyTorch、ONNX、TFLite和Caffe。来自其他框架的模型需要转换为ONNX模型。有关将其他深度学习架构的网络模型转换为ONNX的指导，请参考ONNX官方网站:https://github.com/onnx/tutorials。

2. 用户友好的操作
通过开发手册和相关部署案例了解TPU-MLIR的原理和操作步骤，可以从头开始进行模型部署。熟悉Linux命令和模型编译量化命令对于动手实践是足够的。

3. 简化量化部署步骤
模型转换需要在SOPHGO提供的docker中执行，主要包括两个步骤:使用model_transform.py将原始模型转换为MLIR文件，使用model_deploy.py将MLIR文件转换为bmodel格式。bmodel是可以在SOPHGO TPU硬件上加速的模型文件格式。

4. 适应多种架构和硬件模式
量化的bmodel模型可以在PCIe和SOC模式下运行在TPU上进行性能测试。

5. 全面的文档
丰富的教学视频，包括详细的理论解释和实际操作，以及充足的指导和标准化的代码脚本，在课程中开放源代码，供所有用户学习。

SOPHON-SDK Development Guide https://doc.sophgo.com/sdk-docs/v23.05.01/docs_latest_release/docs/SOPHONSDK_doc/en/html/index.html
TPU-MLIR Quick Start Manual https://doc.sophgo.com/sdk-docs/v23.05.01/docs_latest_release/docs/tpu-mlir/quick_start/en/html/index.html
Example model repository https://github.com/sophon-ai-algo/examples
TPU-MLIR Official Repository https://github.com/sophgo/tpu-mlir
SOPHON-SDK Development Manual https://doc.sophgo.com/sdk-docs/v23.05.01/docs_latest_release/docs/sophon-sail/docs/en/html/

 

课程目录

 

课程章节 （ 22节课）

1_ 引言
开始学习
1.1 背景介绍与术语解释
待学习
开始学习
1.2 SOPHONSDK包资料指南
待学习
开始学习
2_ 编译器概述
开始学习
2.1 TPU-MLIR编译器简介
待学习
开始学习
2.2 TPU-MLIR整体架构设计
待学习
开始学习
2.3 TPU-MLIR理论核心概述
待学习
开始学习
2.4 开发接口指南
待学习
开始学习
2.5 编译器TPU-MLIR的优势
待学习
开始学习
3_ 开发环境搭建
开始学习
3.1 硬件环境与软件环境要求
待学习
开始学习
3.2 TPU-MLIR搭建开发环境与常用依赖包
待学习
开始学习
3.3 搭建交叉编译环境与验证
待学习
开始学习
4_ TPU-MLIR快速入门
开始学习
4.1 TPU-MLIR-编译ONNX模型
待学习
开始学习
4.2 TPU-MLIR-编译Torch模型
待学习
开始学习
4.3 TPU-MLIR-编译TFLite模型
待学习
开始学习
4.4 TPU-MLIR-编译Caffe模型
待学习
开始学习
4.5 其他深度框架转中间格式ONNX指南
待学习
开始学习
4.6 混精度使用方法
待学习
开始学习
4.7 使用TPU做前处理与后处理(BM168X)
待学习
开始学习
4.8 使用TPU做前处理及CV18XX处理器使用指南(CV18XX)
待学习
开始学习
5_ 算法部署实战
开始学习
5.1 基于PP_OCRv2的文字识别算法移植与测试
待学习
开始学习
5.2 基于CenterNet的图像分割算法移植与测试
待学习
开始学习
5.3 基于YOLOv5的目标检测算法移植与测试
待学习
开始学习
5.4 基于YOLACT的目标跟踪算法移植与测试
待学习
开始学习

课程目标

完成本课程后，学生将具备以下能力:

  • 对tpu - mlir深度学习编译器的转换和量化过程有全面的了解。
  • 掌握ONNX、Torch、TFlite、Caffe等流行深度学习框架模型的编译、转换和量化。
  • 熟悉将其他深度学习框架的模型转换为中间格式ONNX，并完成模型编译、转换和量化。
  • 了解SOPHGO TPU推理库SDeep learningL的接口调用和编译使用过程。
  • 学习使用tpu - mlir深度学习开源编译器进行模型编译，转换，量化，移植部署。

课程对象

深度学习爱好者或开源社区开发人员，具有一定的深度学习和Python开发基础，熟悉Docker和Linux操作。用户可以在使用它的同时为本课程的改进做出贡献，与SOPHGO合作构建一个先进的时代深度学习编译器。

课程推荐

course-cover

编译器开发

作为框架和硬件之间的桥梁，深度学习编译器可以实现一次性代码开发和重用各种计算能力处理器的目标。最近，算能也开源了自己开发的TPU编译工具——TPU-MLIR (Multi-Level Intermediate Representation)。TPU-MLIR是一个面向深度学习处理器的开源TPU编译器。该项目提供了完整的工具链，将各种框架下预训练的神经网络转换为可在TPU中高效运行的二进制文件bmodel，以实现更高效的推理。本课程以实际实践为驱动，引导您直观地理解、实践、掌握智能深度学习处理器的TPU编译框架。

目前，TPU-MLIR项目已应用于算能开发的最新一代深度学习处理器BM1684X。结合处理器本身的高性能ARM内核以及相应的SDK，可以实现深度学习算法的快速部署。本课程将介绍MLIR的基本语法，以及编译器中各种优化操作的实现细节，如图形优化、int8量化、算子分割、地址分配等。

与其他编译工具相比，TPU-MLIR有几个优点

1. 简单方便

通过阅读开发手册和项目中包含的示例，用户可以了解模型转换的过程和原理，并快速入门。此外，TPU-MLIR是基于当前主流编译工具库MLIR设计的，用户也可以通过它了解MLIR的应用。本项目提供了一套完整的工具链，用户可直接通过现有接口快速完成模型转换工作，无需适应不同的网络。

2. 通用性

目前，TPU- mlir已经支持TFLite和onnx两种格式，这两种格式的模型可以直接转换为TPU可用的bmodel。如果不是这两种格式呢?事实上，onnx提供了一套转换工具，可以将目前市场上主要的深度学习框架编写的模型转换为onnx格式，然后再进行bmodel转换。

3、精度与效率并存

在模型转换过程中，有时会失去精度。TPU-MLIR支持INT8对称和非对称量化，结合原开发公司的校准和tune技术，大大提高了性能，保证了模型的高精度。此外，TPU-MLIR还使用了大量的图优化和算子分割优化技术来保证模型的高效运行。

4. 实现终极性价比，构建下一代深度学习编译器

为了支持图形化计算，神经网络模型中的算子需要开发图形化版本;为了适应TPU，应该为每个运营商开发一个版本的TPU。此外，有些场景需要适应相同计算能力处理器的不同型号，每次都必须手工编译，这将非常耗时。深度学习编译器就是用来解决这些问题的。TPU-mlir的一系列自动优化工具可以节省大量的人工优化时间，因此在RISC-V上开发的模型可以顺利自由地移植到TPU上，以获得最佳的性能和性价比。

5. 完整的信息

课程包括中英文视频教学、文档指导、代码脚本等，详实丰富的视频资料详细应用指导清晰的代码脚本TPU-MLIR站在MLIR巨头的肩膀上打造，现在整个项目的所有代码都已经开源，免费向所有用户开放。

代码下载链接:https://github.com/sophgo/tpu-mlir

tpu - mlir开发参考手册:https://tpumlir.org/docs/developer_manual/01_introduction.html

总体设计思想论文:https://arxiv.org/abs/2210.15016

视频教程:https://space.bilibili.com/1829795304/channel/collectiondetail?sid=734875

课程目录

序号 课程名 课程分类 课程资料
      视频 文档 代码
1.1 Deep learning编译器基础 TPU_MLIR基础 √ √ √
1.2 MLIR基础 TPU_MLIR基础 √ √ √
1.3 MLIR基本结构 TPU_MLIR基础 √ √ √
1.4 MLIR之op定义 TPU_MLIR基础 √ √ √
1.5 TPU_MLIR介绍（一） TPU_MLIR基础 √ √ √
1.6 TPU_MLIR介绍（二） TPU_MLIR基础 √ √ √
1.7 TPU_MLIR介绍（三） TPU_MLIR基础 √ √ √
1.8 量化概述 TPU_MLIR基础 √ √ √
1.9 量化推导 TPU_MLIR基础 √ √ √
1.10  量化校准 TPU_MLIR基础 √ √ √
1.11 量化感知训练（一） TPU_MLIR基础 √ √ √
1.12  量化感知训练（二） TPU_MLIR基础 √ √ √
2.1 Pattern Rewriting TPU_MLIR实战 √ √ √
2.2 Dialect Conversion TPU_MLIR实战 √ √ √
2.3 前端转换 TPU_MLIR实战 √ √ √
2.4 Lowering in TPU_MLIR TPU_MLIR实战 √ √ √
2.5 添加新算子 TPU_MLIR实战 √ √ √
2.6 TPU_MLIR图优化 TPU_MLIR实战 √ √ √
2.7 TPU_MLIR常用操作 TPU_MLIR实战 √ √ √
2.8 TPU原理（一） TPU_MLIR实战 √ √ √
2.9 TPU原理（二） TPU_MLIR实战 √ √ √
2.10  后端算子实现 TPU_MLIR实战 √ √ √
2.11 TPU层优化 TPU_MLIR实战 √ √ √
2.12 bmodel生成 TPU_MLIR实战 √ √ √
2.13 To ONNX format TPU_MLIR实战 √ √ √
2.14 Add a New Operator TPU_MLIR实战 √ √ √
2.15 TPU_MLIR模型适配 TPU_MLIR实战 √ √ √
2.16 Fuse Preprocess TPU_MLIR实战 √ √ √
2.17 精度验证 TPU_MLIR实战 √ √ √

 

course-cover

Milk-V Duo开发板实践课程

本课程介绍了硬件电路的设计和基本环境的搭建，并提供了一些简单的开发示例和一些基本的深度学习示例。

Milk-V Duo是基于CV1800B的超小型嵌入式开发平台。它体积小，功能全面，配备双核，可以分别运行linux和rtos系统，并具有各种可连接的外设。

  • 可扩展性:Milk-V Duo核心板具有多种接口，如GPIO, I2C, UART, SDIO1, SPI, ADC, PWM等。
  • 多种可连接外设:Milk-V Duo核心板可扩展各种设备，如LED，便携式屏幕，摄像头，WIFI等。

课程特点:

  • 内容材料丰富完整，包括开发板硬件设计、外设接口说明、基本环境设置方法、示例代码脚本等。
  • 学习路径科学合理，从开发板的介绍和基本使用开始，引导到实际项目，充分利用开发板，为用户自身开发提供参考。
  • 实际项目丰富，课程提供了许多实际代码使用和功能演示的示例。通过简单地修改和组合代码，可以实现不同的功能。

课程目录

course-cover

SE5开发系列课

深度神经网络模型可以快速训练和测试，然后由行业部署，在现实世界中有效地执行任务。在小型、低功耗的深度学习边缘计算平台上部署这样的系统受到业界的高度青睐。本课程采用实践驱动的方法，引导你直观地学习、实践和掌握深度神经网络的知识和技术。

SOPHON深度学习微服务器SE5是采用SOPHON自主研发的第三代TPU处理器BM1684的高性能、低功耗边缘计算产品。INT8运算能力高达17.6 TOPS，支持32路全高清视频硬件解码和2路编码。本课程将快速引导您了解SE5服务器的强大功能。通过本课程，您可以了解深度学习的基础知识并掌握其基本应用。

课程的特点

1. 一站式服务

 在SE5应用程序中遇到的所有常见问题都可以在这里找到。

  • 为深度学习微服务器提供全栈解决方案
  • 一步一步、详细而清晰地分解开发过程
  • 支持所有主流框架，易于使用的产品

2. 系统的教学

它包括设置环境、开发应用程序、转换模型和部署产品，以及拥有镜像的实际环境等所有内容。

  • 环境是如何构建的?
  • 如何编译模型?
  • 应用程序是如何开发的?
  • 场景如何部署?

3. 完整的材料

本课程包括视频教程、文档指南、代码脚本和其他综合材料。

  • 丰富的视频素材
  • 详细的应用指导
  • 清晰的代码脚本
  • 代码下载链接:https://github.com/sophon-ai-algo/examples

4. 免费的云开发资源

在线免费申请使用SE5-16微服务器云测试空间