算能TPU使用

参赛平台:

(1)硬件平台

  • 少林派开发板

少林派开发板是一款基于BM1684的约20TOPS算力开发平台,以BM1684作为核心器件,核心处理器全自主可控,提供超强算力+多路视频编解码能力。支持3路mini-PCIe,4路USB。可扩展多种外设模块。可以根据场景需求实现最优配置,最合理成本,最优能耗,最优功能选择。硬件生态丰富,可连接的外设多样。支持丰富的软件开发生态体系,支持主流深度学习框架。“少林派”核心板可以扩展屏幕、键盘、鼠标、摄像头、耳机、VR等各种设备。可以在“少林派”上DIY一个全场景的边缘计算工作站,实践各种AI实验。也可以嵌入到无人车和无人机中,实现移动终端的边缘计算。

少林派开发板支持的外扩模块如下:

MiNi PCIe转WiFi6&蓝牙5.2  MiNi PCIe转4G模块 

 MiNi PCIe转USB3.0*2 MiNi PCIe转GE RJ45*2 

MiNi PCIe转SFP  MiNi PCIe转HDMI 

MiNi PCIe转CAN*2  MiNi PCIe转SATA 

少林派开发资料:https://www.sophgo.com/curriculum/description.html?category_id=6

 

  • Milk-V Duo 开发板

Milk-V Duo开发板是一款基于CV1800B处理器(RISC-V架构,C906@1Ghz + C906@700MHz)的超紧凑型嵌入式开发平台。它支持64MB RAM,可通过扩展实现10/100Mbps以太网,可以运行Linux和RTOS系统,为专业人士、工业ODM、AIoT爱好者、DIY爱好者和创作者提供可靠、低成本、高性能的平台。

Milk-V Duo开发板开发资料:

1. Docker:https://hub.docker.com/repository/docker/dreamcmi/cv1800-docker/general

2. GitHub:https://github.com/milk-v/duo-manifest

3. SDK:https://developer.sophgo.com/thread/471.html

4. Docs:https://milkv.io/docs/duo

 

  • Milk-V Pioneer整机

Milk-V Pioneer 是一款基于SOPHON SG2042处理器的开发主板,采用标准mATX外形。凭借类似PC的接口和PC工业兼容性,提供原生RISC-V开发环境和RISC-V桌面体验。是RISC-V开发者和硬件先驱体验RISC-V前沿技术的首选。

Milk-V Pioneer主板

Milk-V Pioneer整机

Milk-V Pioneer开发资料:http://milkv.io/docs/pioneer/getting-started

参赛选手可以选配以上外扩模块来完成自己的参赛作品,也可以自己设计外扩模块。

 

(2)软件平台

SophonSDK是算能

SophonSDK is a deep learning SDK customized by SOPHGO based on its independently developed AI processor. It encompasses the necessary capabilities during the neural network inference phase, such as model optimization and efficient runtime support, providing an easy-to-use, efficient end-to-end solution for deep learning application development and deployment.

SophonSDK consists of a Compiler and Library:

The Compiler is responsible for offline compilation and optimization of neural network models trained under third-party deep learning frameworks, generating the required BModel for the final runtime. It currently supports Caffe, Darknet, MXNet, ONNX, PyTorch, PaddlePaddle, TensorFlow, and other frameworks.

The Library includes BM-OpenCV, BM-FFmpeg, BMCV, TPURuntime, BMLib, and other libraries, which drive hardware components like VPP, VPU, JPU, TPU, completing video/image encoding/decoding, image processing, tensor operations, model inference, and other functions for users in deep learning application development.

基于其自主研发的 AI 处理器所定制的深度学习SDK,涵盖了神经网络推理阶段所需的模型优化、高效运行时支持等能力,为深度学习应用开发和部署提供易用、高效的全栈式解决方案。

SophonSDK 由 Compiler和Library组成:

Compiler 负责对第三方深度学习框架下训练得到的神经网络模型进行离线编译和优化,生成最终运行时需要的 BModel。目前支持Caffe、Darknet、MXNet、ONNX、PyTorch、PaddlePaddle、TensorFlow等。

Library提供了BM-OpenCV、BM-FFmpeg、BMCV、TPURuntime、BMLib等库,用来驱动VPP、VPU、JPU、TPU等硬件,完成视频图像编解码、图像处理、张量运算、模型推理等操作,供用户进行深度学习应用开发。

算能提供了SDK相关的资料供选手学习使用:

1. 文档中心:https://developer.sophgo.com/site/index/material/30/all.html

2. 视频教程:https://developer.sophgo.com/site/index/course/all/all.html

3. 开发指南:https://sophgo-doc.gitbook.io/sophonsdk3

 

提交要求

1. 技术指标

a)    使用开源技术或者自研技术,并同意赛后对设计方案进行开源。

b)    搭建出原型方案为基本要求

2. 提交标准

a)    原型解决方案(含电路原理图源文件及完整源代码)

b)    开发文档(记录开发过程)

c)    演示视频(需对方案进行讲解)

3. 任务清单

a)    赛题1-3使用 SOPHON 少林派开发板,赛题4-5使用Milk-V Duo开发板,赛题6使用Milk-V Pioneer整机或者其他搭载SG2042的开发板搭建原型方案

b)    调试开发

c)    验证方案满足功能需求

d)    优化设计方案并记录开发全过程形成开发文档

评测标准

搭建出原型方案,此基础上可进行扩展。加分项如下:

赛题1:

a)    创新性:如果参赛作品在人脸检测和识别算法、门禁控制策略、数据存储和管理等方面有创新性的设计和实现,可以得到额外的加分。

b)    安全保障:为了确保人脸识别门禁系统的安全性,如果参赛作品能采取多重身份认证、反欺骗功能等安全保障措施,可以得到额外的加分。

c)    用户体验:如果参赛作品具有良好的用户界面和管理界面,以提供简便的操作和友好的用户体验。如果参赛作品在此方面表现突出,可以得到额外的加分。

赛题2:

a)    精度和效率:深度估计系统需要具有较高的深度图像生成精度和点云生成精度,同时还要保持较好的计算效率和运行速度。如果参赛作品在此方面做得特别出色,可以得到额外的加分。

b)    模型训练和调优:为了提高深度估计系统的准确性和效率,参赛作品需要进行充分的模型训练和调优。如果参赛作品使用了自适应学习、迁移学习等先进的深度学习技术,并取得了良好的效果,可以得到额外的加分。

c)    应用场景拓展:深度估计技术在自动驾驶、机器人导航、虚拟现实等领域中具有广泛的应用前景。如果参赛作品针对某些特定场景进行了设计和优化,并取得了良好的效果,可以得到额外的加分。

赛题3:

目标检测和跟踪:对全景图像或全景视频进行目标检测和跟踪,并输出检测结果和跟踪轨迹信息,可以得到额外的加分。

赛题4:

a)    有外观和结构设计使得方案更加产品化

b)    实现基本功能的同时,额外实现的功能越多、越新奇。

c)    创新的交互

d)    详细的开发文档

赛题5:

a)    稳定的飞行控制

b)    采用高照明的照明设备

c)    实现远程实时控制

d)    优秀的外观和结构设计

赛题6:

a)    有外观和结构设计使得方案更加产品化

b)    实现基本功能的同时,额外实现的功能越多、越新奇。

c)    创新的交互

d)    详细的开发文档