赛制规则 数据与测评 排行榜 常见问题
数据下载 数据说明 算能TPU使用 提交要求 评测标准

数据下载

tpu-mlir_v1.0.337-g21c53796-20230515.tar.gz
（ 报名后可下载数据） download icon

数据说明

  • 初赛题1 双相障碍检测数据集描述

数据集包含两个模态，其中医疗影像数据共6670维，肠道数据共377维，样本数量39个。其中正样本标签为1，负样本标签为-1。

 

  • 初赛题2 社会关系抽取数据集描述

数据集包含了两种不同类型的中文信息抽取任务，包括关系抽取和事件抽取，同时涵盖句子和篇章两种粒度的自然语言文本。

 

  • 复赛题1 双相障碍检测数据集描述

数据集包含两个模态，其中医疗影像数据共6670维，肠道数据共377维，样本数量39个。其中正样本标签为1，负样本标签为-1。

 

  • 复赛题2 社会关系抽取模型部署数据集描述

数据集包含了两种不同类型的中文信息抽取任务，包括关系抽取和事件抽取，同时涵盖句子和篇章两种粒度的自然语言文本。

 

  • 决赛题 基于tpu-mlir实现人脸识别模型部署数据集描述

数据集为CASIA人脸图像数据库5.0版，包含500个主题的2500张彩色人脸图像。使用Logitech USB摄像头一次即可捕获CASIA-FaceV5的面部图像。 CASIA-FaceV5的志愿者包括研究生，工人，服务生等。所有面部图像均为16位彩色BMP文件，图像分辨率为640 * 480。典型的类内变化包括照明，姿势，表情，眼镜，成像距离等。

提交要求

  • 初赛阶段

参赛者需要在Momodel平台上进行模型训练和测试，并最终在平台提交结果。

  • 复赛阶段

参赛者需要在算能云空间平台上进行模型的转换和部署，并最终在平台提交结果。

  • 决赛阶段

将以Hackthon的形式组织在线下举行。

评测标准

  • 初赛题1 双相障碍检测评测指标

最终成绩 = 准确率*50 + 召回率*30 + f1值*20。

  • 初赛题2 社会关系抽取评测指标

对测试集上参评系统输出的SPO结果和人工标注的SPO结果进行精准匹配，采用F1值作为评价指标。注意，对于复杂O值类型的SPO，必须所有槽位都精确匹配才认为该SPO抽取正确。针对部分文本中存在实体别名的问题，使用百度知识图谱的别名词典来辅助评测。F1值的计算方式为：F1 = (2 * P * R) / (P + R) 。其中，P = 测试集所有句子中预测正确的SPO个数 / 测试集所有句子中预测出的SPO个数；R = 测试集所有句子中预测正确的SPO个数 / 测试集所有句子中人工标注的SPO个数

  • 复赛题1 双向障碍检测评测指标

评价指标分为两部分，精度分为综合成绩指标（与初赛题1一致），速度指标为处理完所有数据所用时间。

  • 复赛题2 社会关系抽取模型部署评测指标

评价指标分为两部分，精度分为F1指标（与初赛题2一致），速度指标为处理完所有文本数据所用时间。

  • 决赛题 基于tpu-mlir实现人脸识别模型部署评测指标

评价指标分为两部分，精度分为F1指标，速度指标为处理完所有图像所用时间。