目标
训练一个深度学习模型,使得输入一张包含猫或狗的图片后,该模型能够尽可能准确地进行分类。
比赛日期
开始日期: 2022-07-06
截止日期: TBD
数据集
cat_vs_dog
cat_vs_dog 数据集共包含 25000 张图像,分为 20000 个训练样本和 5000 个测试样本,猫和狗两个类别各包含 12500 个样本。训练集样本标签即为文件夹名称及文件名。
训练集:https://pan.baidu.com/s/1N7ishyq1sfXdVV-UFsjUQQ 提取码:wh4f
测试集:https://pan.baidu.com/s/1lbRdNmuaLkIwdGOVtdmvSg 提取码:eyj0
环境配置
可参考该文档配置所需环境,也可自行百度
评测指标
模型的性能根据被正确分类的样本占总样本的百分比进行评估。(即准确度Accuracy)
$$Accuracy = \frac{TP+TN}{TP+TN+FP+FN}$$
- 真阳性 True Positive (TP): 正确指示某一条件或特征存在的测试结果
- 真阴性 True Negative (TN): 正确指示某一条件或特征不存在的测试结果
- 假阳性 False Positive (FP): 错误指示某一条件或特征存在的测试结果
- 假阴性 False Negative (FN): 错误指示某一条件或特征不存在的测试结果
举例:在一个 100 人的样本中,有 10 人事实上患有 A 病(阳性),经过检测后,9 人被判定患有 A 病(真阳性),而 1 人被判定并不患有 A 病(假阴性); 另外的 90 人实际上并不患有 A 病(阴性),然后经过检测后,其中的 5 人被判定患有 A 病(假阳性),另外的 85 人判定不患有 A 病(真阴性)。
上述例子中:
$$Accuracy = \frac{TP+TN}{TP+TN+FP+FN} = \frac{9+85}{9+85+5+1} = 0.93 $$
参考: https://en.wikipedia.org/wiki/Confusion_matrix
提交结果格式说明
对于测试集中的每个图像,预测给定图像 ID 的标签,(1 = dog, 0 = cat),第一行为表头。
一个示例样本 submission.csv
如下:
id,label
1,0
2,0
3,1
4,0
...
要求
- 参赛者可以自行划分训练集和验证集,测试集标签暂不公开
- 参赛者不允许使用提供的数据之外的任何数据进行训练
- 参赛者需要提交如下材料
- 在测试集上的分类结果文件 submission.csv
- 训练完成的模型文件(*.pth)
- 相关代码
- 说明文档(Word),内容包括但不限于训练流程、参数及模型结构、代码说明等
- 测试集分类结果请勿人工标注,我们会根据提交的代码和模型文件检查结果真实性,一经发现作弊行为,取消参赛资格
评分规则
总分=模型分数 _ 0.7 + 说明文档分数 _ 0.3
Leaderboard-2022
# | Name | 文档分 | 模型分 | 总分 |
---|---|---|---|---|
1 | 陈昱潮 | 94 | 98.9 | 97.43 |
2 | 黄飞扬 | 94 | 96.9 | 96.03 |
3 | 赵为之 | 89 | 96.1 | 93.97 |
4 | 陈千 | 93 | 94.9 | 92.79 |
5 | 周鑫 | 83 | 92.7 | 91.33 |
6 | 徐逸涵 | 81 | 92.5 | 89.05 |