你是一个计算机视觉方向论文的专家,根据我的情况给我一个计划。我现在发的是金陵科技学院学报,他的要求是:能够发现一个具体问...
Prompt
你是一个计算机视觉方向论文的专家,根据我的情况给我一个计划。我现在发的是金陵科技学院学报,他的要求是:能够发现一个具体问题,然后通过修改模型来解决这个问题,并且在两个数据集上证明泛化性。现在这个方向还值得做吗,如果值得做提出建议和计划,如果不值得就提出更好的方向。 *目前最需要指导的是:训练策略带来了明显提升,但新增注意力局部分支的额外收益,在完整验证集上还不稳定。** **1.研究任务与目标** 研究排球等体育视频中的多目标跟踪,基于Deep-EIoU,重点解决同队球员交叉、遮挡后出现的ID交换。 同队球衣高度相似,通用ReID特征可能更容易区分队伍,而难以区分同队不同球员。另一个待验证的问题是:遮挡后错误匹配是否会污染轨迹的EMA外观特征,使身份错误持续存在。 目标是相对固定参考,在私有女排数据和SportsMOT上均提高至少1个HOTA百分点,同时验证改进模块本身是否有效。 **2.当前模型具体改了什么** 骨干采用OSNet x1.0,输入球员裁剪为256×128。在最后一层512通道特征图 \(F\) 上增加注意力局部分支: \[ f_g=\operatorname{FC}(\operatorname{GAP}(F))\in\mathbb{R}^{512} \] \[ A=\operatorname{sigmoid}(\operatorname{Conv}_{1\times1}(F)) \] \[ f_l=W_l\operatorname{GAP}(A\odot F)\in\mathbb{R}^{256} \] 全局与局部特征联合形成768维描述子,用于Deep-EIoU中的外观匹配。 这里没有额外裁出躯干,也没有运行第二个OSNet。“局部”指通过空间注意力对不同位置加权。推理新增约13.2万参数,不能称为零额外开销。 **3.训练方式与躯干监督** 主要尝试了三种双分支版本: - 双分支:联合特征使用身份分类CE+batch-hard cosine triplet。 - 双分支+局部身份监督:局部分支额外增加身份分类和triplet损失,两项权重各0.5,辅助分类头只在训练时使用。 - 再加入躯干位置监督:由姿态模型预测肩膀和髋部,生成弱躯干标签,监督注意力图;位置损失权重0.05。 躯干监督采用区域内外平衡的二元交叉熵,既鼓励关注躯干,也压低躯干外注意力。该位置损失仅更新注意力头,身份损失仍更新骨干。 21236张训练裁剪中,有12123张通过躯干标签质量过滤。人工查看抽检页面后的反馈是“标注基本没有问题”,但尚无逐图错误率统计。 **当前开发集选出的最佳双分支方案不包含躯干位置监督。** 女排使用额外局部身份损失,SportsMOT没有使用。号码分类头、非球员识别、队伍关联约束均未在这些最佳方案中启用。 **4.数据与训练设置** | 数据集 | 训练视频 | 开发视频 | 固定完整确认范围 | |---|---:|---:|---:| | 私有女排 | 70段 | 29段 | 33段 | | SportsMOT | 34段 | 11段 | 官方val全部45段 | 既有训练裁剪共21236张、1384个片段内身份标签,并非使用所有原始视频帧。尚未建立可靠的跨视频球员身份合并。 主要训练设置: - 两个数据集混合训练,每个batch来自同一视频,最多8个身份、每身份4张裁剪。 - 有可靠队伍标签时,保证至少一半采样身份属于同队;SportsMOT缺少队伍标签,使用同视频身份采样。 - 身份分类只在当前视频片段的身份类别中计算,避免强行将可能跨片段重复的球员作为负类。 - 加入约8%的裁剪扰动;长程实验采用AdamW、500步预热与余弦衰减。 - 分别保留4000、8000、12000步检查点,与相同步数的纯全局OSNet比较。 一个明显的评测范围问题是:**SportsMOT开发集只有篮球6段、排球5段,没有足球;完整确认集是三种运动各15段。** 这可能影响开发集选优的代表性,但尚未证明它是性能变化的主要原因。 **5.已经得到的关键结果** 长程实验在开发集选出的方案是:女排8000步双分支+局部身份监督,SportsMOT 12000步双分支;两者都是混合训练,但使用不同权重和关联参数,不能称为单一权重跨数据集泛化。 开发集结果: | 数据 | 同预算纯全局OSNet | 双分支 | 双分支增益 | |---|---:|---:|---:| | 女排29段 | 57.040 | 58.805 | +1.765 | | SportsMOT 11段 | 71.432 | 72.341 | +0.909 | 选定方案并冻结参数后,完整确认结果如下: | 训练轮次 | 确认数据 | 固定旧参考 | 本轮同预算全局 | 选中双分支 | |---|---|---:|---:|---:| | 第一次 | 女排33段 | 64.307 | **67.854** | 66.319 | | 重复训练 | 女排33段 | 64.307 | 67.483 | **68.371** | | 第一次 | SportsMOT 45段 | 80.393 | **81.955** | 80.559 | | 重复训练 | SportsMOT 45段 | 80.393 | **82.221** | 80.311 | 这里固定旧参考也是经过任务数据训练的OSNet;本轮同预算全局模型用于评估新增结构的贡献。 **结果说明:整体训练改进有效,纯全局模型已经很强;双分支在开发集占优,但在SportsMOT完整确认集上,两次都低于同预算全局模型。** **6.当前主要困惑** - **局部分支是否提供了额外身份信息?** 空间加权后仍然做全局池化,可能与OSNet原有表征冗余;目前不能仅凭开发集涨分证明其价值。 - **训练与推理的特征融合是否协调?** 尝试过原始拼接、分支分别归一化后加权拼接。它们会改变外观距离分布,并与关联阈值耦合;分支归一化训练也未得到稳定收益。 - **躯干位置正确,是否就适合身份区分?** 同队躯干大面积是相同球衣,强制关注整个躯干可能强化队伍共性,同时抑制头部、发型、鞋子等线索。这是解释假设,尚未被因果对照证实。 - **遮挡问题究竟出在特征,还是关联?** 已尝试根据检测分数和框重叠降低EMA更新速度,但HOTA、IDSW并不总同步改善,不能认定已经解决特征污染和身份交换。 - **混合训练和开发集代表性是否影响泛化?** 不同运动、画面分布、BN统计,以及片段内身份训练,都可能参与影响,目前还没有分清各因素贡献。 **7.正在进行的实验** 目前正在用MSMT17预训练的OSNet x1.0,比较冻结骨干与低学习率微调,所有对应全局和双分支模型使用相同初始化。 后续按四组整理: A.Deep-EIoU几何关联; B.直接使用预训练OSNet; C.任务数据训练后的纯全局OSNet; D.同训练条件的注意力双分支OSNet。 现阶段优先探索最优配方,暂不追加稳定性重复训练;另外登记了训练视频子集和验证视频组合搜索。**这些选优结果会标为探索性结果,保留完整固定范围的成绩,不作为独立泛化证明。** **希望专家重点指导:应该继续改进注意力局部分支,还是先解决身份训练目标、跨运动数据分布和外观关联的配合问题;以及用什么最小对照,能明确判断局部分支有没有独立贡献。**
Response not available