你现在是一名计算机视觉方向的研究专家,根据下面的内容帮我分析并提建议怎么修改模型。 现在的研究目标:我现在准备发论文投到...
Prompt
你现在是一名计算机视觉方向的研究专家,根据下面的内容帮我分析并提建议怎么修改模型。 现在的研究目标:我现在准备发论文投到金陵科技学院学报,这个刊的要求是我有创新点,但是要求不是很高。要求发现一个具体问题,然后通过修改模型结构的方法来解决,并在两个数据集上验证泛化性。如果不是修改模型结构的话理论上来说也有别的方法算创新,但是我的导师对这方面不太懂,他就要求我必须修改模型结构。 现在的研究情况: **目前已经完成多轮训练与跟踪评测,但最终结构尚未确定,主要需要解决“局部分支是否真正提供互补信息”这一问题。** 我研究的是**排球场景中的多目标跟踪**,重点解决同队球员穿着相同球衣、近距离交叉遮挡后发生身份交换的问题。跟踪框架采用Deep-EIoU,研究主要涉及外观特征网络和轨迹外观更新。 **目前已经实现的模型如下:** 1. **以OSNet x1.0为骨干,增加空间注意力分支。** 输入为256×128的球员裁剪,骨干最后输出512通道特征图 \(F\)。 全局分支沿用OSNet的全局池化与FC,得到512维特征 \(f_g\)。新增分支通过1×1卷积和sigmoid生成单通道空间注意力图,再进行加权池化和256维投影: \[ A=\sigma(\mathrm{Conv}_{1\times1}(F)),\qquad f_l=W_l\,\mathrm{GAP}(A\odot F) \] 最后拼接为768维描述子: \[ f=[f_g;f_l] \] **该分支准确地说是“空间注意力池化分支”**,目前没有结构约束保证它一定对应躯干、号码或其他固定身体部位。 2. **使用身份监督,并比较局部身份监督和躯干位置监督。** 联合描述子使用身份分类CE和triplet损失;当前主要实验中,CE使用原始拼接特征,triplet使用归一化特征。 部分版本给局部分支额外加入CE和triplet,各权重0.5。另一些版本使用训练阶段的弱躯干位置监督,权重0.05,鼓励注意力集中于躯干。推理不运行姿态网络。 **号码分类头尚未实际训练;队伍头虽然保留在结构中,但主要实验的队伍损失权重为0,跟踪时也未启用队伍一致性惩罚。** 3. **关联仍采用Deep-EIoU,并实现了质量门控的EMA更新。** 根据检测分数和与其他检测框的最大重叠,计算: \[ q_i=\operatorname{clip}(s_i,0,1) \left(1-\max_{j\ne i}\operatorname{IoU}(d_i,d_j)\right) \] 实验中的更新形式为: \[ f_{\mathrm{track}}\leftarrow (1-0.1q_i)f_{\mathrm{track}}+ 0.1q_i f_{\mathrm{det}} \] 因此,重叠严重或分数低时减慢外观更新。**目前这属于软更新,并非超过某个遮挡阈值就完全冻结。** 干净模板库和遮挡分离后的身份复核尚未实现。 **已完成实验的数据和训练方式:** | 数据 | 训练 | 开发选参 | 完整评测 | |---|---:|---:|---:| | 私有女排 | 70段 | 29段 | 33段 | | SportsMOT | 34段 | 11段 | 官方验证集45段 | SportsMOT此前训练包含篮球9段、排球10段、足球15段;开发集只有篮球6段、排球5段;完整45段评测为三个项目各15段。 近期主要实验从MSMT17预训练OSNet开始训练,比较纯全局模型和双分支模型。典型设置为每模型6000步、同片段PK采样,最多8个身份、每身份4张,私有和公共数据交替采样。对照模型匹配训练数据、预算及采样增强流程。当前主要采用联合训练,再分别通过两个数据集的开发集选择权重和关联参数。 **当前结果说明“任务训练有效”,但还不能说明“增加注意力分支在两个数据集上均优于充分训练的OSNet”。** 例如,同一轮MSMT初始化实验得到: | 方法 | 女排33段 HOTA | SportsMOT 45段 HOTA | |---|---:|---:| | Deep-EIoU,无外观特征 | 61.658 | 77.314 | | 加直接使用的预训练OSNet | 62.621 | 78.099 | | 加本轮训练的纯全局OSNet | **67.883** | **83.181** | | 加本轮训练的注意力双分支OSNet | 67.377 | 83.088 | 这一轮选出了同一份双分支权重用于两个数据集,不使用躯干位置监督。但双分支相对同轮纯全局模型分别下降0.506和0.093点。 另一轮采用较干净裁剪的概率采样后,女排双分支取得 **68.557**,超过同轮全局模型 **2.236点**;该女排版本使用了躯干监督。公共数据选出的版本没有躯干监督,取得82.893,相对该轮各自选参后的全局模型下降0.080点。因此,**躯干监督目前表现为条件性有效,并没有证据证明它普遍有效或普遍无效。** **目前发现了两个值得进一步定位的问题:** - **融合尺度问题。** 在两份公共候选模型的训练裁剪抽样中,局部分支占原始拼接向量平方范数的平均比例只有约0.0612%和0.0132%。这说明采用原始拼接时,局部特征可能贡献很小。但分支分别归一化的配置不受这一比例直接约束。 - **运动项目之间存在差异。** 质量采样轮固定相同关联参数后,双分支相对全局模型在篮球提高1.185点、排球提高0.469点、足球下降0.528点,完整45段提高0.371点。不过其他训练视频子集实验在篮球、排球上也有下降,不能把所有退化都归因于足球。 **下一轮准备调整的方向,还没有形成新的结果:** - 按新的研究范围,训练和评测均排除足球:公共训练改为19段篮球、排球,完整评测改为30段篮球、排球;从MSMT预训练权重重新训练,避免沿用已经经过足球任务训练的权重。 - 核对服务器上的号码列表和近场轨迹ID标注,将可靠的近场同队身份用于困难负样本监督。号码列表本身不等于轨迹ID与号码的逐一映射,尚需核对。 - 对比纯全局、额外全局投影分支、现有注意力分支、显式区域分支,判断收益究竟来自额外容量还是空间信息。 - 将融合方式与训练距离统一,并分别验证硬冻结更新、干净模板库等关联改进。 **希望专家重点判断:现有注意力分支是否值得继续保留,怎样使其学习同队球员之间的互补线索,以及如何用最少的对照实验区分结构、训练和关联参数各自带来的收益。** 现有验证结果已经多次用于分析和方案比较,后续应如实表述为探索实验;不同数据集分别选权重的结果,也不能称为同一模型跨数据集的直接泛化。