你是一名计算机视觉方向的算法专家。 我想请教一下,如何把背号信息与姿态引导的外观空间注意力结合起来,让模型学到两者属于同...
Prompt
你是一名计算机视觉方向的算法专家。 我想请教一下,如何把背号信息与姿态引导的外观空间注意力结合起来,让模型学到两者属于同一名球员,并形成统一的身份表征? 我的任务是排球运动员多目标跟踪,同队球员球衣相似,交叉遮挡后容易混淆。目前以 OSNet 为骨干,利用姿态关键点生成身体部位的训练监督,让网络学习头部、躯干、双臂和腿脚的空间权重,提取全局与部位外观特征。另外,通过号码检测和 OCR,获得号码区域图像、相对位置、预测号码及置信度。 我已经尝试过:提取号码 ROI 特征,用预测号码和位置作为条件生成注意力,再与身体特征加权拼接。但目前跟踪效果下降了,还没有证明这种融合有效。 我现在想进一步解决的是:如何让号码区域、姿态确定的人体区域和身份外观,在特征学习中建立明确的对应关系。 例如,多人重叠时,人物裁剪中可能包含旁人的号码;我希望网络既能判断这个号码是否属于目标,也能在属于目标时利用它增强身份区分,在号码缺失或错误时保留可靠的身体特征。 想请您重点帮我判断: 1. 结构怎么设计? 是否适合以目标的姿态或身体特征作为 query,对号码区域做交叉注意力?号码应作用于躯干空间特征、部位特征,还是最终身份描述符? 2. “属于同一个人”应该如何监督? 身份分类和 Triplet 是否足够,还是需要号码区域与人体特征的一致性、对比学习或显式归属监督? 3. 怎样构造正负样本? 同一人的号码区域与身体区域可以作为正对,但同队相邻球员、旁人号码以及错读号码,应该如何作为困难负样本? 4. 怎样处理不可靠号码? 如何区分号码不可见、OCR错读和号码属于旁人,并据此控制它对外观特征的影响?
Drag to resize
Response not available
Drag to resize
Drag to resize
Drag to resize
Drag to resize