关于样本分配的顺序问题（或者说训练为什么可以收敛？）

[feiyuhuahuo]

感谢您的工作，这个问题想请教下：
IAM去预测100个实例，但是样本分配时直接使用cost来匹配，也就是说没有基于位置的先验，那IAM是如何决定预测的顺序的呢？具体哪些通道去预测图片的哪个目标，这个是如何决定的呢？ 或者换个角度讲，训练一开始 ， 用来二分匹配的cost是随机的，这导致IAM一开始以随机的顺序去学习，等到下个epoch时，IAM学习的顺序就可能变了，这样的话模型也能顺利收敛吗？

[feiyuhuahuo]

又思考了下这个问题，其实这个和DETR的样本分配差不多，训练一开始，没有先验，收敛可能会受到阻碍，但一直训练下去，最终还是能收敛的。网络最终自己会学习到和目标位置相关的表示，训练时手工assignment可能没必要。 手工设计的assignment可能就是不如网络自己学习到的表示，而且还不够end-to-end.