标签的不平衡是现实世界中视觉回归里常见的问题，例如在春秋回归问题中，可能大部门训练样本都来自于成年人，老人与儿童的训练样本则相对较少。常用的Mean Square Error (MSE) 损失函数在少见样本上的阐发往往不尽如人意，因而越来越多的钻研起头器沉不平衡回归，大规模评测集也在最近被提出[1]。相迸宗已经被宽泛钻研的不平衡分类，针对不平衡回归的钻研工作相对较少。较早的钻研试图通过天生的步骤来增长少见标签的训练样本[2]，但样本天生在面对图像等高维数据时可行性较低。最近的钻研重要选取沉加权来提高少见标签在训练集中的权沉[1]，但沉加权在不平衡分类中已被证明成效有限[3]，我们也通过尝试在不平衡回归上验证了这一点。因而，不平衡回归问题还处于一个起步阶段，目前依然短缺卓有成效的步骤。

图1 不平衡回归示例

为了添补不平衡回归步骤的空缺，我们提出了Balanced MSE损失函数，从统计的视角解决标签的不平衡。

1. 沉新思虑MSE损失函数

我们首先沉新审视了常用的MSE损失函数，发现当训练数据不平衡时，MSE会被标签散布所影响而偏差于预测常见的标签。当测试集是平衡的或衡量指标是平衡的时辰，MSE的这一特点会导致模型在整体标签上的均匀阐发变差。我们沿着这个思路，使用概率的步骤脱节了不平衡的标签散布对MSE的影响。我们将改进后的损失函数称作Balanced MSE。

图2 统计视角下的MSE与Balanced MSE

2. 统一视角下的不平衡分类与回归

其实从统计的视角解决标签不平衡的思路在不平衡分类中也被深刻会商过，其中我们在NeurIPS 2020的工作Balanced Softmax [4]在长尾视觉分类上带来了显著的机能提升。然而由于MSE损失函数的概率意思很少被提及，这个思路在不平衡回归问题上是初次被探求。不仅如此，我们也通过东升国际官网两篇工作，Balanced Softmax与Balanced MSE，第一次将不平衡分类与不平衡回归融入了统一的框架中会商。将来更多的不平衡分类技巧也可通过这个框架被引入不平衡回归的领域中。

3. 矫捷的实现

我们为Balanced MSE中关于标签散布的积分推算提供了矫捷的实现方式。我们提出的实现中既能够使用传统的分段标签散布，也能够使用使用高斯混合模型拟合的标签散布，甚至能够不依赖任何预先处置的标签散布。这里我们着沉介绍不依赖预处置标签散布的实现方式，我们称为BMC。BMC从每个训练batch中估计标签散布信息，因而不必要进行任何额表的操作即可代替常用的MSE损失函数。BMC的大局也极度有趣，能够等价于将训练batch中对每个标签看作类别进行分类。其中，分类的logit由标签与预测之间的L2距离获得，极度类似自监督进建中使用的contrastive loss。得益于此，BMC能够单一地通过度类中的的交叉熵损失函数急剧实现。

图3 Balanced MSE的BMC大局不依赖标签散布，能够通过几行代码急剧实现

我们在首先使用合成数据集对Balanced MSE进行了尝试。图4 展示了Balanced MSE在分歧的标签散布下都能得到最靠近真实线性关系的了局，而沉加权步骤的阐发则随着标签散布越来越不平衡变得越来越差。

图4 Balanced MSE在分歧标签散布下的一维不平衡回归

图5和图6别离展示了Balanced MSE在多维不平衡回归与非线性不平衡回归中依然能获切当前最好的阐发。

图5 Balanced MSE合用于多维不平衡回归

图6 Balanced MSE合用于一维非线性回归

除此之表，我们在三个真实数据集上验证了Balanced MSE的成效，其中蕴含蕴含两个一维不平衡回归问题：春秋回归与深度回归，以及一个我们提出的多维不平衡回归问题：人体mesh估计[5]。东升国际官网步骤均显著超过了当前的最优算法。图7中能够看到Balanced MSE显著提升了对儿童和老人等少数群体的春秋估计阐发。图8显示Balanced MSE能够有效估计少见的姿势，可能援手复原出齐全的作为幅度。

图7 Balanced MSE在不平衡春秋回归数据集上获得的阐发提升

图8 在人体mesh估计上阐发对比，左边为基线，右边为Balanced MSE

我们针对不平衡回归的问题设定，从统计的视角下沉新思虑了常用的MSE损失函数，发现MSE会受到不平衡标签散布的影响而做出不正确的预测。为解决这个问题，我们提出了Balanced MSE损失函数，并给出了矫捷的实现大局，蕴含不必要预先推算标签散布的实现。Balanced MSE在一维与多维的不平衡回归问题上都超过了最好的现有步骤。结合我们之前的工作Balanced Softmax，我们为不平衡分类与回归提供了一个统一的视角，但愿更多的不平衡分类技巧能够借此引入不平衡回归问题中。

作者信息