[摘要]本文通过《CVPR》2019年发表的三篇论文，对增量学习任务做了简单的细节和总结。 在此基础上，基于个人思考，对该研究领域的未来趋势进行了预测。 1.背景细节目前深度学习算法在图像分类上的准确率已经达到了人类的水平，在满足一定条件的情况下，有时甚至超过了人类的识别准确率。 然而，要达到这样的性能，通常需要使用大量的数据和计算资源来训练深度学习模型，而目前主流的图像分类模型对训练过程中从未见过的类别完全无能为力。 一种简单粗暴的方法是，针对当前模型无法识别的类别，收集大量新数据，然后与原本用于训练模型的数据相结合，重新训练模型。 然而，以下几个因素限制了这种方法在实践中的应用:1 .当存储资源有限，无法容纳统一数据时，模型的识别精度无法保证；2.重新训练模型需要大量的计算能力、大量的时间和大量的经济成本(如电费、服务器租金等。). 为了解决这些问题，更容易添加少量可以被模型识别的类别，近年来，学术界出现了少量用于深度学习的“增量学习”算法。 这种算法主要有三个假设:(1)向算法模型批量提供不同类型的数据进行学习，如下图所示；(2)系统存储空间有限，最多只能保存部分历史数据，不能保存全部历史数据，更适合手机、PC等应用场景；(3)在每次提供的数据中，新类别的数据量是足够的。 这类任务的困难主要表现在两个方面:1 .因为每次模型的参数升级，都只能使用大量的新类别样本和部分旧类别样本，所以会存在新旧类别数据不平衡的问题，导致升级完成后模型预测样本为新增类别，如下图所示；2.因为只能存储有限数量的旧类别样本，所以这些旧类别样本不一定能覆盖足够丰富的变化模式。因此，随着模型的升级，可能会忘记少量罕见的变化模式，导致新模型在遇到少量旧类别样本时无法正确识别。这种现象被称为“灾难性遗忘” 目前，主流的增量学习算法可以分为两类:(1)基于GAN的方法 这种方法不保存旧类别的样本，而是利用生成的对抗网络(GAN)学习生成每个类别的样本。 因此，在升级模型时，只需利用GAN随机生成少量图像，无需保存大量样本；(2)基于代表性样本的方法 该方法为每个旧类别保存一定数量的代表性样本，在训练时利用旧类别的代表性样本和新类别的样本对模型进行升级，从而保证模型既能准确识别旧类别，又能准确识别新类别。 对于以下两种方法，在《CVPR 2019》上发表的几篇论文进行了简要的详述，并对这两种方法的优缺点进行了简要的总结。 二、基于gan的方法论论文:学习记忆:持续学习的突触可塑性驱动框架。作者:Oleksiy Ostapenko、Mihai Pucas、Tassilo Klein、Patrick Jaehnichen、Moin Nabi来源:CVPR 2019本文提出了一种基于GAN的增量学习方法，如上图所示。 鉴别器(D)的设计与ACGAN基本相同，包括两部分:损耗电阻和损耗分类。发电机的结构很特殊。 具体来说，本文提出的生成器不仅需要学习生成器的权重，还需要学习每层权重的一个掩码。 这个面具的作用是限制每次允许升级的权重，防止模型忘记之前学过的东西。 由于掩码的存在，模型越晚，可以升级的权值越少，可能导致发电机发电能力不足。 针对这一问题，作者提出在每次学习新数据后添加发电机的参数，以保证发电机的发电能力不会明显下降。 实验结果表明，该方法在小规模数据集上具有明显的性能优势，如下表所示。 三。基于代表性样本的方法学论文:大规模增量学习作者:、、陈、李、、叶、、郭延东、云复来源:CVPR 2019本文首先假设增量学习方法，与直接用所有数据训练的方法相比，具有较大的性能下降，因为用于输出CNN模型的类别的预测概率的全连接层已经转移到新增加的类别(即 更倾向于预测类别为新增加的类别)，并通过实验(固定网络前面的层，重新训练全连通层和混淆矩阵)验证了这一假设。 为了解决这个问题，作者建议修改增加新类别的概率，如上图所示。 具体来说，这种方法需要保存一定数量的旧类别的代表性样本。当获得新的类别数据时，它包括三个步骤:1 .将旧类别的代表性样本和新类别的样本分成训练集和验证集，其中每一类别的样本数量均衡；2.用训练样本训练一个新的模型，这个模型包含两个损失，一个是标准分类损失，一个是知识蒸馏损失。目标是确保新模型在旧类别中的概率预测值与旧模型的概率预测值尽可能相同，从而保留旧模型学习到的信息(新类别和旧类别的样本都参与两个损失的计算)；3.利用检查集的数据学习一个线性模型，修改新模型预测的logit，其中保留旧类别中的logit，只修改新类别中的logit，如下式所示。 实验结果表明，与经典的LwF方法和iCaRL方法相比，提出的方法在大规模和大规模数据库和设置(一次添加多个类别)上有显著的提升，在小型数据库上的性能与现有方法相当，如下图所示。 论文:通过再平衡增量学习统一分类器作者:赛会厚、、陈changeloy、王、林大华来源:2019本文针对现有增量学习算法存在的问题，提出了三点改进，如上图所示:第一，作者发现由于新类的特征向量幅度与旧类不同，模型会偏向新类。 为了解决这个问题，对分类器的特征向量和权重向量进行归一化处理，保证幅度等于1。 相应的，分类损失和蒸馏损失也用在归一化的特征向量上，如下图所示；其次，为了减少模型遗忘，要求新模型的归一化特性与旧模型相同，因此提出了新的蒸馏损失。 这种丢失的思想是，旧模型学习到的不同类别的特征分布肯定反映了类别之间的关系，所以维持这种关系对于防止遗忘也是有意义的，如下图所示；第三，分类时使用大幅度分类损失，将容易被误分类的新类别作为难分类的例子，提高训练效率，如下图所示。 实验结果表明，与经典的iCaRL增量学习算法相比，该方法有十余点改进，如下图所示。 4.总结增量学习的主流方法分为两类:基于GAN的方法和基于代表性样本的方法。 其中，基于GAN的方法通过GAN“记忆”旧类别的数据，在升级模型时可以生成任意数量的旧类别样本，但这种方法的上限受限于GAN的生成能力。 此外，基于GAN的方法声称的一个优点是不需要存储历史数据，但是一般来说，GAN模型本身必须占用一定的存储空间(通常在几十MB的量级)。如果用这个空间直接存储有代表性的历史数据，按照一张图片200kB计算，也可以存储上百张图片。 所以一个有趣的问题是，在占用相同存储空间的情况下，基于GAN的方法真的比基于代表性样本的方法好吗？目前，基于GAN的方法的识别精度通常不如基于代表性样本的方法。 未来基于GAN的增量学习方法要想真正实用，提高生成图像的质量，在相同存储空间或更少存储空间的情况下保证更好的性能，还有很长的路要走。 另一方面，基于代表性样本的方法保存了一些历史样本，在升级模型时，使用了额外的蒸馏损失来保证旧模型的知识能够转移到新模型中。目前这类方法的识别准确率通常会高一点。 但是，增量学习的思想不应该局限于这两种方法。在不使用GAN或保留代表性历史样本的情况下，是否可以只使用旧模型本身进行增量学习？或者还能有其他更高效的方法吗？这些都是未来值得进一步探索的方向。 一般来说，在条件允许的情况下，使用统一数据对模型进行再训练的效果仍然是无可争议的最好，GNN和代表性样本两种增量学习方法仍然达不到完全用所有数据进行再训练的识别精度。 所以目前的增量学习算法还有很长的路要走。 但目前看来，增量学习如果能走得通，无疑会大大降低云服务对资源的需求；另一方面，在少数对数据安全非常敏感的应用中，也能保证数据不离开内网，在有限的计算资源下实现模型的升级。 所以在我看来，增量学习作为一个研究方向的前景还是很光明的，只是目前的技术还没有发展到足够用的地步。 点击关注，第一时间了解华为云鲜科技~