论文解读丨CVPR 2022不使用人工标注提升文字识别器性能

本文分享自华为云社区《[CVPR2022]不使用人工标注提升文字识别器性能-云社区-华为云》，作者：Hint。

本文提出了一种针对文字识别的半监督方法。区别于常见的半监督方法，本文的针对文字识别这类序列识别问题做出了特定的设计。具体来说，本文首先采用了teacher-student的网络结构，然后采用字符级别的一致性约束对teacher和student网络的预测进行对齐。此外，考虑到文字识别是step-by-step，每一个字符的预测都和之前时刻的预测结果相关。为了避免student网络在当前时刻的预测结果受到之前时刻错误预测的影响，本文将当前时刻之前，teacher的预测结果作为student当前时刻之前的预测结果，这样可以得到比较鲁棒的一致性约束，从而提升性能。

方法：

本框架包括两个分支，一个是输出有标签合成数据的强监督分支，一个是输入无标签真实数据的半监督分支。强监督分支和一般的识别模型一样。关于半监督分支，采用teacher-student进行一致性约束。具体来说，将强监督得到的预训练模型作为teacher和student网络的初始化模型，然后对同一张输入图像进行弱数据扩增和强数据扩增，并分别输入到teacher和student网络中；将teacher网络的预测结果作为伪标签对student的输出进行监督。

由于文字识别是一个序列识别问题，当前时刻的预测结果和之前时刻的预测结果相关。为了尽可能减少target和online模型在同一时刻预测结果的不对齐问题，online分支之前时刻的预测结果会和target分支之前时刻的预测结果保持一致，然后再进行当前时刻的字符预测。字符级别的一致性loss如下公式所示，Dist()可以是交叉熵，KL-Div或者MSE，本文采用的是KL-Div。

此外，为了减轻合成数据与真实数据之间的域间差别，本文还使用了字符级别的域对齐模块。该模块首先分别将合成数据和真实数据每个时刻的视觉特征收集起来构成一个集合H，然后计算他们各自的协方差矩阵cov()。

最终，整个框架的loss由强监督识别loss，一致性约束loss和域适应loss构成：

实验：

在引入无标签数据之后，当前识别模型的性能能够得到稳定的提升。

相比于其他利用无标签数据的方法而言，本文提出的基于一致性约束的方法能够优于其他几种方法。

该实验主要证明了onlinemodel中的projectionlayer，使用EMA更新的targetmodel和domainadaptation模块的有效性。

该实验证明了在onlinemodel中使用和targetmodel相同的之前时刻预测结果的有效性。

该实验主要讨论了一致性loss的类型对最终性能的影响，可以看到交叉熵和KL-Div性能差不多，且优于MSE。

论文链接：[2204.07714]PushingthePerformanceLimitofSceneTextRecognizerwithoutHumanAnnotation()（）

华为云博客_大数据博客_AI博客_云计算博客_开发者中心-华为云