NFNets: подход к порождению семейства нейросетей для распознавания изображений без BatchNorm

В погоне за долями процентов top-1 accuracy на известном датасете ImageNet год за годом изобретаются новые подходы и техники, значительно продвигающие Deep Learning вперед. Одним из таких подходов, который считался в течение последних 6 лет краеугольным камнем архитектур для распознавания изображений является BatchNormalization с его вариациями. Без него градиенты взрываются на сетях значительной глубины в результате миллионов операций умножения-сложения. В то же время, начиная с 2019 года, в построении моделей для задач Image Recognition и Object Detection возобладал подход к автоматическому генерированию целых семейств моделей, варьирующихся по глубине, ширине и разрешению для изображений на входе. Авторы статьи “High-Performance Large-Scale Image Recognition Without Normalization”, используя методики автоматической генерации подобных семейств последовательно строят модели на базе классического ResNet, без использования BatchNormalization, которые в многих смыслах превосходят существующие SOTA модели в об