Las conexiones residuales suman la entrada de una capa directamente a su salida, en lugar de forzar a la información a pasar exclusivamente por las transformaciones de esa capa. Esto crea un “atajo” que facilita que el gradiente fluya durante el entrenamiento, incluso en redes con cientos de capas.
Por qué fueron un avance importante
Antes de su introducción (popularizada por la arquitectura ResNet), entrenar redes muy profundas se volvía cada vez más difícil e incluso podía empeorar el resultado. Las conexiones residuales permitieron construir redes mucho más profundas sin ese deterioro, mejorando notablemente su capacidad.