YARN actúa como el administrador de recursos central de un cluster de Hadoop, decidiendo cuánta memoria y capacidad de procesamiento asignar a cada aplicación que solicita ejecutarse sobre el cluster, permitiendo que múltiples aplicaciones y frameworks distintos (no solo MapReduce, sino también Spark u otros) compartan eficientemente los mismos recursos físicos.
Por qué fue una evolución importante para Hadoop
Antes de su introducción, Hadoop solo podía ejecutar trabajos de MapReduce de forma nativa; separar la gestión de recursos del modelo específico de procesamiento permitió que el mismo cluster de Hadoop pudiera ejecutar una variedad mucho más amplia de tipos de aplicaciones distintas de forma simultánea.