Entrenar los modelos de IA más grandes actuales sobre un único procesador tomaría un tiempo poco práctico. El entrenamiento distribuido reparte esa carga entre muchas GPU o TPU trabajando en conjunto, ya sea dividiendo los datos, el modelo, o ambos, entre los distintos dispositivos.
Sus dos estrategias principales
El paralelismo de datos entrena copias idénticas del modelo en distintos dispositivos, cada una con una porción distinta de los datos, combinando luego los resultados. El paralelismo de modelo, en cambio, divide el propio modelo —demasiado grande para caber en un solo dispositivo— entre varios procesadores que colaboran para procesar cada entrada.