¿Qué es?
El procesamiento distribuido consiste en repartir una tarea —por ejemplo, contar palabras en billones de documentos— entre muchas máquinas que trabajan al mismo tiempo, en vez de resolverla con una sola computadora más grande. Cada nodo procesa una porción de los datos y, al final, los resultados parciales se combinan.
Es la base que permitió el auge del Big Data: procesar volúmenes de información que superan por completo la memoria y capacidad de cómputo de una sola máquina, sin importar cuán potente sea.
Cómo funciona, en simple
- Los datos se particionan en fragmentos más pequeños.
- Cada fragmento se envía a un nodo distinto del clúster.
- Cada nodo ejecuta la misma operación sobre su fragmento, en paralelo.
- Los resultados parciales se combinan (una fase habitualmente llamada “reduce”).
Este patrón es el corazón de modelos como MapReduce, popularizado por Google y luego implementado en herramientas open source como Hadoop y, más adelante, Apache Spark.
Por qué importa
- Escalabilidad horizontal: para procesar más datos, se agregan más máquinas en vez de una máquina más potente.
- Tolerancia a fallos: si un nodo falla, el trabajo se puede reasignar a otro sin perder todo el proceso.
- Velocidad: tareas que tomarían días en una sola máquina pueden resolverse en minutos repartidas entre cientos de nodos.
Herramientas habituales
Apache Spark, Hadoop, Flink y los motores de consulta distribuida de los data warehouses en la nube (como BigQuery o Redshift) son ejemplos de tecnologías construidas sobre este principio.