Datapedia
Big Data

Problema de archivos pequeños (Small file problem)

Situación en la que un sistema de almacenamiento distribuido acumula una cantidad excesiva de archivos diminutos, degradando el rendimiento debido a la sobrecarga de gestionar cada uno individualmente.

RendimientoAlmacenamiento

El problema de archivos pequeños surge cuando un sistema termina con muchísimos archivos de tamaño diminuto, en lugar de una cantidad razonable de archivos más grandes, ya que cada archivo individual conlleva cierta sobrecarga de gestión (metadatos, apertura, cierre) que se vuelve significativa cuando se multiplica por millones de archivos pequeños.

Sus causas más comunes

Suele originarse en sistemas de streaming que escriben datos con mucha frecuencia en pequeños incrementos, o en procesos mal configurados que generan demasiadas particiones diminutas, siendo la compactación periódica de archivos la solución estándar para mitigar este problema una vez que ya ocurrió.