Datapedia
Machine Learning

Eliminación de stopwords

Técnica de preprocesamiento de texto que remueve palabras muy frecuentes y con poco valor informativo propio, como artículos y preposiciones, antes de analizar un texto.

NLPPreprocesamiento de texto

Las stopwords son palabras extremadamente frecuentes en un idioma —como “el”, “de”, “y”, “en”— que rara vez aportan información distintiva sobre el contenido específico de un texto. Eliminarlas antes de un análisis reduce el ruido y el tamaño de la representación del texto, sin perder demasiado significado relevante.

Cuándo puede no ser una buena idea

En algunas tareas específicas, estas palabras aparentemente poco informativas pueden ser relevantes: por ejemplo, distinguir “no me gusta” de “me gusta” depende justamente de una palabra que muchas listas de stopwords eliminarían por defecto, por lo que su uso conviene evaluarse según la tarea específica.