En lugar de considerar todas las palabras posibles del vocabulario al generar la siguiente palabra, el top-k sampling limita la elección a únicamente las k palabras con mayor probabilidad según el modelo, y elige una de ellas de forma parcialmente aleatoria dentro de ese grupo reducido.
Por qué se usa
Evita que el modelo elija ocasionalmente palabras extremadamente improbables y sin sentido, manteniendo al mismo tiempo cierta variedad en las respuestas generadas, en lugar de elegir siempre la única opción más probable como haría una generación completamente determinista.