En entornos que utilizan LLMs, la cuantización es una técnica de optimización que reduce el tamaño y la complejidad computacional de un modelo. Consiste en disminuir la precisión de los números que representan los pesos del modelo (por ejemplo, pasar de 32 bits a 8 bits). Esto se vuelve un atajo crucial hacia la eficiencia, permitiendo que modelos muy grandes se ejecuten más rápido y con menos memoria, sin una pérdida significativa de precisión. Se combina con RAG y validadores para asegurar que el modelo optimizado siga siendo confiable y de alta calidad.