A medida que las conversaciones con los LLMs se alargan, la ventana de contexto puede llenarse de información irrelevante. La compresión de contexto es una práctica que resume o filtra la información del historial de la conversación para mantener solo los detalles más pertinentes. Su impacto se nota en menos errores y respuestas más consistentes y enfocadas, ya que el modelo no se distrae con información obsoleta. Suele implementarse con bases vectoriales y filtros por metadatos para identificar y priorizar la información más relevante.