Howdy

Prompt Chaining

Es un tipo de ataque de seguridad en el que un usuario malintencionado manipula la entrada (prompt) de un LLM para hacer que ignore sus instrucciones originales y ejecute acciones no deseadas. Evitar estos desvíos es crucial para mantener el foco del modelo en su objetivo y garantizar la seguridad. Protegerse contra la inyección de prompts es un desafío clave para llevar los modelos a producción de forma segura, y requiere medir constantemente la fidelidad del modelo a sus instrucciones originales y la implementación de filtros y ""guardrails"" robustos.

Atrás