El prompt hacking es una técnica de manipulación que se dirige a los modelos de lenguaje (LLMs, por sus siglas en inglés) con el fin de obtener respuestas no deseadas o engañosas. Este fenómeno se produce cuando un atacante formula solicitudes o preguntas diseñadas intencionadamente para explotar las vulnerabilidades del modelo, logrando así que el LLM genere contenido inapropiado, sesgado o que divulgue información sensible. Los tipos de ataques más comunes incluyen la inyección de texto malicioso, donde se integran instrucciones ocultas en las solicitudes, y la manipulación de contexto, que altera el significado de las preguntas para obtener respuestas que benefician al atacante.
Para proteger los LLMs contra el prompt hacking, es fundamental implementar varias estrategias de mitigación. Una de las más eficaces es el entrenamiento continuo del modelo con datos que incluyan ejemplos de prompts maliciosos, lo que ayuda a identificar y filtrar patrones de uso indebido. Además, se recomienda establecer límites claros sobre el tipo de información que el modelo puede generar, así como incorporar sistemas de monitoreo y evaluación que permitan detectar comportamientos anómalos en las respuestas. La combinación de estas medidas contribuye a fortalecer la seguridad de los LLMs y a minimizar los riesgos asociados con el prompt hacking.
