[IAT-200] OWASP top 10 for LLMs

Este curso analiza las principales vulnerabilidades en modelos de lenguaje. Cubre inyección de prompts, filtración de información sensible, cadena de suministro, envenenamiento de datos, manipulación de salidas, desinformación y consumo excesivo. Incluye ejemplos reales, escenarios de ataque y estrategias de prevención y mitigación.

Duración:                    16 horas

Perfil:                           Avanzado

Dirigido a

Esta acción formativa va dirigida a Programadores, Analistas, Arquitectos de Sistemas e Ingenieros de seguridad interesados en aprender a desarrollar aplicaciones que utilicen la IA de forma segura.

Requisitos previos 

Los alumnos necesitarán tener experiencia con lenguajes de programación. 

Objetivos

Al finalizar la formación, los participantes serán capaces de:

• Identificar y categorizar las 10 amenazas más críticas para las aplicaciones que utilizan modelos de lenguaje grandes, comprendiendo sus vectores de ataque específicos.

• Diseñar arquitecturas seguras integrando estrategias de mitigación desde el diseño, como la separación de datos sensibles y la validación determinista de salidas.

• Evaluar los riesgos de terceros en la cadena de suministro de IA, incluyendo la verificación de procedencia de modelos y la auditoría de librerías de aprendizaje automático.

• Implementar controles operativos eficaces para prevenir el consumo excesivo de recursos financieros y computacionales, así como limitar la autonomía de agentes de IA.

Contenido

1. Seguridad en IA Generativa

   1. Arquitectura típica de aplicaciones LLM

   2. APIs, embeddings, RAG y agentes

   3. Superficie de ataque en sistemas LLM

   4. Diferencias entre seguridad tradicional y seguridad en IA

   5. Introducción a OWASP Top 10 for LLMS

2. LLM01:2025 Inyección de prompt

   1. Inyección de prompt directo e indirecto

   2. Jailbreaking

   3. Role override

   4. Data exfiltration mediante prompts

   5. Ataques en cadenas RAG

   6. Ataques multi-turn

3. LLM02:2025 Divulgación de información sensible

   1. Riesgos de confiar en respuestas del modelo

   2. Inyección de código

   3. Inyección HTML/Markdown

   4. Inyección de comandos

   5. Inyección SQL inducida por IA

4. LLM03:2025 Cadena de suministro

   1. Envenenamiento de datasets

   2. Data poisoning en RAG

   3. Inserción de instrucciones maliciosas

   4. Cadena de suministro de datos

   5. Riesgos en fine-tuning

5. LLM04:2025 Envenenamiento de datos y modelo 

   1. Agotamiento de tokens

   2. Cost amplification attacks

   3. Recursive prompting

   4. Agent loops

   5. Ataques de consumo de GPU/CPU

6. LLM05 Manejo inadecuado de la salida

   1. Riesgos en modelos open source

   2. Dependencias inseguras

   3. Riesgos en plugins y herramientas externas

   4. Hugging Face y modelos comprometidos

   5. Seguridad en agentes y MCPs

7. LLM06 Agencia excesiva

   1. Filtrado accidental de secretos

   2. Fugas vía contexto

   3. Riesgos en memoria conversacional

   4. Compliance y privacidad

8. LLM07:2025 Filtración de prompts del sistema

   1. Tool Calling inseguro

   2. Riesgos de agentes autónomos

   3. Permisos excesivos

   4. SSRF y acceso a servicios internos

   5. Control de acciones

9. LLM08:2025 Debilidades de vector y representaciones vectoriales

   1. Agentes autónomos y toma de decisiones

   2. Riesgos de automatización

   3. Bucles autónomos

   4. Confirmación humana (Human in the loop)

   5. Separación de privilegios

   6. Vectores de ataque

10. LLM09:2025 Desinformación

    1. Riesgos de confiar excesivamente en IA

    2. Alucinaciones

    3. Validación de respuestas

    4. IA como copiloto vs autoridad

    5. Riesgos legales y operativos

11. LLM10:2025 Consumo ilimitado

    1. Extracción de modelos

    2. Prompt stealing

    3. System prompt leakage

    4. Model fingerprinting

    5. Protección IP

Documentación Recomendada

Se utilizará la documentación de referencia del proyecto.