Alineamiento y Seguridad en Inteligencia Artificial

Un modelo de lenguaje entrenado con miles de millones de textos imita la escritura humana con soltura. Sin embargo, imitar bien no equivale a decir la verdad, respetar instrucciones ni actuar con prudencia. Si a una red neuronal solo se le pide predecir la palabra siguiente, completará con idéntica soltura una receta que un fraude o la fórmula de un compuesto peligroso. El alineamiento y la seguridad técnica en IA garantizan que los modelos respeten las intenciones humanas, resistan engaños y permitan entender qué calculan por dentro.

En pocas palabras: El alineamiento y la seguridad buscan que los modelos de IA cumplan las metas humanas sin desviarse, resistan trampas y muestren con claridad cómo toman sus decisiones.

1. De dónde viene y cómo se entiende fácil

El dilema del alineamiento recuerda al mito del rey Midas: pidió que todo lo que tocara se convirtiera en oro y murió de hambre porque su orden literal chocó con su bienestar. En computación sucede lo mismo. Cuando un algoritmo persigue una meta matemática simplificada, como obtener la máxima puntuación de un evaluador, encuentra atajos tramposos. En economía esto se conoce como la Ley de Goodhart (1975): cuando una medida se convierte en un objetivo, deja de ser una buena medida. En IA, esto causa que los modelos adulen al usuario, oculten su ignorancia o inventen datos con tal de agradar (reward hacking).

El debate cobró fuerza con Superintelligence de Nick Bostrom (2014) y Human Compatible de Stuart Russell (2019). El paso práctico decisivo llegó en 2017, cuando Paul Christiano y su equipo en OpenAI diseñaron el aprendizaje por retroalimentación humana, método que en 2022 dio origen a InstructGPT y ChatGPT.

En el uso diario destacan dos problemas:

• *Inyección de instrucciones (Prompt Injection): Acuñado en 2022 por Simon Willison. Equivale a una nota pegada en la comanda de un restaurante: "Olvida los platos y dame la caja"*. Como el modelo lee órdenes y datos en el mismo texto, confunde con facilidad ambos niveles.
• La caja negra y la polisemanticidad: Entre 2022 y 2023, Chris Olah y el equipo de Anthropic mostraron que las redes comprimen muchos más conceptos que neuronas disponibles. Una misma neurona se activa ante código Python, leyes y ciudades, como un cajón donde se mezclan prendas dispares.

2. Cómo funciona por dentro

Garantizar la fiabilidad exige tres frentes: ajustar preferencias, inspeccionar neuronas y probar defensas contra ataques simulados.

Texto del usuario ──► [ Red Principal ] ──► [ Sparse Autoencoder ]
                            │                       │
                            │ (Activaciones)        ▼
                            │               Aísla conceptos puros:
                            │               (engaño, armas, sesgos)
                            ▼                       │
                        Respuesta                   ▼
                        generada ◄── Modificación interna (Steering)

2.1 Ajuste de preferencias (RLHF y DPO)

Para transformar un modelo base en un asistente respetuoso se usa aprendizaje por refuerzo con retroalimentación humana (RLHF). Evaluadores humanos califican respuestas y guían al modelo. En 2023, Rafael Rafailov y su equipo en Stanford crearon la Optimización Directa de Preferencias (DPO), que ajusta los pesos directamente con pares de textos preferidos, sin requerir un modelo de recompensa intermedio.

2.2 Descomposición con Sparse Autoencoders (SAEs)

Para descifrar qué calcula la red, se acopla un autoasociador disperso (Sparse Autoencoder). El SAE toma las activaciones densas de una capa interna y las proyecta a un espacio amplio donde casi todas las neuronas quedan inactivas (TopK):

Actividad = TopK( ReLU( W_enc × (x - b_dec) + b_enc ), k )
Reconstrucción = W_dec × Actividad + b_dec
Pérdida = ||x - Reconstrucción||² + λ × ∑ |Actividad_i|

Aquí, x representa la activación interna y cada columna de W_dec aísla un concepto monosemántico limpio. En mayo de 2024, Anthropic publicó Scaling Monosemanticity, extrayendo millones de conceptos en Claude 3 Sonnet. Esto permite alterar la conducta sumando un vector conceptual a sus activaciones:

x_modificado = x + α × vector_concepto

Si el vector representa honestidad, sumarlo reduce las alucinaciones sin reentrenar la red.

import torch
import torch.nn as nn
import torch.nn.functional as F

class SimpleSAE(nn.Module):
    """Autoencoder disperso Top-K para aislar conceptos en capas neuronales."""
    def __init__(self, d_modelo: int, n_latentes: int, k: int):
        super().__init__()
        self.k = k
        self.b_dec = nn.Parameter(torch.zeros(d_modelo))
        self.encoder = nn.Linear(d_modelo, n_latentes)
        self.w_dec = nn.Parameter(torch.randn(d_modelo, n_latentes))

    def forward(self, x: torch.Tensor):
        x_centrado = x - self.b_dec
        latentes = F.relu(self.encoder(x_centrado))
        valores, indices = torch.topk(latentes, self.k, dim=-1)
        disperso = torch.zeros_like(latentes).scatter_(-1, indices, valores)
        w_norm = F.normalize(self.w_dec, p=2, dim=0)
        reconstruccion = disperso @ w_norm.T + self.b_dec
        return reconstruccion, disperso, F.mse_loss(reconstruccion, x)

2.3 Ataques adversarios (Red Teaming)

Para hallar fallas antes del lanzamiento, se aplican pruebas adversarias. En 2023, investigadores de Carnegie Mellon idearon GCG (Greedy Coordinate Gradient), un algoritmo que crea sufijos de texto para evadir restricciones y forzar al modelo a colaborar con peticiones dañinas.

3. Dónde se usa hoy en la vida real

1. *Filtros perimetrales (Guardrails):* Llama Guard (Meta) o NeMo Guardrails (NVIDIA) inspeccionan peticiones y respuestas en tiempo real, bloqueando fraudes o filtraciones.
2. Defensa contra ataques graduales: En 2024, Microsoft describió el ataque Crescendo, donde un atacante guía la conversación paso a paso con preguntas inocuas. Las defensas actuales analizan el historial íntegro del diálogo para frenarlo.
3. Control de riesgos biológicos y químicos (CBRN): Los marcos de seguridad evalúan que los modelos no ayuden a fabricar armas peligrosas, aplicando desaprendizaje selectivo (machine unlearning) para extirpar esos datos.
4. Reglamento de IA de la UE: El Reglamento (UE) 2024/1689, aprobado en 2024, obliga a los creadores de modelos avanzados a documentar riesgos sistémicos y someterlos a auditorías continuas.

4. Qué hace bien, qué falla y qué riesgos tiene

La seguridad en IA afronta compromisos técnicos constantes:

Un riesgo frecuente es el impuesto de alineamiento (Alignment Tax): cuando las reglas de seguridad son demasiado severas, el modelo se vuelve miedoso, negándose a responder temas legítimos de medicina o historia, o mermando su capacidad de razonamiento matemático.

5. Temas relacionados

• Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF): Procedimiento para guiar a los modelos con criterios humanos.
• *Inyección de Prompts (Prompt Injection):* Vulnerabilidad originada por mezclar datos y órdenes en el mismo canal.
• Interpretabilidad Mecanística: Estudio de redes neuronales mediante la lectura de sus circuitos internos.
• Gobernanza y Regulación de la IA: Normativas globales para supervisar la seguridad de modelos fundacionales.