Todo el mundo se pregunta si la IA es segura. Casi nadie se plantea la pregunta que realmente determina la respuesta: cuando un sistema de IA ejerce poder sobre nosotros, ¿quién tiene una obligación con nosotros? ¿Y cuál es esa obligación?
Ahora mismo, la respuesta es nadie, y nada. Esa es la verdadera crisis, y es una crisis legal.
Hemos construido todo nuestro debate sobre la responsabilidad de la IA sobre la base de la palabra equivocada. Hablamos de "IA responsable", "IA confiable", "IA alineada": adjetivos que describen el sistema. Pero la responsabilidad, la confianza y la obligación no son propiedades del software. Son relaciones entre personas. Un sistema no puede debernos nada. Quienes ejercen el control a través de él sí. La clave está en identificarlos.
Esa identificación es precisamente lo que la gobernanza moderna busca evitar. "El modelo decidió". "El algoritmo te señaló". "El sistema lo recomendó". Esta gramática no es inocente. Es una herramienta para disolver la autoría, para asegurar que cuando el poder recaiga sobre una persona, no se pueda encontrar ninguna huella humana en ella. Un préstamo denegado, una reclamación rechazada, una cuenta marcada, una calificación de riesgo: se ejerció poder, se perjudicó un interés, y la primera reacción de la organización es culpar al modelo como si fuera el autor.
La ley define lo que debería ocurrir cuando alguien ejerce poder discrecional sobre los intereses de otra persona mientras esta es vulnerable a dicho ejercicio. Se denomina deber fiduciario. Lealtad. Buena fe. No hay conflicto de intereses. No requiere contrato. No requiere forma jurídica. Está ligado al ejercicio del poder en sí mismo. Y es precisamente el concepto que falta en la gobernanza de la IA.
En mi trabajo, desarrollo un marco que denomino Pila de Atribución: cuatro niveles de control para determinar la responsabilidad en sistemas diseñados para diluirla: mandato formal, inducción estructural, poder por defecto y derecho de veto. Lo construí para responder a una pregunta sobre blockchain: ¿quién gobierna realmente una red que afirma no estar gobernada por nadie? Sin embargo, la estructura es general, y es en la IA donde más se manifiesta.
Si se ejecuta cualquier implementación de IA a través de la pila tecnológica, la difusión se desmorona.
Comando formal: ¿quién estableció el objetivo del mejor sistema? Alguien eligió el objetivo. Un modelo no decide qué se considera éxito; lo hace una persona, y esa elección es un acto de autoría.
Incentivo estructural: ¿quién diseñó los incentivos —la métrica de participación, la función de costos, la presión de implementación— que convirtieron el comportamiento perjudicial en el resultado racional en lugar de un accidente?
Poder por defecto: ¿quién controla lo que sucede cuando nadie interviene? El valor por defecto es una decisión. Un sistema que niega por defecto y exige que la parte vulnerable apele ha sido diseñado por alguien, y esa persona es responsable de su diseño.
Autoridad de veto: ¿quién pudo haberlo detenido y no lo hizo? El poder de detener una implementación, anular un resultado o retirar un modelo es control, se ejerza o no.
Pero en cada capa hay una persona con un nombre. La difusión es una historia, no un hecho. Y una vez que se puede atribuir el control, se puede asignar la responsabilidad, porque la responsabilidad se deriva del poder, no del organigrama.
Por eso, la intervención humana no es la solución que muchos creen. Una persona que aprueba resultados que no puede inspeccionar, bajo presión de tiempo y sin autoridad para rechazarlos, no toma decisiones. Es una especie de esponja de responsabilidad, colocada ahí para que la institución pueda decir que un humano decidió, mientras que ese humano absorbe la culpa de un sistema cuyos objetivos, incentivos, configuraciones predeterminadas y mecanismo de desactivación estaban controlados por otra persona. Una firma no implica responsabilidad. A menudo es lo contrario: un disfraz de responsabilidad.
1/2
Dr. Craig S Wright
18 jul 2026
https://x.com/i/status/2078498382058852361
Ahora mismo, la respuesta es nadie, y nada. Esa es la verdadera crisis, y es una crisis legal.
Hemos construido todo nuestro debate sobre la responsabilidad de la IA sobre la base de la palabra equivocada. Hablamos de "IA responsable", "IA confiable", "IA alineada": adjetivos que describen el sistema. Pero la responsabilidad, la confianza y la obligación no son propiedades del software. Son relaciones entre personas. Un sistema no puede debernos nada. Quienes ejercen el control a través de él sí. La clave está en identificarlos.
Esa identificación es precisamente lo que la gobernanza moderna busca evitar. "El modelo decidió". "El algoritmo te señaló". "El sistema lo recomendó". Esta gramática no es inocente. Es una herramienta para disolver la autoría, para asegurar que cuando el poder recaiga sobre una persona, no se pueda encontrar ninguna huella humana en ella. Un préstamo denegado, una reclamación rechazada, una cuenta marcada, una calificación de riesgo: se ejerció poder, se perjudicó un interés, y la primera reacción de la organización es culpar al modelo como si fuera el autor.
La ley define lo que debería ocurrir cuando alguien ejerce poder discrecional sobre los intereses de otra persona mientras esta es vulnerable a dicho ejercicio. Se denomina deber fiduciario. Lealtad. Buena fe. No hay conflicto de intereses. No requiere contrato. No requiere forma jurídica. Está ligado al ejercicio del poder en sí mismo. Y es precisamente el concepto que falta en la gobernanza de la IA.
En mi trabajo, desarrollo un marco que denomino Pila de Atribución: cuatro niveles de control para determinar la responsabilidad en sistemas diseñados para diluirla: mandato formal, inducción estructural, poder por defecto y derecho de veto. Lo construí para responder a una pregunta sobre blockchain: ¿quién gobierna realmente una red que afirma no estar gobernada por nadie? Sin embargo, la estructura es general, y es en la IA donde más se manifiesta.
Si se ejecuta cualquier implementación de IA a través de la pila tecnológica, la difusión se desmorona.
Comando formal: ¿quién estableció el objetivo del mejor sistema? Alguien eligió el objetivo. Un modelo no decide qué se considera éxito; lo hace una persona, y esa elección es un acto de autoría.
Incentivo estructural: ¿quién diseñó los incentivos —la métrica de participación, la función de costos, la presión de implementación— que convirtieron el comportamiento perjudicial en el resultado racional en lugar de un accidente?
Poder por defecto: ¿quién controla lo que sucede cuando nadie interviene? El valor por defecto es una decisión. Un sistema que niega por defecto y exige que la parte vulnerable apele ha sido diseñado por alguien, y esa persona es responsable de su diseño.
Autoridad de veto: ¿quién pudo haberlo detenido y no lo hizo? El poder de detener una implementación, anular un resultado o retirar un modelo es control, se ejerza o no.
Pero en cada capa hay una persona con un nombre. La difusión es una historia, no un hecho. Y una vez que se puede atribuir el control, se puede asignar la responsabilidad, porque la responsabilidad se deriva del poder, no del organigrama.
Por eso, la intervención humana no es la solución que muchos creen. Una persona que aprueba resultados que no puede inspeccionar, bajo presión de tiempo y sin autoridad para rechazarlos, no toma decisiones. Es una especie de esponja de responsabilidad, colocada ahí para que la institución pueda decir que un humano decidió, mientras que ese humano absorbe la culpa de un sistema cuyos objetivos, incentivos, configuraciones predeterminadas y mecanismo de desactivación estaban controlados por otra persona. Una firma no implica responsabilidad. A menudo es lo contrario: un disfraz de responsabilidad.
1/2
Dr. Craig S Wright
18 jul 2026
https://x.com/i/status/2078498382058852361
Comments
Be the first to add a comment
Log in to comment