Durante la última década, las organizaciones operaron bajo un escudo invisible: Si un software fallaba, se trataba como un «bug» sistémico o un error de soporte, donde la empresa no tenía n inguna responsabilidad. Sin embargo, la llegada de la Inteligencia Artificial Generativa ha roto este escudo.
Hoy, la justicia está enviando un mensaje claro a las juntas directivas: no puedes delegar tu responsabilidad legal en un código que no puedes controlar.
El Caso Air Canada: El fin de la inmunidad del algoritmo
Para entender la magnitud de la brecha de compliance, debemos ir al caso Moffatt v. Air Canada (2024). Este no es un simple error de atención al cliente; es el acta de defunción de la justificación de la «IA como una entidad independiente»
Los Hechos Probados:
En 2022, Jake Moffatt consultó al chatbot de Air Canada sobre las tarifas de duelo (disponibles para quienes viajan por el fallecimiento de un familiar). El chatbot, operando con un modelo de lenguaje, le aseguró que podía comprar los boletos de inmediato y reclamar un reembolso retroactivo en 90 días.
Cuando Moffatt intentó cobrar, la aerolínea se negó, citando que su política oficial prohibía reembolsos una vez realizado el viaje. Lo más sorprendente fue la defensa legal de Air Canada: argumentaron que el chatbot era una «entidad legal separada, responsable de sus propias acciones».
La Sentencia:
El Tribunal de Resolución Civil de Columbia Británica fue contundente. El juez Christopher Rivers dictaminó que Air Canada no había tomado «medidas razonables» para garantizar la precisión de su chatbot. El tribunal rechazó la idea de que la empresa no es responsable de la información que aparece en su propio sitio web, simplemente porque fue generada por una IA.
«Una empresa tiene el deber de cuidado (duty of care) sobre toda la información que emite. El chatbot no es un tercero; es un representante de la marca.»
Los tres pilares de la brecha de Compliance
Este caso destapa una vulnerabilidad que la mayoría de las empresas aún no han mitigado. La brecha de cumplimiento en agentes de IA se sostiene sobre tres pilares críticos:
A. La Responsabilidad Contractual por «Alucinación»
La IA generativa es probabilística, no factual. A diferencia de un software tradicional que consulta una base de datos estática, un agente de IA «predice» la siguiente palabra. Esto genera alucinaciones: respuestas que suenan coherentes pero son falsas.
Desde la perspectiva de Compliance, una alucinación que promete un precio, un descuento o una garantía se convierte en una oferta vinculante. Si el bot dice «tienes un 50% de descuento», legalmente la empresa podría estar obligada a cumplirlo bajo leyes de protección al consumidor y publicidad engañosa [8].
B. La Opacidad del «Black Box» (Caja Negra)
El cumplimiento normativo exige trazabilidad.
Si un auditor pregunta por qué se tomó una decisión, la empresa debe poder explicarla. Sin embargo, muchos agentes de IA operan como cajas negras. Si el agente de IA deniega un servicio o discrimina a un usuario, y la empresa no puede explicar el porqué técnico, está incumpliendo normativas como el AI Act de la UE, que exige transparencia y explicabilidad en sistemas de alto riesgo. El Artículo 50 del AI Act, por ejemplo, establece requisitos de transparencia para ciertos sistemas de IA, incluyendo la necesidad de informar a los usuarios cuando interactúan con una IA.
C. La Dilución de la Supervisión Humana
El principio de «Human-in-the-loop» (humano en el proceso) es a menudo ignorado por el deseo de ahorrar costes. El riesgo de compliance se dispara cuando se le da autonomía total al bot para interactuar con el público sin filtros de seguridad o «guardrails» que contrasten la respuesta de la IA con la base de conocimientos real de la empresa (Retrieval-Augmented Generation o RAG).
Consecuencias para el Oficial de Cumplimiento (CCO)
El papel del CCO ha cambiado. Ya no basta con redactar códigos de conducta para humanos; ahora debe redactar códigos de conducta para algoritmos.
- Auditoría de Veracidad: Así como se auditan las cuentas financieras, las empresas deben empezar a auditar los outputs de su IA. ¿Qué porcentaje de error es aceptable antes de que el riesgo legal supere el beneficio operativo?
- Actualización de Seguros de Responsabilidad: Las pólizas tradicionales de responsabilidad civil podrían no cubrir daños causados por «errores algorítmicos» si no se declaran específicamente.
- Transparencia Proactiva: Siguiendo el Artículo 50 del AI Act, las empresas deben declarar explícitamente: «Usted está hablando con una IA. Sus respuestas pueden no ser exactas». Aunque, como vimos en el caso de Air Canada, un aviso legal no es una «carta blanca» para mentir.
El Compliance como ancla de la Innovación
La lección de este caso es clara: La tecnología no absuelve la responsabilidad. Las empresas que desplieguen agentes de IA bajo la premisa de «veremos qué pasa» se enfrentan a litigios masivos, multas regulatorias y, lo más costoso, la pérdida de confianza del consumidor.
El compliance ya no es el freno de la innovación, sino el cinturón de seguridad necesario para que la IA pueda avanzar a gran velocidad. Si vas a permitir que un algoritmo hable en nombre de tu empresa, asegúrate de que el Oficial de Cumplimiento sea quien le haya enseñado a hablar.
(Este artículo fue desarrollado con ayuda de Inteligencia Artificial)
Referencias
- BC Tribunal Confirms Companies Remain Liable for …https://www.americanbar.org/groups/business_law/resources/business-law-today/2024-february/bc-tribunal-confirms-companies-remain-liable-information-provided-ai-chatbot/
- Moffatt v. Air Canada: A Misrepresentation by an AI Chatbot: https://www.mccarthy.ca/en/insights/blogs/techlex/moffatt-v-air-canada-misrepresentation-ai-chatbot
- Airline held liable for its chatbot giving passenger bad advice: https://www.bbc.com/travel/article/20240222-air-canada-chatbot-misinformation-what-travellers-should-know
- Whose Responsibility Is It Anyway? Chatbots and Legal …: https://www.litigate.com/whose-responsibility-is-it-anyway-chatbots-and-legal-issues-in-moffatt-v-air-canada/pdf
- chatbot – Negligent Misrepresentation in Moffatt v Air Canada: https://www.canlii.org/en/commentary/doc/2025CanLIIDocs1963
- AI Chatbot flies solo and Air Canada foots the bill – Moffatt v …: https://inquisitiveminds.bristows.com/post/102j3zc/ai-chatbot-flies-solo-and-air-canada-foots-the-bill-moffatt-v-air-canada
- A legal practitioner’s guide to AI & hallucinations: https://www.ncsc.org/resources-courts/legal-practitioners-guide-ai-hallucinations
- Business Liability for AI Hallucinations: Legal Defense …: https://www.thebulldog.law/business-liability-for-ai-hallucinations-defense-strategies-when-artificial-intelligence-gets-wrong
- Key Issue 5: Transparency Obligations – EU AI Act: https://www.euaiact.com/key-issue/5
- Transparency requirements for high‑risk AI systems – VDE: https://www.vde.com/topics-en/artificial-intelligence/blog/transparency
- Article 50: Transparency Obligations for Providers and …: https://artificialintelligenceact.eu/article/50/
- Limited-Risk AI—A Deep Dive Into Article 50 of the …: https://www.wilmerhale.com/en/insights/blogs/wilmerhale-privacy-and-cybersecurity-law/20240528-limited-risk-ai-a-deep-dive-into-article-50-of-the-european-unions-ai-act
