Cómo evitar que la IA invente jurisprudencia
Por qué los modelos de lenguaje inventan fallos y artículos que no existen, cómo detectarlo y qué arquitectura hace falta para que no ocurra en el trabajo jurídico.
Un modelo de lenguaje inventa citas porque su tarea es producir el texto más probable, no recuperar un hecho. Cuando no tiene el dato, genera algo que parece correcto: un número de ley verosímil, una carátula con forma de carátula. La única solución estructural es no dejar que conteste de memoria: recuperar primero documentos reales de una base verificada, construir la respuesta sobre esos documentos y contrastar cada cita contra la base antes de mostrarla, marcando explícitamente lo que no se pudo verificar.
¿Por qué un modelo inventa un fallo que no existe?
Un modelo de lenguaje no tiene una base de datos adentro. Tiene una representación estadística de cómo se encadenan las palabras en los textos con los que fue entrenado. Cuando se le pide un precedente sobre un tema, no busca: genera la continuación más plausible.
Si durante el entrenamiento vio miles de carátulas con la forma "Apellido c/ Empresa S.A. s/ despido", puede producir una que respete perfectamente ese patrón sin que corresponda a ningún expediente real. Lo mismo con los números de ley: "Ley 26.485" y "Ley 26.845" son igual de plausibles para el modelo, y solo una existe.
Lo que vuelve peligroso el fenómeno no es el error en sí, sino la confianza con la que se presenta. El texto inventado tiene exactamente el mismo tono seguro que el correcto. No hay señal lingüística que lo delate.
¿Por qué es más grave en derecho que en otras áreas?
En la mayoría de los usos, una imprecisión se corrige sola: el usuario nota que la receta no cierra o que el código no compila. En derecho, una cita falsa puede atravesar todo el circuito hasta llegar a un escrito presentado.
Hay antecedentes internacionales concretos de abogados sancionados por presentar precedentes inexistentes generados por asistentes de IA. El problema no fue usar la herramienta: fue no verificar.
A esto se suma un riesgo específico del derecho argentino: la vigencia. Un modelo puede citar correctamente el texto de un artículo que efectivamente existió, sin saber que fue derogado o modificado. La cita es real; la conclusión, equivocada.
¿Qué es RAG y por qué cambia el problema?
RAG —recuperación aumentada por generación— invierte el orden de las operaciones. En vez de preguntarle al modelo, primero se busca en una base documental real, se recuperan los fragmentos pertinentes y recién entonces se le pide al modelo que redacte una respuesta usando ese material.
El cambio es sustancial: el modelo deja de ser la fuente y pasa a ser el redactor. Si el documento no está en la base, no aparece en la respuesta; y si aparece, existe.
RAG no elimina el riesgo por sí solo. Un sistema mal construido puede recuperar documentos correctos y aun así redactar una conclusión que no se sigue de ellos. Por eso hace falta una capa más: verificar las citas de la respuesta final contra la base y señalar las que no aparecen.
¿Cómo verificar que una herramienta no está inventando?
Hay una prueba simple que conviene hacer en cualquier demostración, antes de contratar.
- Pedile un fallo sobre un tema muy específico y nicho. Después abrí cada cita. Si no hay enlace al documento, ya es una señal.
- Preguntá por una norma derogada. Una herramienta seria debe advertir la derogación e indicar la norma que la reemplazó.
- Inventá vos una carátula plausible y preguntá por ella. Una herramienta seria responde que no la encuentra; una que alucina va a "recordar" el caso y resumirlo.
- Preguntá algo de derecho provincial de una jurisdicción chica. Es donde las bases genéricas se quedan sin datos y donde más tiende a rellenar.
- Fijate si distingue entre lo verificado y lo no verificado, o si presenta todo con la misma confianza.
¿Cómo lo resuelve AINI?
AINI construye las respuestas sobre una base legal propia de más de 2,5 millones de documentos argentinos —normas y fallos de la Nación, CABA y las 23 provincias— vectorizada en más de 9 millones de fragmentos para búsqueda por sentido y no por coincidencia literal.
Después de generar la respuesta, las citas se contrastan contra esa base. Las que se encuentran se muestran con su fuente y el enlace al documento oficial. Las que el modelo mencionó pero no se pudieron verificar no se borran ni se disimulan: aparecen marcadas como no verificadas, para que quien lee sepa exactamente cuál es cuál.
La base registra además modificaciones y derogaciones y conserva el historial de versiones de las normas, de modo que la señal de vigencia proviene del corpus y no de la memoria del modelo.
Nada de esto reemplaza la revisión profesional. Lo que hace es que la revisión sea posible: verificar cinco citas con enlace lleva minutos; verificar cinco citas sin enlace lleva una tarde.