---

Por Macarena Sucunza / EAAE

Entrevista a la Dra. Marina Sánchez Caparrós

La inteligencia artificial trajo oportunidades, riesgos y debates. La especialista consultada brindó recomendaciones para su uso, advirtió sobre la discriminación algorítmica y se refirió al rol clave del Estado.

La Dra. Mariana Sánchez Caparrós es Subdirectora del Laboratorio de Innovación e Inteligencia Artificial de la Facultad de Derecho de la Universidad de Buenos Aires. Experta en Inteligencia Artificial (IA), en noviembre fue una de las reconocidas disertantes que participó de las Segundas Jornadas Patagónicas de Derecho, oportunidad en la que charló con Isegoría mostrando una mirada bastante positiva sobre la incorporación de esta tecnología para optimizar el trabajo de los agentes del Estado.

¿Qué fue lo que despertó tu interés en especializarte en la materia?

Comencé a notar que dentro de mi trabajo todo iba muy lento y afuera las cosas empezaban a suceder cada vez más rápido. Hablamos del 2020, todavía no teníamos el nivel de tecnología que tenemos ahora. Vino la pandemia y se lanzó un postgrado en Inteligencia Artificial y Derecho, del cual ahora soy docente. Ahí descubrí que la tecnología, y particularmente la inteligencia artificial, era una gran aliada para poder empezar a automatizar ciertos procesos pensando en mejorar como uno presta un servicio público.

¿Qué ves de positivo en la aplicación que se ha hecho hasta el momento de la IA y cuáles son los peligros?

No me gusta en los casos en los que se utiliza para hacer predicción de riesgo de reincidencia respecto de personas que cometieron delitos, tampoco me gusta el reconocimiento facial en espacios públicos (salvo casos muy puntuales), en líneas generales.

La Inteligencia Artificial puede ser una aliada, agregar valor, puede ayudar a mejorar la manera en la que nosotros trabajamos como servidores públicos: trabajar más rápido y más cómodo. Creo que es beneficioso poder incorporarla en cuánto a la aceleración de tiempos, pero también últimamente influye mucho en la calidad de los resultados: muchas veces me ayuda a evitar errores de tipeo, de transcripción, a mejorar análisis de situaciones; si estás colapsado, la IA es tener a disposición un asistente digital que te ayuda en el procesamiento de información.

Por otro lado, hay un montón de desafíos asociados a los riesgos de la IA, hay todo un campo de estudio en relación a la ética de su aplicación que varía según el ámbito en el que vayas a utilizar esta herramienta, que hoy está presente en casi todas o en todas las industrias y sectores. Esto tiene que ver, fundamentalmente, con cómo protegemos los datos personales de las personas cuya información procesamos con este tipo de sistemas, como evitamos las alucinaciones en los modelos de lenguaje, que conocemos a través de ChatGPT y Gemini, las alucinaciones es esto de que  la IA inventa información.

En lo jurídico hay muchos casos de jueces y abogados que citaron jurisprudencia inexistente porque usaron inteligencia artificial sin verificar la información. En Colombia, hace poco anularon un fallo porque parte de la jurisprudencia citada para argumentar la decisión judicial no existía, habían usado inteligencia artificial para construir para de la argumentación jurídica y no la habían chequeado.

En Argentina el caso más extremo que escuché es un caso en la provincia de Río Negro con más de veinte citas falsas, creo que eran 26. Hay ciertos riesgos que son inherentes al uso. Estos riesgos no implican que no debamos usar IA, sino que debemos usarla de manera responsable. Las cabezas de las organizaciones tienen que empezar a pensar cómo forman a sus profesionales para que la usen de manera responsable, mitigando los riesgos.

Hablando de riesgos, ¿qué son los sesgos algorítmicos de género?

Los sesgos algorítmicos de género tienen que ver con que la Inteligencia Artificial aprende de datos que siempre reflejan el pasado de determinado grupo humano en un espacio de tiempo. En esos datos hay un montón de información que nos coloca a las mujeres en ciertos roles y a los hombres con otros.

Hace un tiempo, cuando se le pedía a una IA que representara a una “persona madura”, aparecía un hombre canoso, atractivo, exitoso, siempre muy sexy (porque es bastante estereotipada). En cambio, las mujeres maduras eran representadas como mujeres de 25, 30 años, porque en los datos de entrenamiento no había casi fotos de mujeres en la tercera edad, por eso no las podía representar.

Eso pasa a nivel imagen pero también respecto de otro tipo de estereotipos como son los roles de género. Cuando eso aparece se va corrigiendo a través de volver a entrenar el sistema para que aprenda a no segmentar esas categorías. Antes, le pedías que imagine “Mariana se dedica a…” y “Julián se dedica a…”: Mariana siempre era docente o madre, y Julián astronauta.

En estos casos, se puede reentrenar a la IA para que mejore y sea más diversa. Lo mismo ocurre con otras categorías como nacionalidad, racismo, condición socioeconómica, entre otras, hay representaciones que son inadecuadas. Hay que estar atentos, hay cosas que no se mejoran hasta que alguien no levanta la voz y avisa. Si no intervenimos, la IA no solo reproduce estos sesgos, sino que los profundiza y los perpetúa.

Pensando en abogados y abogadas que trabajan para el Estado, ¿qué recomendaciones darías para empezar a usar IA como aliada?

La clave es armar buenas capacitaciones y talleres para usar IA de manera responsable implica saber qué riesgos existen y cómo mitigarlos. En el ámbito jurídico, el riesgo es caer en argumentaciones pobres o genéricas si no se sabe usar bien la IA.

Y que no sea nuestra única herramienta. No delegar todo, ¿no?

 Hay todo un desafío respecto de cuánto delegamos cognitivamente. Cuando tengo que escribir rápido trato de hacer el ejercicio de, a veces, pedirle a la IA que me ayude a argumentar y luego lo corrijo; otras veces me siento desde cero a escribir, para no perder la gimnasia.

Es como lo que pasa con la escritura a mano. Tengo una hija de nueve años que escribe todo a mano y tiene una letra preciosa; la mía es un desastre. A nivel cognitivo, el proceso es similar: si delegamos todo, empezamos a perder cierta capacidad. Hay estudios que empiezan a mostrar que se empiezan a perder ciertas capacidades, por eso la clave es el uso moderado.

En este contexto, tu mirada parece bastante optimista.

Trato de tener ciertos reparos y de seguir leyendo. Me cuesta concentrarme para leer en la computadora entonces me compré un Kindle para obligarme a leer sin tantas interrupciones. La supervisión humana es indispensable siempre: la IA debe funcionar como copiloto.

 

Legislación: alcances y limitaciones

¿Qué desafíos plantea la IA en términos de legislación y derechos?

Hoy la cuestión de la legislación se plantea en términos muy binarios: regular o no regular la inteligencia artificial. Para mí hay un camino intermedio, especialmente en países como Argentina, donde tenemos una tradición muy profunda de respeto por los tratados internacionales de derechos humanos, que además son norma constitucional. Entonces, hay muchas cuestiones que ya están resueltas si se interpretan mirando esa normativa.

Por otro lado, hay un camino del medio que pocos están planteando, que no tiene que ver con pensar una regulación para la IA. Tratar de regular es difícil, porque todo el tiempo cambia, la legislación probablemente quede vieja cuando salga.

Entonces, tenemos que empezar a pensar qué tocamos de cierta normativa específica para evitar riesgos que generan mayor impacto en derechos fundamentales. Por ejemplo, la normativa sobre discriminación, que es sobre lo que hice mi tesis doctoral: la discriminación provocada por sistemas inteligentes.

Lo que planteo ahí es que si uno mira la normativa del año 1991 puede incorporar lo que es la discriminación algorítmica. Hoy la discriminación generada por un sistema inteligente tiene respuesta jurídica en la normativa antidiscriminatoria. Ahora bien, hay que aggionar los estándares procesales actuales porque se quedan cortos, porque la discriminación algorítmica es más difícil de probar.

¿Podrías dar un ejemplo de discriminación algorítmica?

Un sistema inteligente que define el acceso a un crédito bancario, que puede excluir a una persona solo por vivir en determinado barrio, sin analizar su caso individual. Eso ya está pasando. Probar algo así judicialmente es muy difícil para una persona común. Ahí podemos tocar la normativa antidiscriminación.

Como consumidores lo mismo: probablemente a nosotras nos ofrecen distintos precios de pasajes en avión para el mismo destino y en la misma fecha. Eso es ilegal en Argentina. Por eso tenemos que pensar cómo abordar esto, no lo vas a abordar nunca en una norma general de IA, sino haciendo ajustes específicos en normas existentes, como las de defensa del consumidor o antidiscriminación.

 

El Estado y la responsabilidad de educar

¿Existe el riesgo de que la IA profundice desigualdades sociales?

Sí, especialmente en términos de brecha digital de conocimiento y de acceso a herramientas. Por un lado, tenemos la brecha de acceso: todavía hay muchas personas que no tienen dispositivos o conexión a internet. Por otro, la brecha de conocimiento: aunque las herramientas sean intuitivas, requieren cierto nivel de manejo de herramientas digitales.

Hay estudios recientes en Argentina y Uruguay que muestran que el mayor aprovechamiento de la IA se da en los sectores de ingresos medios y altos. Si no se trabaja activamente para cerrar estas brechas, va a ser cada vez peor.

¿Qué rol debería tener la educación frente a este escenario?

La alfabetización digital debe ser permanente. Hay debates sobre en qué etapa educativa introducir la IA: algunos plantean hacerlo en la infancia, otros más adelante, en el nivel secundario. Pero lo que muchas veces pasa es que los docentes no están formados en estas herramientas, el rol del Estado debe capacitarlos y ya, ahora, porque esto es algo que ya está pasando, no es algo que va a pasar dentro de diez años.