La IA poderosa ya está aquí: para usarla de manera responsable, necesitamos mitigar el sesgo
UN ALGORITMO PUEDE DECIDIR SI NOS CONCEDEN UN CRÉDITO, UN PERMISO, O UNA VALORACIÓNDE NUESTRO TRABAJO… PERO, LA DECISIÓN ES JUSTA? … HAY GENTE QUE TRABAJA PARA MITIGAR ESAS FALENCIAS. DCA
febrero 15, 2023
Por: Apostol Vassilev
Apostol Vassilev está estudiando el papel del sesgo de IA en el proceso de suscripción de crédito.
Crédito: R. Wilson/NIST IMAGEN AL PIE
Instituto Nacional de Estándares y Tecnología (NIST),USA
Todos estamos asistiendo a una revolución en el progreso de la inteligencia artificial (IA) y su adopción. Las últimas capacidades de creación de contenido de AI han creado un enorme interés en los medios y el público.
ChatGPT demostró recientemente una asombrosa capacidad para generar texto coherente cuando le pides que escriba un ensayo o responda una pregunta. Junto con la emoción, surgieron inmediatamente muchas preguntas éticas. ¿Son estos sistemas capaces de razonar a la par con los humanos? ¿Son conscientes del contenido que generan? ¿Son sus respuestas justas e imparciales?
Pero la IA ya no se trata solo de chatbots. Incluso si nunca has usado una herramienta como ChatGPT, la IA ya está afectando tu vida. La IA puede haber sido utilizada en el consultorio de su médico o banco sin que usted lo sepa.
Aquí también, tenemos que preocuparnos por los mismos problemas, incluyendo:
equidad
predisposición
seguridad, y
robustez y resiliencia.
Todo esto es parte de lo que se conoce como IA confiable.
A medida que crezca el poder de la IA, las empresas, los gobiernos y el público tendrán que gestionar el impacto de la IA en la sociedad.
La clave será permitir que la industria innove mientras gestiona el riesgo. Aunque será un desafío, tendremos que encontrar el equilibrio adecuado entre el interés propio, el interés empresarial y el interés social.
Nuestros cerebros humanos tienen sus límites
Durante mucho tiempo he estado interesado en el cerebro humano. A pesar del gran progreso en la ciencia, muchas preguntas siguen sin resolverse: ¿Cómo comprendemos la información? ¿Cómo almacenamos y recuperamos información en nuestros cerebros? ¿Qué es la inteligencia?
He aprendido a través del trabajo del psicólogo ganador del premio Nobel Daniel Kahneman y otros en economía conductual que los humanos son terribles para ser consistentes en el razonamiento y encontrar las mejores soluciones. Me fascina cómo nosotros, como personas, podemos ser muy limitados y tan creativos y capaces de pensar profundamente.
A medida que avanza la IA, tengo curiosidad por saber cómo puede ser bueno para todas las personas. ¿Cómo puede servir a las necesidades de todos igualmente bien? Es una pregunta intrigante.
¿Cómo define la equidad en la IA?
El año pasado, desarrollamos un informe exhaustivo sobre el sesgo de la IA. Este informe estableció que la equidad y el sesgo no son solo problemas estadísticos abstractos o universales.
Los problemas de equidad y sesgo en la IA tienen aspectos complejos que no pueden ser fácilmente definidos por las matemáticas.
La definición de equidad en los préstamos, por ejemplo, ha evolucionado con el tiempo y continuará haciéndolo. Los préstamos basados en intereses comenzaron hace miles de años en Mesopotamia, y la idea de equidad en los préstamos ciertamente ha cambiado desde entonces.
La equidad es también un concepto social. Muchas personas pueden sentir que algo es injusto, incluso si los datos muestran que es imparcial.
Necesitamos garantizar la equidad en todos los ámbitos, pero el problema de encontrar los mejores enfoques para gestionar el sesgo y la equidad varía según el contexto y la aplicación. Por ejemplo, el proceso para obtener una hipoteca sobre una casa es mucho más riguroso que el proceso para obtener un préstamo de automóvil porque le están prestando mucho más dinero para una casa que para un automóvil.
Necesitamos considerar los factores tecnológicos y humanos en la IA y tener un enfoque de equidad y sesgo que tenga definiciones realistas para diferentes contextos, como finanzas, atención médica o contratación. También necesitamos conjuntos de datos específicos de tareas para el desarrollo y la evaluación de modelos de aprendizaje automático.
AI decide si obtienes un préstamo. ¿Es justo?
Ya sea que se dé cuenta o no, la IA suele ser parte del proceso de determinar si alguien obtiene un préstamo u otras formas de crédito.
Como siguiente paso para el trabajo seminal iniciado en el informe del año pasado, continuamos desarrollando una infraestructura de orientación y prueba para gestionar el sesgo de IA en contexto, un contexto a la vez.
Estamos comenzando con un proyecto sobre suscripción de créditos al consumo en servicios financieros porque toca muchas vidas.
Ya sea que esté solicitando una tarjeta de crédito, una hipoteca o un préstamo para automóvil, casi todos han interactuado con el sistema de crédito. Puede que no te des cuenta, pero cuando solicitas crédito, la IA casi siempre es parte de ese proceso. Tenemos que asegurarnos de que estos sistemas sean justos. El sesgo en el sistema podría llevar a una tasa de interés injustamente alta o a que a alguien se le niegue el crédito por completo.
Los humanos tenemos numerosos sesgos cognitivos. Los estudios muestran que estos sesgos resultan en una toma de decisiones inconsistente, independientemente del nivel de experiencia o capacitación del personal.
Las máquinas tienden a ser más consistentes que los humanos, pero eso no las hace justas. Uno de los problemas con los sistemas de aprendizaje automático es que los entrenamos en datos históricos para tomar decisiones futuras. Bueno, esos datos históricos reflejan los sesgos sociales en ese momento, que nuestra investigación muestra que son muchos.
Si no tenemos cuidado de interrumpir esos sesgos, la IA replicará esos errores históricos. Necesitamos comprender completamente exactamente qué datos entran en la toma de decisiones de IA, para que podamos asegurarnos de ajustar los sesgos. Esta es una de las limitaciones del aprendizaje automático.
Personas + IA = ¿Más o menos sesgo?
Otro aspecto interesante, pero no bien entendido, de la toma de decisiones asistida por IA es cuando un humano es asistido por un sistema de IA para tomar decisiones de crédito.
Tanto la IA como las personas tienen sus propios prejuicios. ¿Cómo se desarrolla eso en la toma de decisiones? ¿Los sesgos se agravan entre sí? ¿Se cancelan entre sí? ¿Cómo abordamos ambos sesgos? Esto es algo que no se entiende bien, por lo que estamos planeando estudiarlo y responder algunas de estas preguntas.
En NIST, estamos trabajando con socios en las industrias financiera y tecnológica, desde pequeñas empresas y nuevas empresas hasta grandes bancos y empresas de tecnología. Estamos trabajando para ver qué podemos aprender de sus experiencias, sus datos y las herramientas que detectan y gestionan el sesgo.
Eliminar el sesgo en la IA es un problema difícil. Seguiremos estudiándolo.
Una vez que se complete nuestro estudio sobre el sesgo en la suscripción de crédito, asignaremos los hallazgos de nuestros informes a los principios de alto nivel establecidos en nuestro informe integral del año pasado. Esto garantizará la coherencia y la armonía entre los principios generales y las recomendaciones sectoriales. Continuaremos estudiando el sesgo en la IA y cómo podemos eliminarlo en otros sectores de la economía donde se utiliza la IA.
La IA seguirá siendo parte de la vida de todos en los próximos años, por lo que queremos asegurarnos de que funcione de manera justa.
Ciberseguridad y Tecnología de la Información
Apóstol Vassilev
Apostol Vassilev es supervisor del equipo de investigación en la División de Seguridad Informática del NIST. La agenda de investigación de su equipo cubre una variedad de temas en IA confiable y ciberseguridad. Vassilev trabaja…
NIST
