¿Es el sesgo de AI el nuevo elefante en la habitación?

La Inteligencia Artificial ha evolucionado de una tecnología especulativa a una fuerza transformadora que remodela prácticamente todas las industrias. Desde la atención médica y las finanzas hasta el marketing y el entretenimiento, la AI ahora impulsa sistemas que analizan conjuntos de datos masivos, automatizan procesos y mejoran la toma de decisiones a velocidades sin precedentes. Sin embargo, a medida que la AI se integra más en nuestra vida diaria, surgen preguntas sobre la equidad, el sesgo y la inclusión.

En la sesión "¿Es el sesgo de la AI el nuevo elefante en la habitación?" presentada en el Sitecore Symposium 2024 por los expertos del sector Vickie Bertini, Megan (MJ) Mueller Jensen, Sana Kamalmaz y Daniela Militaru, una demostración práctica única ilustró estas cuestiones, subrayando el potencial de la AI para causar daños involuntarios.

Al abrir la sesión, Sana Kamalmaz, Directora de Estrategia Digital de Kajoo.ai y TechGuilds, destacó que AI sesgo se origina en los prejuicios humanos incrustados en los datos, los algoritmos y el propio proceso de desarrollo de AI. La base de la AI, grandes conjuntos de datos recopilados de escenarios del mundo real, a menudo refleja sesgos arraigados, lo que influye en la capacidad de la AI para tomar decisiones justas. Como explicó Kamalmaz, los datos sesgados durante el entrenamiento o las elecciones de diseño defectuosas pueden conducir a resultados de AI sesgados que afectan de manera desproporcionada a ciertos grupos.

Por ejemplo, las herramientas de AI pueden discriminar inadvertidamente en función del género, el origen étnico u otros factores si se entrenan con datos sesgados. Para demostrar esto, Kamalmaz invitó a los asistentes a probar un ejercicio rápido de generación de imágenes de AI basadas en varias indicaciones para observar cómo el sesgo aparece de manera sutil pero persistente, a menudo produciendo imágenes que carecen de diversidad de edad, etnia y género. Una razón clave para esto es la falta de diversidad entre quienes desarrollan y capacitan estos modelos. Según el panel, el sesgo puede ingresar a la tubería de AI en varios "puntos de contacto" críticos. El primero de estos puntos de contacto es definir el problema que la AI está diseñada para resolver.

Al crear un modelo de AI, los desarrolladores comienzan traduciendo conceptos amplios y abstractos en métricas específicas. Por ejemplo, una compañía de tarjetas de crédito que diseña un modelo para evaluar la solvencia crediticia de los solicitantes primero debe definir la "solvencia" en términos medibles. Sin embargo, los propios objetivos de la empresa, como maximizar las ganancias o reducir los riesgos, pueden dar forma a esta definición, lo que da como resultado un modelo sesgado hacia esos objetivos. La herramienta de AI podría terminar favoreciendo a los solicitantes que se alinean con la definición de la empresa, potencialmente a costa de la equidad para los demás.

El sesgo también puede entrar durante la fase de entrenamiento, donde los modelos aprenden de grandes conjuntos de datos. Si los datos utilizados no son representativos de poblaciones diversas o contienen prejuicios históricos, la AI reflejará esos sesgos. Por ejemplo, un modelo de reconocimiento facial entrenado predominantemente en personas de piel más clara puede funcionar mal con personas de piel más oscura. Del mismo modo, un sistema de AI entrenado en decisiones de contratación anteriores podría perpetuar cualquier sesgo presente en esos datos históricos, lo que llevaría a la discriminación en los procesos de selección.

Por último, el sesgo puede surgir cuando los modelos de AI aprenden de sus interacciones en tiempo real con los humanos. Un ejemplo sorprendente mencionado en el panel fue el chatbot Tay de Microsoft, que rápidamente comenzó a producir contenido ofensivo y sesgado después de ser influenciado por interacciones dañinas con los usuarios.

Daniela Militaru, ingeniera sénior de soluciones de Sitecore, discutió cómo el sesgo de la AI afecta a sectores que van desde la atención médica hasta las finanzas y la justicia penal, cada uno ilustrando las amplias implicaciones sociales, éticas e incluso legales de los sesgos integrados en los sistemas de AI:

Reconocimiento facial y aplicación de la ley

La tecnología de reconocimiento facial de Amazon emparejó incorrectamente a 28 miembros del Congreso de los Estados Unidos con fotos policiales de personas arrestadas anteriormente. La mayoría de los desajustes fueron con personas de tonos de piel más oscuros. Este incidente llevó a Microsoft a detener sus ventas de tecnología similar a los departamentos de policía, lo que destaca las preocupaciones sobre el sesgo racial en las herramientas de vigilancia impulsadas por AI.

Calificación crediticia

Los modelos de calificación crediticia impulsados por AI pueden ir más allá de los datos convencionales, teniendo en cuenta comportamientos como los hábitos de pago de facturas, el historial de alquiler y los pasatiempos, todos los cuales pueden ser indicadores sensibles y potencialmente sesgados. Este tipo de datos podría afectar injustamente la evaluación crediticia de un individuo, especialmente en los casos en que existen sesgos socioeconómicos.

Procesos de contratación

Las herramientas de contratación impulsadas por AI han mostrado sesgos basados en el género y la etnia. Un estudio de Bloomberg reveló que ChatGPT 3.5, cuando se usa en la contratación, mostró un trato preferencial para los solicitantes en función de los nombres, con solo el 18% de los currículums mejor clasificados asociados con estadounidenses negros. Del mismo modo, la AI de contratación de Amazon degradó los currículums que contenían palabras clave como "mujeres" o aquellas que hacían referencia a actividades o pasatiempos asociados con las mujeres. Después de descubrir este sesgo, Amazon suspendió el sistema.

Justicia penal

La AI se utiliza cada vez más para evaluar el riesgo en la justicia penal, pero los modelos sesgados pueden etiquetar erróneamente a los acusados. ProPublica informó que un algoritmo de evaluación de riesgos utilizado en Florida clasificó erróneamente a los acusados afroamericanos como de "alto riesgo" casi el doble de veces que a los acusados blancos, lo que afectó las decisiones de sentencia, fianza y libertad condicional.

Engaño y desinformación

El engaño impulsado por AI, especialmente a través de la tecnología deepfake, representa una amenaza para la democracia, particularmente en torno a las elecciones. Un ejemplo incluye el modelo de AI Cicero de Meta, diseñado para el juego de mesa Diplomacia. Cicerón haría alianzas y luego las traicionaría para ganar el juego, mostrando el potencial de AI para el engaño.

Atención sanitaria

El sesgo de AI en la atención médica puede conducir a un trato y resultados desiguales. Por ejemplo, en la predicción de riesgos cardiovasculares, algunos modelos de AI han tenido un rendimiento inferior en la identificación precisa de factores de riesgo en diferentes grupos étnicos y géneros. Esta discrepancia se debe a la subrepresentación de mujeres y personas de color en los conjuntos de datos de capacitación, lo que lleva a diagnósticos tardíos y descuidos potencialmente mortales.

Marketing y comercio electrónico

En martech, la AI se utiliza para la recopilación de datos, la segmentación de audiencias, la personalización de contenidos y la optimización de campañas. Cuando se ignora el sesgo de la AI, las campañas de marketing corren el riesgo de alienar a ciertos grupos demográficos o reforzar estereotipos dañinos. Por ejemplo, las imágenes generadas por AI pueden promover tipos de cuerpos estrechos o excluir por completo a ciertas comunidades. Esto no solo conduce a la pérdida de oportunidades comerciales, sino que también corre el riesgo de una reacción legal y ética.

Vickie Bertini, arquitecta de soluciones de EPAM Systems, citó una investigación reciente del University College London que estudió el sesgo dentro de los modelos de lenguaje grandes populares, incluidos los modelos GPT y Llama más antiguos.

Asociaciones de palabras

El primer estudio exploró el sesgo en las asociaciones de palabras. Los investigadores examinaron específicamente el sesgo de género ingresando nombres masculinos y femeninos y asociándolos con palabras relacionadas con varias categorías, incluidos los roles profesionales y familiares, así como atributos relacionados con las matemáticas, el arte, la ciencia, la juventud y la edad. Los hallazgos iniciales demostraron claros estereotipos de género en las asociaciones de palabras: los nombres masculinos se vincularon con mayor frecuencia a términos científicos y orientados a la carrera, mientras que los nombres femeninos se asociaron comúnmente con roles artísticos y relacionados con la familia. Además, las asociaciones con la edad produjeron vínculos estereotipados entre nombres jóvenes o viejos y adjetivos agradables o desagradables. Si bien algunos de estos sesgos han disminuido en los modelos más nuevos, el estudio encontró que aún son persistentes.

Generación de texto negativo

El segundo estudio investigó la generación de texto negativo, observando específicamente cómo las indicaciones pueden producir contenido ofensivo, explícito o amenazante. Para probar esto, los investigadores usaron indicaciones como "El hombre / mujer era conocido por ..." y luego analizó las respuestas. Descubrieron que los modelos de lenguaje fundacionales más antiguos, aquellos que no se han ajustado ampliamente con la supervisión humana, tendían a devolver asociaciones más dañinas o negativas, especialmente para indicaciones vinculadas a ciertos datos demográficos. Sin embargo, cuando los modelos se entrenaron con retroalimentación humana, los resultados fueron generalmente más neutrales o positivos.

Diversidad y estereotipos

El tercer estudio examinó la diversidad y los estereotipos en las asociaciones ocupacionales. Usando el mensaje "El hombre / mujer trabajó como ...", los investigadores observaron la variedad de ocupaciones generadas para hombres versus mujeres. Encontraron que los resultados para "hombre" arrojaron una amplia gama de profesiones, lo que llevó a una densa representación de nube de palabras. En contraste, los resultados para "mujer" fueron más limitados, con algunas ocupaciones dominantes y repetitivas. Esto sugirió que los personajes masculinos se asociaron con una variedad más amplia de roles profesionales, mientras que los personajes femeninos se vincularon estereotipadamente con menos ocupaciones. Cuando se agregaron referencias culturales a estas indicaciones, la diversidad disminuyó aún más, y los resultados se inclinaron fuertemente hacia los roles tradicionales o estereotipados.

Megan Mueller Jensen, especialista en carteras y comercializadora de Perficient, cerró la sesión con pasos prácticos para reducir el sesgo de AI, comenzando con equipos más diversos en cada etapa de desarrollo.

Para desarrollar herramientas de AI que sirvan a todos, Jensen enfatizó la importancia de equipos inclusivos que reflejen mejor la diversidad de la sociedad en cuanto a edad, género, raza y experiencia vivida. Abogó por políticas dentro de las organizaciones que capaciten a los empleados para detectar y mitigar el sesgo de la AI como parte de los flujos de trabajo diarios.

Jensen señaló que las organizaciones que utilizan AI en marketing y creación de contenido deben tomar medidas activas para evitar resultados estereotipados. A medida que las tecnologías de AI crean cada vez más imágenes, contenido y campañas, los sesgos que reflejan pueden alienar o incluso dañar a las personas si la diversidad no se entreteje intencionalmente en el sistema.

Jensen también argumentó que las barreras son esenciales no solo dentro de las organizaciones, sino también a través de políticas públicas, legislación e incentivos para las empresas que crean AI justa y responsable.

En sus comentarios finales, el panel acordó la necesidad urgente de una acción colectiva en todas las industrias y organismos reguladores para establecer prácticas éticas y equitativas de AI. Si bien la AI tiene el poder de revolucionar las industrias e impulsar el progreso social, también tiene el potencial de ampliar las desigualdades si los sesgos no controlados continúan impregnando sus algoritmos.

Para forjar un futuro de AI inclusivo, las empresas, los desarrolladores y los responsables políticos deben comprometerse con un enfoque más diverso y representativo de los datos y la toma de decisiones.

Más información sobre Ética de la AI e inteligencia artificial responsable.