Será que AI preconceito é o novo elefante na sala?

A Inteligência Artificial evoluiu de uma tecnologia especulativa para uma força transformadora que remodela praticamente todas as indústrias. De saúde e finanças a marketing e entretenimento, AI agora alimenta sistemas que analisam conjuntos de dados massivos, automatizam processos e aprimoram a tomada de decisões em velocidades sem precedentes. No entanto, à medida que AI se torna mais incorporado em nossas vidas diárias, questões sobre justiça, preconceito e inclusão estão surgindo.

Na sessão "Is AI Bias the New Elephant in the Room?" apresentada no Sitecore Symposium 2024 pelas especialistas da indústria Vickie Bertini, Megan (MJ) Mueller Jensen, Sana Kamalmaz e Daniela Militaru, uma demonstração prática única ilustrou essas questões, ressaltando o potencial da AI para danos inadvertidos.

Na abertura da sessão, Sana Kamalmaz, Diretora de Estratégia Digital da Kajoo.ai e TechGuilds, destacou que AI viés tem origem em preconceitos humanos embutidos em dados, algoritmos e no próprio processo de desenvolvimento AI. A base da AI — grandes conjuntos de dados coletados de cenários do mundo real — muitas vezes reflete preconceitos enraizados, influenciando a capacidade da AI de tomar decisões justas. Como Kamalmaz explicou, dados tendenciosos durante o treinamento ou escolhas de design incorretas podem levar a saídas de AI distorcidas que afetam desproporcionalmente certos grupos.

Por exemplo, AI ferramentas podem discriminar inadvertidamente com base no sexo, etnia ou outros fatores se treinadas em dados tendenciosos. Demonstrando isso, Kamalmaz convidou os participantes a experimentar um exercício rápido de geração de imagens AI baseadas em vários prompts para observar como o preconceito aparece sutilmente, mas persistentemente, muitas vezes produzindo imagens que carecem de diversidade de idade, etnia e gênero. Uma das principais razões para isso é a falta de diversidade entre aqueles que desenvolvem e treinam esses modelos. De acordo com o painel, o viés pode entrar no pipeline de AI em vários "pontos de contato" críticos. O primeiro desses pontos de contato está na definição do problema que o AI foi projetado para resolver.

Ao criar um modelo AI, os desenvolvedores começam traduzindo conceitos amplos e abstratos em métricas específicas. Por exemplo, uma empresa de cartões de crédito que conceba um modelo para avaliar a solvabilidade dos candidatos deve, em primeiro lugar, definir a «solvabilidade» em termos mensuráveis. No entanto, os próprios objetivos da empresa – como maximizar os lucros ou reduzir os riscos – podem moldar essa definição, resultando em um modelo tendencioso para essas metas. A AI ferramenta pode acabar favorecendo candidatos que se alinham com a definição da empresa, potencialmente à custa da equidade para os outros.

O viés também pode entrar durante a fase de treinamento, onde os modelos aprendem com grandes conjuntos de dados. Se os dados usados não forem representativos de diversas populações ou contiverem preconceitos históricos, a AI espelhará esses vieses. Por exemplo, um modelo de reconhecimento facial treinado predominantemente em indivíduos de pele mais clara pode ter um desempenho ruim com indivíduos de pele mais escura. Da mesma forma, um sistema de AI treinado em decisões de contratação passadas poderia perpetuar quaisquer vieses presentes nesses dados históricos, levando à discriminação nos processos de seleção.

Por fim, o viés pode surgir quando AI modelos aprendem com suas interações em tempo real com humanos. Um exemplo marcante mencionado no painel foi o chatbot Tay, da Microsoft, que rapidamente começou a produzir conteúdo ofensivo e tendencioso depois de ser influenciado por interações prejudiciais com os usuários.

Daniela Militaru, Engenheira de Soluções Sênior da Sitecore, discutiu como o viés AI afeta setores que vão da saúde às finanças e à justiça criminal, cada um ilustrando as extensas implicações sociais, éticas e até legais dos preconceitos embutidos em sistemas AI:

Reconhecimento facial e aplicação da lei

A tecnologia de reconhecimento facial da Amazon combinou incorretamente 28 membros do Congresso dos EUA com imagens de indivíduos presos anteriormente. A maioria dos desencontros foi com pessoas de tons de pele mais escuros. Este incidente levou a Microsoft a interromper suas vendas de tecnologia semelhante para departamentos de polícia, destacando preocupações sobre preconceito racial em ferramentas de vigilância impulsionadas por AI.

Pontuação de crédito

Os modelos de pontuação de crédito orientados por AI podem ir além dos dados convencionais, considerando comportamentos como hábitos de pagamento de contas, histórico de aluguéis e hobbies, que podem ser indicadores sensíveis e potencialmente tendenciosos. Este tipo de dados pode afetar injustamente a avaliação de crédito de um indivíduo, especialmente nos casos em que estão presentes enviesamentos socioeconómicos.

Processos de contratação

AI ferramentas de contratação orientadas por têm apresentado preconceitos com base no género e na etnia. Um estudo da Bloomberg revelou que o ChatGPT 3.5, quando usado na contratação, mostrou tratamento preferencial para candidatos com base em nomes, com apenas 18% dos currículos mais bem classificados associados a americanos negros. Da mesma forma, a contratação da Amazon AI rebaixou currículos contendo palavras-chave como "mulheres" ou aquelas que fazem referência a atividades ou hobbies associados a mulheres. Depois de descobrir esse viés, a Amazon descontinuou o sistema.

Justiça penal

AI é cada vez mais utilizado para avaliar o risco na justiça penal, mas modelos tendenciosos podem rotular erroneamente os arguidos. A ProPublica relatou que um algoritmo de avaliação de risco usado na Flórida classificou erroneamente réus afro-americanos como "de alto risco" quase duas vezes mais do que réus brancos, afetando as decisões de sentença, fiança e liberdade condicional.

Engano e desinformação

AI engano impulsionado por , especialmente através da tecnologia deepfake, representa ameaças à democracia, particularmente em torno das eleições. Um exemplo inclui o modelo AI da Meta, Cicero, projetado para o jogo de tabuleiro Diplomacy. Cícero faria alianças e depois as trairia para ganhar o jogo, mostrando o potencial de engano de AI.

Cuidados de saúde

AI enviesamento nos cuidados de saúde pode conduzir a um tratamento e a resultados desiguais. Por exemplo, na previsão de riscos cardiovasculares, alguns modelos de AI tiveram um desempenho insuficiente na identificação precisa de fatores de risco em diferentes grupos étnicos e gêneros. Essa discrepância decorre da sub-representação de mulheres e pessoas negras em conjuntos de dados de treinamento, levando a diagnósticos tardios e descuidos potencialmente fatais.

Marketing e ecommerce

Na martech, AI é usado para coleta de dados, segmentação de público, personalização de conteúdo e otimização de campanhas. Quando AI preconceito é ignorado, as campanhas de marketing correm o risco de alienar certos grupos demográficos ou reforçar estereótipos prejudiciais. Por exemplo, as imagens geradas por AI podem promover tipos de corpo estreitos ou excluir completamente certas comunidades. Isso não só leva à perda de oportunidades de negócios, mas também corre o risco de retrocesso jurídico e ético.

Vickie Bertini, Arquiteta de Soluções da EPAM Systems, citou uma pesquisa recente da University College London que estudou o viés dentro de modelos populares de linguagem grande, incluindo modelos GPT e Llama mais antigos.

Associações de palavras

O primeiro estudo explorou o viés nas associações de palavras. Os pesquisadores examinaram especificamente o preconceito de gênero, inserindo nomes masculinos e femininos e associando-os a palavras relacionadas a várias categorias, incluindo carreira e papéis familiares, bem como atributos ligados à matemática, arte, ciências, juventude e idade. As descobertas iniciais demonstraram estereótipos de género claros nas associações de palavras – os nomes masculinos estavam mais frequentemente ligados a termos científicos e orientados para a carreira, enquanto os nomes femininos eram comumente associados a papéis relacionados com a família e artísticos. Além disso, as associações com a idade produziram ligações estereotipadas entre nomes jovens ou velhos e adjetivos agradáveis ou desagradáveis. Embora alguns desses vieses tenham diminuído em modelos mais recentes, o estudo descobriu que eles ainda são persistentes.

Geração de texto negativo

O segundo estudo investigou a geração de texto negativo, observando especificamente como os prompts podem produzir conteúdo ofensivo, explícito ou ameaçador. Para testar isso, os pesquisadores usaram prompts como "O homem/mulher era conhecido por..." e, em seguida, analisou as respostas. Eles descobriram que modelos de linguagem fundamentais mais antigos – aqueles que não foram extensivamente ajustados com a supervisão humana – tendiam a retornar associações mais prejudiciais ou negativas, especialmente para solicitações ligadas a certos dados demográficos. No entanto, quando os modelos foram treinados com feedback humano, os resultados foram geralmente mais neutros ou positivos.

Diversidade e estereótipos

O terceiro estudo examinou a diversidade e os estereótipos nas associações profissionais. Usando o prompt "O homem/mulher trabalhou como um...", os pesquisadores observaram a variedade de ocupações geradas para homens versus mulheres. Eles descobriram que os resultados para o "homem" produziram uma variedade diversificada de profissões, levando a uma densa representação da nuvem de palavras. Em contraste, os resultados para "mulher" foram mais limitados, com algumas ocupações dominantes e repetitivas. Isso sugeriu que os personagens masculinos estavam associados a uma maior variedade de papéis profissionais, enquanto os personagens femininos estavam estereotipados ligados a menos ocupações. Quando referências culturais foram adicionadas a esses prompts, a diversidade diminuiu ainda mais, com os resultados pendendo fortemente para papéis tradicionais ou estereotipados.

Megan Mueller Jensen, Especialista em Portfólio e Marketer da Perficient, encerrou a sessão com passos práticos para reduzir AI viés, começando com equipes mais diversificadas em cada estágio de desenvolvimento.

Para desenvolver ferramentas AI que sirvam a todos, Jensen enfatizou a importância de equipes inclusivas que reflitam melhor a diversidade da sociedade em termos de idade, gênero, raça e experiência vivida. Ela defendeu políticas dentro das organizações que treinem os funcionários para detetar e mitigar AI preconceito como parte dos fluxos de trabalho diários.

Jensen observou que as organizações que usam AI em marketing e criação de conteúdo devem tomar medidas ativas para evitar saídas estereotipadas. À medida que as tecnologias AI criam cada vez mais imagens, conteúdos e campanhas, os preconceitos que refletem podem alienar ou mesmo prejudicar os indivíduos se a diversidade não for intencionalmente tecida no sistema.

Jensen também argumentou que os guardrails são essenciais não apenas dentro das organizações, mas também por meio de políticas públicas, legislação e incentivos para que as empresas criem AI justas e responsáveis.

Nas suas observações finais, o painel concordou com a necessidade urgente de uma ação coletiva entre indústrias e organismos reguladores para estabelecer práticas AI éticas e equitativas. Embora AI tenha o poder de revolucionar as indústrias e impulsionar o progresso social, também tem o potencial de ampliar as desigualdades se vieses descontrolados continuarem a permear seus algoritmos.

Para forjar um futuro AI inclusivo, as empresas, os desenvolvedores e os formuladores de políticas devem se comprometer com uma abordagem mais diversificada e representativa dos dados e da tomada de decisões.

Saiba mais sobre AI ética e inteligência artificial responsável.