Por José Carlos Cavalcanti*
Vivemos tempos intensivos em tecnologia! Ora tratamos de IA – Inteligência Artificial (Aprendizado de Máquina e Aprendizado Profundo) e de Robótica, ora discutimos sobre Analítica de Big Data, Internet das Coisas, Realidades Virtual, Aumentada e Mista, e por aí vai. E à medida que vamos sendo “colonizados” por tais tecnologias, surgem tanto as análises de impactos (econômicos, sociais, políticos e ambientais) dos artefatos, ferramentas, serviços e modelos de negócios delas decorrentes, quanto, simultaneamente, começamos a estabelecer juízos de valor sobre o que consideramos ser positivo ou negativo nas mudanças em curso.
Logo na introdução ao seu livro, intitulado “The Equality Machine” (A Máquina de Igualdade), publicado em outubro de 2022, Orly Lobel faz a seguinte observação:
“Eu tenho três meninas; a do meio é biônica. Quando ela tinha treze anos, Elinor foi diagnosticada com diabetes tipo 1. Hoje ela veste a primeira já existente bomba de insulina inteligente. A bomba é uma máquina inteligente porque ela toma decisões autônomas e aprende e melhora baseada em informações que recebe de um sensor de glicose também conectado ao seu corpo. Estes dispositivos digitais vestíveis – a bomba e o sensor – se comunicam um com outro e ajudam a manter Elinor saudável. Ela, sua irmã mais velha Danielle, sua enfermeira da escola, meu marido, e eu, todos temos um aplicativo em nossos smartphones que rastreiam os sinais digitais dos níveis de açúcar no sangue de Elinor em tempo real. … Tecnologia pode ser salvadora de vidas; ela pode nos ajudar a sermos mais saudáveis, seguros, e mais iguais”.
Este pode ser considerado o lado “bom” do uso dos sistemas de tomada de decisão automatizados. Mas ao lado disso, a tecnologia também representa perigo. Tecnologias como IA, automação, big data, podem replicar e exacerbar injustiças existentes. Os exemplos de fracassos de tecnologia são numerosos. Da triagem de candidatos a empregos à decisão de quem será liberado sob fiança, decisões automatizadas têm frequentemente causado prejuízos, espelhando tomadas de decisão preconceituosas da sociedade. Projetos de robótica frequentemente refletem valores culturais específicos e normas de gênero. Big Tech Companies -BTCs (grandes empresas de tecnologia) controlam dados e os usam de formas que são opacas e impactantes em nossos comportamentos.
Em relatório recente (novembro de 2022) desenvolvido pelo Electronic Privacy Information Center (EPIC) baseado nos EUA, intitulado “Screened & Scored in the District of Columbia” (Rastreado e Pontuado no Distrito de Columbia), são apresentadas evidências sobre o uso de ADM – Automated Decision Making – Systems (Sistemas de Tomada de Decisão Automatizados). Segundo o relatório, muitas das mais proeminentes empresas já fazem uso de ADM Systems tanto para quanto sobre nós: Netflix recomenda shows, bancos fazem empréstimos e investimentos, Google oferta resultados de buscas, Facebook (hoje Meta) sugere grupos para nos juntarmos e amigos para nos conectarmos, Amazon recomenda produtos, e a lista vai longe.
Ainda segundo o relatório, os governos estão também entrando neste jogo. O governo do Distrito de Columbia, como muitos outros, tem terceirizado decisões governamentais críticas para empresas de sistemas de tomada de decisão automatizados. Como resultado, os residentes do Distrito são “surveilled, screened and scored” (vigiados, rastreados e pontuados) todos os dias. Mas, por conta de leis governamentais pouco transparentes, processos de contratação opacos, declínio do jornalismo local, e poder dos vendedores de tecnologia, e outros fatores, tem sido difícil descobrir os detalhes de como os ADM Systems estão sendo usados por programas governamentais. Logo, o relatório teve como objetivo trazer luzes ao oferecer uma visão tão compreensível quanto possível dos muitos sistemas ADM que conformam as vidas dos residentes do Distrito.
E logo no início do relatório é apresentado um caso revelador. Em 2011, Juan Hernandez (nome fictício para um residente) perdeu sua acomodação quando uma empresa de hipoteca imobiliária faliu e fechou, e com ela, o negócio da casa dos seus pais. Esses pais foram para um centro de abrigo para os sem-teto, e aprenderam que mais de 600 famílias estavam na frente deles na lista de espera de emergência para acomodações no Distrito. A família teve que se separar. O pai de Juan achou um lugar em um programa de habitação temporário bilingue. Sua mãe encontrou abrigo em um centro para mulheres. Juan, com 17 anos, queria terminar o último ano da escola, então ficou morando na casa de amigos no ano final da escola de 2011-12.
Apesar do stress, Juan graduou com honra. Postergou o plano de ir para o ensino superior para pegar um trabalho num bar/restaurante local. Alugou um apartamento para viver com a namorada, e poupou um dinheiro para alugar um apartamento maior e trazer seus pais e irmãos. Como a economia não se recuperou como esperado, ele foi demitido. Com o stress do desemprego, seu relacionamento acabou. Seu bairro rapidamente se gentrificou, e ele teve que procurar habitação em lugares mais afastados.
Como seu “salário-desemprego” não dava para pagar aluguel adequado, passou a morar em seu carro. O Distrito de Juan havia lançado um novo sistema para ajudar pessoas desabrigadas a encontrarem habitações apropriadas. Para participar do sistema (chamado Coordinated Assesment and Housing Placement – CAHP system), Juan se submeteu a uma extensa avaliação de outro sistema chamado “Vulnerability Index and Service Prioritization Decision Assistance Tool (VI-SPDAT)”. Uma das questões da avaliação era a seguinte: “Você faz coisas que podem ser consideradas arriscadas, como trocar sexo por dinheiro, conduzir drogas para alguém, ter sexo não protegido com alguém que não conheça, compartilhar uma agulha, ou qualquer coisa como estas?”. Ele estava desesperado. Trincou os dentes, e torceu para que a agência dos serviços para desabrigados não compartilhasse seus dados com a polícia, e respondeu o questionário o mais honestamente que ele pode.
Porque ele havia batalhado com habitação insegura durante anos, Juan foi “categorizado” pelos sistemas como “sem-teto crônico”. Mas isso não era suficiente para o sistema categorizá-lo como especialmente “vulnerável”. Como ele era jovem, ele não foi priorizado para habitação de “suporte permanente”, mas recebeu oferta de financeira para ajudar no aluguel de algum imóvel. Ele saiu à procura e finalmente encontrou algo apropriado. Dias depois, ele teve notícia devastadora: o proprietário do imóvel o chamou para informar que sua aplicação fora negada baseado num relatório de triagem de inquilinos, o qual mostrou que ela tinha um registro criminal por posse de droga, e um grave assalto no Texas. Ele ficou chocado, uma vez que nunca havia saído do seu Distrito.
Ao questionar sobre tal fato, Juan soube que a informação veio de uma empresa chamada RentGrow, que compra dados sobre registros criminais, evasões, relatórios de crédito, renda, e outros fatores e produz um ranking de risco de inquilinos para prospectivos proprietários de imóveis. Juan envidou esforços para esclarecer o fato e descobriu que na realidade a empresa havia registrado um homônimo seu. Depois de resolver este caso, Juan tentou nova moradia, mas aprendeu que os outros proprietários tinham o mesmo registro deste primeiro caso. Após providenciar, com sucesso, a “limpeza” do seu nome no banco de dados daquela empresa, Juan tentou alugar novamente, mas foi mais uma vez penalizado por outro crime do seu homônimo.
Em resumo, precisamos ficar atentos aos maus usos dos sistemas de tomada de decisão automatizados. Mas não podemos generalizar, uma vez que existem aqueles sistemas que salvam vidas e contribuem fortemente para uma sociedade mais justa!
José Carlos Cavalcanti é professor de Economia na UFPE.
