OASI, a primeira ferramenta de busca a encontrar os algoritmos que governos e empresas usam com cidadãos

• Criado pela Eticas Foundation, o Observatório de Algoritmos com Impacto Social, OASI, coleta informações de dezenas de algoritmos usados ​​por Administrações Públicas e empresas em todo o mundo para aprender mais sobre seu impacto social.
  
• O objetivo é dar acesso público a informações sobre algoritmos de governos e empresas, e saber quem os utiliza, quem os desenvolve, quais são as ameaças que representam e se foram auditados, entre outras características.

• O enviesamento e a discriminação do algoritmo geralmente ocorrem com base na idade, sexo, raça ou deficiência, entre outros valores, mas devido à falta geral de transparência, ainda não é possível conhecer todas as suas consequências para os grupos afetados.

A Eticas Foundation, organização sem fins lucrativos que promove o uso responsável de algoritmos e sistemas de Inteligência Artificial (IA), criou o Observatório de Algoritmos com Impacto Social (OASI). Este Observatório apresenta um mecanismo de busca para saber mais sobre as ferramentas que tomam importantes decisões automatizadas sobre cidadãos, consumidores e usuários em todo o mundo.

Atualmente, tanto as empresas como as Administrações Públicas automatizam as decisões graças a algoritmos. Contudo, seu desenvolvimento e comissionamento não seguem controles de qualidade externos, nem são tão transparentes quanto deveriam ser, o que deixa a população desprotegida. Com este motor de busca, qualquer pessoa pode saber mais sobre estes algoritmos: quem os desenvolveu, quem os utiliza, o seu âmbito de aplicação, se foram auditados, os seus objetivos ou o seu impacto social e as ameaças que representam.

No momento, OASI coleta 57 algoritmos, mas espera chegar a 100 nos próximos meses. Dentre eles, 24 já estão sendo aplicados nos EUA pelo governo e empresas Big Tech. Por exemplo, ShotSpotter, uma ferramenta de algoritmo implantada pelo Departamento de Polícia de Oakland para combater e reduzir a violência armada por meio de microfones de monitoramento de som e um algoritmo para prever o potencial abuso infantil e negligência usado pelo Condado de Allegheny, Pensilvânia. Outro exemplo de uma empresa é o Rekognition, o sistema de reconhecimento facial da Amazon, que foi auditado pelo MIT Media Lab no início de 2019 e teve um desempenho substancialmente pior ao identificar o gênero de um indivíduo se ele fosse feminino ou tivesse pele mais escura.

A discriminação mais comum é com base na idade, sexo, raça ou deficiência, produzido involuntariamente por desenvolvedores que carecem de habilidades socioeconômicas para entender o impacto desta tecnologia. Nesse sentido, esses engenheiros projetam os algoritmos baseados apenas em habilidades técnicas, e como não há controles externos e parece estar funcionando como esperado, o algoritmo continua aprendendo com dados deficientes.

Dada a falta de transparência sobre o funcionamento de alguns desses algoritmos, a Eticas Foundation, além do lançamento do OASI, está desenvolvendo um projeto de auditorias externas. O primeiro é o VioGén, o algoritmo usado pelo Ministério do Interior espanhol para atribuir risco às mulheres que buscam proteção após sofrerem casos de violência doméstica. A Eticas conduzirá uma auditoria externa por meio de engenharia reversa e dados administrativos, entrevistas, relatórios ou scripts de projeto, para coletar resultados em escala. Tudo isso com o objetivo de detectar oportunidades de melhorias na proteção dessas mulheres.

“Apesar da existência de métodos de controle e auditoria algorítmicos para garantir que a tecnologia respeite os regulamentos atuais e os direitos fundamentais, a Administração e muitas empresas continuam a fazer ouvidos moucos aos pedidos de transparência dos cidadãos e instituições”, declarou Gemma Galdon, fundadora da Eticas Foundation . “Além do OASI, depois de vários anos em que desenvolvemos mais de uma dezena de auditorias para empresas como Alpha Telefónica, Nações Unidas, Koa Health ou o Banco Interamericano de Desenvolvimento, também publicamos um Guia de Auditoria Algorítmica. que qualquer um pode realizá-los. O objetivo é sempre conscientizar, dar transparência e restaurar a confiança na tecnologia, que por si só não precisa ser prejudicial ”.

Nesse sentido, algoritmos que são treinados com técnicas de aprendizado de máquina utilizam uma grande quantidade de dados históricos para "ensiná-los" a escolher com base em decisões passadas. Normalmente esses dados não são representativos da realidade socioeconômica e cultural em que são aplicados, mas em muitas ocasiões refletem uma situação injusta que não se pretende perpetuar. Dessa forma, o algoritmo estaria tecnicamente tomando decisões "corretas" de acordo com seu treinamento, embora a realidade seja que suas recomendações ou previsões sejam tendenciosas ou discriminatórias.

Anúncios

Sobre a Eticas Foundation

A Eticas Foundation trabalha para traduzir em especificações técnicas os princípios que norteiam a sociedade, como igualdade de oportunidades, transparência e não discriminação que estão nas tecnologias que tomam decisões automatizadas sobre nossas vidas. Busca um equilíbrio entre a mudança dos valores sociais, as possibilidades técnicas dos últimos avanços e o arcabouço legal. Para isso, audita algoritmos, verifica se as garantias legais são aplicadas ao mundo digital, em especial à Inteligência Artificial, e desenvolve um intenso trabalho de conscientização e difusão da necessidade de uma tecnologia responsável e de qualidade.

Compartilhe este artigo: