O Congresso Nacional manteve veto do presidente Jair Bolsonaro a dispositivo da LGPD que previa o direito a uma explicação humana para pessoas submetidas a decisões automatizadas.
Para entender o equívoco e o perigo da posição adotada, é preciso visitar, ainda que brevemente, (i) o conceito de decisão automatizada; (ii) a opacidade algorítmica; (iii) o conceito e a importância do direito a uma explicação humana.
Ocorre a decisão automatizada quando um sistema baseado em um algoritmo toma decisão sobre si, por meios tecnológicos e sem envolvimento humano direto. Para tanto, podem ser utilizados dados de perfis ou não. “A definição de perfis é efetuada quando os seus aspectos pessoais são avaliados para fazer previsões sobre si, mesmo que não seja tomada qualquer decisão”[1]. Exemplo do uso de perfis é o da empresa ou organização que avalia e categoriza características pessoais, tais como idade, o sexo, religião, altura etc.
Embora muitas vezes sequer nos damos conta, estamos sendo submetidos diariamente a inúmeras decisões automatizadas. Quando você digita um endereço no aplicativo do seu celular e ele te responde com o melhor caminho, ele tomou automaticamente uma decisão. O algoritmo trabalhou para lhe oferecer o trajeto mais interessante. Esse tipo de decisão não é preocupante, aliás, ajuda bastante.
O que preocupa são as decisões automatizadas com potencial de ofensa a direitos fundamentais. Muitos algoritmos já estão sendo criados carregando elementos que caracterizam racismo, homofobia, sexismo etc. Ainda que o programador (pessoa que criou o algoritmo) não tenha tido a intenção de que ele se comportasse de tal maneira, fato é que possivelmente algum traço sexista, por exemplo, foi transmitido a esse algoritmo e por isso ele se comporta assim.
O tema é complexo e o espaço não permite o aprofundamento necessário. Fizemos isso num livro que se encontra no prelo e logo será lançado. Fato é, contudo, que se nenhuma atitude for tomada reincidiremos em erros históricos. Não se pode permitir que a pretexto de inovar, progredir e lucrar sejam ressuscitados fantasmas que há muito se busca sepultar.
Para se ter uma ideia, um algoritmo pode decidir quem vai para a prisão: em ao menos dez estados americanos, juízes estão tomando decisões sobre quem irá para a prisão com base num sistema chamado COMPAS[2]. O programa faz diversas perguntas que avaliam a probabilidade de o sujeito voltar a cometer um crime. A avaliação se baseia num sistema de pontos, de um a dez. São respondidas perguntas, como se alguém na família foi preso, se a pessoa vive numa área com alto índice de criminalidade, se tem amigos que fazem parte de gangues, assim como o seu histórico profissional e escolar. Por último, são feitas perguntas sobre pensamentos criminosos, como, por exemplo, se a pessoa concorda ou não com a seguinte afirmação: “é aceitável que alguém que passa fome roube”[3].
O problema é que alguns algoritmos estão classificando pessoas negras como mais perigosas do que pessoas brancas levando em consideração apenas a cor da pele. Nos EUA isso ficou claro num caso envolvendo duas pessoas. De um lado, Vernon Prater, de 41 anos, que foi pego roubando uma loja de ferramentas, o que causou um prejuízo de U$ 86,35 à vítima. Trata-se de um meliante que já havia sido condenado por assalto à mão armada mais de uma vez, além de ostentar outras inúmeras contravenções penais na sua ficha criminal. De outro lado, Brisha Borden, de 18 anos, que atrasada para levar sua irmã à escola pegou uma scooter que pertencia a um menino de 6 anos. Flagrada, caiu da pequena moto e foi presa por assalto. O que eles têm em comum? Ambos foram classificados por um programa de computador que previa a probabilidade de cometerem novos crimes no futuro. Borden, que é negra, foi classificada como de alto risco e Prater, que é branco, como de baixo risco. Abaixo a imagem deles, que deixa claro que o algoritmo foi preconceituoso ao realizar a classificação[4]:
A ficha criminal de ambos:
Não tem justificativa a classificação feita pelo algoritmo senão pelo fato de que ele tratou o branco criminoso contumaz como menos perigoso do que a negra praticante de pequenos delitos. Como isso se deu? Não é possível saber. Porém, também não é possível concordar com uma situação como essa. Essa é chamada opacidade algorítmica.
O direito a uma explicação humana nasce justamente da necessidade de se garantir que um humano explique com base em quais informações determinada decisão automatizada foi tomada.
Ao vetar o dispositivo que previa o direito à uma explicação humana, o Congresso retira do cidadão o direito de conhecer os reais motivos pelos quais um algoritmo decidiu de uma forma ou de outra, o que lhe daria a chance de se defender de eventuais injustiças. Com a atual redação da LGPD, as decisões automatizadas poderão ser revistas por outro sistema igualmente automatizado.
Em outros países discute-se há anos a importância de garantir referido direito. No Brasil, a legislação sobre dados (que sequer entrou em vigor) já nasce ultrapassada e omissa.
Notas
[1] Comissão Europeia. Posso ser sujeito a decisões individuais automatizadas, incluindo a definição de perfis? Disponível em: https://ec.europa.eu/info/law/law-topic/data-protection/reform/rights-citizens/my-rights/can-i-be-subject-automated-individual-decision-making-including-profiling_pt.
[2] Sigla em inglês para Correctional Offender Management Profiling for Alternative Sanctions.
[3] MAYBIN, Simon. Sistema de algoritmo que determina pena de condenados cria polêmica nos EUA. Disponível em: https://www.bbc.com/portuguese/brasil-37677421.
[4] ANGWIN, Julia. LARSON, Jeff. MATTU, Surya. KIRCHNER, Lauren. Machine Bias. Disponível em: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing.
