Notícias

Algoritmos que decidem sentenças, fianças, penas.

Ferramentas de análise de risco com algoritmos de inteligência artificial estão sendo usadas por tribunais nos Estados Unidos para definir penas, fianças, liberdade condicional. Mas não se sabe como esses algoritmos funcionam. O artigo abaixo, publicado na Wired, é sobre isso. Sobre como esses algoritmos “aprendem” de acordo com os dados fornecidos a eles e como podem, sem transparência nenhuma,começar a decidir vidas de acordo com essa programação. Se alguém programá-los para entender que muita gente de um endereço, com uma cor de pele, de determinado gênero ou idade é condenada, o computador pode começar a achar outras pessoas com essas características devem ser condenadas também.

Há um trecho da estrada entre das montanhas onde é um perigo ser conduzido por dados

Por Jason Tashea, na Wired*

Para ir de Springfield, Missouri, a Clarksville, Arkansas, aplicativos de navegação recomendam tomar a estrada Arkansas 43. Esta é a rota mais curta, mas o algoritmo do GPS não leva em conta fatores importantes para caminhões com carga pesada como a elevação de 396 metros ao longo de 6,4 quilômetros, com duas curvas fechadas. Nesta estrada raramente trafegavam veículos de 18 rodas mas nos últimos dois anos e meio o trânsito de caminhões aumentou bastante – e também os acidentes. Moradores que presenciaram o crescimento nos acidentes acham que é apenas uma questão de tempo até alguém se ferir gravemente ou acontecer algo pior.

Os caminhoneiros que conhecem a região sabem que a estrada 7 é mais segura. Mas o algoritmo que recomenda o caminho mais curto não sabe. O GPS considera apenas os fatores programados nele. Em última análise, seu algoritmo reproduz uma imagem incompleta ou distorcida da rota, o que pode fazer com que os motoristas desavisados percam o controle de seus veículos.

Hoje os algoritmos permeiam nossas vidas. São usados para recomendar músicas, para analisar pedidos de empréstimos e, agora, para alcular fianças e sentenças de condenação nos tribunais. Mas há pouca supervisão e transparência sobre como eles funcionam. E em nenhum lugar esta falta de supervisão é mais grave do que no sistema de justiça criminal. Sem salvaguardas adequadas, essas ferramentas correm o risco de prejudicar o Estado de Direito e de reduzir os direitos individuais.

Tribunais e juizados dos Estados Unidos usam algoritmos para determinar o “risco” de um réu, que varia da probabilidade de um indivíduo cometer outro crime à probabilidade de um réu comparecer ao tribunal quando intimado. Resultados de cálculos algorítmicos orientam decisões sobre fianças, sentenças e liberdade condicional. Cada ferramenta pretende tornar mais precisa a tomada de decisões humana, de forma a melhor alocar recursos finitos.

Os órgãos da administração pública, em geral, não escrevem seus próprios algoritmos; eles são comprados de empresas privadas. Isso significa que o algoritmo é proprietário, uma caixa preta, na qual somente seus donos, e em algum grau seus usuários, podem enxergar como o software toma suas decisões. Não há nenhuma lei federal que estabeleça padrões ou determine a inspeção dessas ferramentas, como a Food and Drug Administration (FDA, a Anvisa dos Estados Unidos) faz com novas drogas.

Esta falta de transparência tem consequências reais. No caso de Wisconsin v. Loomis, o réu Eric Loomis foi considerado culpado por sua participação em um tiroteio. Na tomada de depoimentos, as respostas de Loomis a uma série de perguntas foram colocadas em uma ferramenta de análise de risco chamada Compas, desenvolvida pelo Departamento de Correções de Wisconsin. O juiz o condenou a uma sentença longa, parcialmente por causa da pontuação de “alto risco” que Loomis recebeu da ferramenta-caixa-preta. O réu recorreu de sua sentença porque não lhe foi permitido acessar e avaliar ao algoritmo. No último verão a Corte Suprema do estado decidiu contra Loomis, argumentando que o conhecimento do resultado do algoritmo era um nível suficiente de transparência.

Ao manter o algoritmo em segredo, o caso Loomis permite que essas ferramentas sejam usadas sem nenhuma supervisão. Este é um precedente preocupante porque análises de risco estão evoluindo de algoritmos que são possíveis analisar, como o do Compas, para redes neurais opacas. A própria natureza das redes neurais, algoritmos de aprendizagem profunda pensados para agir como o cérebro humano, não permite que sejam transparentes. Em vez de ser explicitamente programada, uma rede neural cria conexões por ela mesma. Este processo de conexões está sempre mudando e isso cria o risco de limitar a possibilidade de um juiz tomar uma decisão completamente informada e a habilidade da defesa de defender seus clientes.

Considere um cenário no qual o advogado de defesa chama o desenvolvedor de uma ferramenta de avaliação de risco baseada em redes neurais para, no banco das testemunhas, questionar uma pontuação de “alto risco” que poderia afetar a sentença de seu cliente. O engenheiro poderia dizer ao tribunal como a rede neural foi projetada, quais informações foram inseridas e quais respostas foram criadas em um caso específico. No entanto, não poderia explicar o processo de tomada de decisão do software.

Com essas informações, ou com esta falta de informações, como um juiz pondera a validade de uma ferramenta de análise de risco sem entender seu processo de tomada de decisões? Como pode um tribunal de recursos saber se fatores socioeconômicos, um fator constitucionalmente duvidoso, determinaram o risco que um réu representa para a sociedade? Ao ler os argumentos do caso Loomis, vê-se que o tribunal não teve alternativa a não ser abrir mão de parte de sua responsabilidade e entregá-la a um processo obscuro de tomada de decisão.

Técnicas básicas de aprendizado por máquina já são usadas no sistema de justiça. O papel já existente da inteligência artificial em nossos tribunais cria dois caminhos potenciais para a justiça criminal e as comunidades legais: ou permitir cegamente o avanço da marcha da tecnologia ou estabelecer uma moratória para o uso de ferramentas de risco opacas pela Justiça, até que existam processos e procedimentos que permitam uma análise significativa dessas ferramentas.

A comunidade legal nunca discutiu com profundidade as implicações do uso de algoritmos de análise de risco. Agora, advogados e juízes precisam lidar com a falta de supervisão e impacto dessas ferramentas, depois que seu uso já se proliferou.

Decidir uma pausa, fazer uma moratória preventiva, permitiria que os tribunais criassem regras para governar como as avaliações de risco que usam inteligência artificial deveriam ser examinadas durante o julgamento. Ele dará aos formuladores de políticas a janela para criar padrões e um mecanismo de supervisão. Finalmente, permitirá que as organizações educacionais e de defesa do tempo ensinem aos advogados como lidar com essas novas ferramentas no tribunal. Estas medidas podem reforçar o Estado de direito e proteger os direitos individuais.

Realizar uma pausa e criar uma moratória preventiva permitiria que os tribunais criassem regras para determinar como as avaliações de risco por inteligência artificial devem ser examinadas durante um julgamento. Esta pausa dará aos formuladores de políticas uma janela para criar padrões e um mecanismo de supervisão. Finalmente, permitirá que as organizações educacionais e de defesa do tempo ensinem aos advogados como lidar com essas novas ferramentas no tribunal. Estas medidas podem reforçar o Estado de direito e proteger os direitos individuais.

Ecoando a primeira lei de tecnologia de Kranzberg, estes algoritmos não são bons nem maus, mas não são certamente neutros. Aceitar inteligência artificial em nossos tribunais sem um plano é submeter-se às máquinas de uma forma que deve gerar incômodo a qualquer advogado.

Ao contrário dos caminhoneiros em Arkansas, sabemos o que há depois da curva. Não podemos deixar que os algoritmos não controlados conduzam cegamente o sistema de justiça criminal para um penhasco.

* Jason Tashea (@justicecodes) é escritor e tecnólogo, vive em Baltimore, e fundou o Justice Codes, uma consultoria de justiça criminal e tecnologia

 

Artigo AnteriorPróximo Artigo

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

sete − 2 =

Creative Commons