Segregação racial e vieses algorítmicos: máquinas racistas no âmbito do controle penal

Airto Chaves Junior, Bárbara Guasque, Thiago Santos Aguiar de Padua

Resumo


A pesquisa tem por objetivo verificar se o emprego de Sistemas de Inteligência Artificial poderia abrandar a altíssima carga de seletividade do Controle Penal, notadamente aquelas fundadas no racismo e na discriminação. Para tanto, num primeiro momento, o texto trata da seletividade do poder punitivo como característica estrutural. Na sequência, da atenção aos dados que são utilizados na construção de modelos de IA. Depois disso, elenca possíveis soluções para reduzir a incidência de algoritmos enviesados e mitigar a reprodução do racismo a partir do emprego da máquina. Por fim, propõe-se identificar algumas externalidades negativas oriundas da não observância de determinados padrões éticos em modelos de IA. Justifica-se a pesquisa em face da necessidade de se conhecer os perversos reflexos que algoritmos enviesados podem produzir nos segmentos de Controle Penal, catalisando preconceitos e segregando setores sociais eleitos pela cor da pele. Quanto ao método de pesquisa, revela-se o indutivo, subsidiado pela pesquisa bibliográfica e números oficiais extraídos de bases oficiais.


Palavras-chave


Racismo; Controle Penal; Inteligência Artificial; Vieses Algorítmicos; Justiça Criminal

Texto completo:

PDF

Referências


ACLU ORG. Amazon’s Face Recognition Falsely Matched 28 Members of Congress. Disponível em: https://www.aclu.org/blog/privacy-technology/surveillance-technologies/amazons-face-recognition-falsely-matched-28. Acesso em: 15 dez. 2020.

AI NOW INSTITUTE. AI Now Report 2018. Disponível em: https://ainowinstitute.org/. Acesso em: 16 dez. 2020.

ANDREADE, Vera Regina Pereira de. A ilusão de segurança jurídica: do controle da violência a violência do controle penal. 2ª ed. Porto Alegre: Livraria do Advogado, 2003.

Anuário Brasileiro de Segurança Pública. Fórum Brasileiro de Segurança Pública. Ano 14.2020. Disponível em: https://forumseguranca.org.br/wp-content/uploads/2020/10/anuario-14-2020-v1-final.pdf. Acesso em: 13 março 2022.

BARATTA, Alessandro. Criminologia crítica e crítica do direito penal: introdução à sociologia do direito penal. Tradução de Juarez Cirino dos Santos. 3. ed. Rio de Janeiro: Revan, 2002.

BATISTA, Nilo. A violência do Estado e os aparelhos policiais. Discursos Sediciosos. Crime, direito e sociedade. Volume 2. 4. Ed. Rio de Janeiro, 1997.

BRASIL. Anteprojeto de Lei de Proteção de Dados. Disponível em: https://www2.camara.leg.br. Acesso em: 20 dez. 2020.

BROWN, Wendy. Undoing the Demos: Neoliberalism’s Stealth Revolution. New York: Zone Books, 2015.

CHAVES JUNIOR, Airto. Além das Grades: a paralaxe da violência nas prisões brasileiras. Florianópolis: Tirant lo Blanch, 2018.

CHAVES JUNIOR, Airto; OLDONI, Fabiano. Para que(m) serve o Direito Penal? Uma análise criminológica dos segmentos de controle social. Rio de Janeiro: Lumen Juris, 2014.

Conselho Nacional de Justiça. Relatório Justiça em números 2020: Ano-base 2019. Brasília: CNJ, 2020. Disponível em: https://www.cnj.jus.br. Acesso em: 06 nov. 2020.

DANZIGER, Shai; LEVAV, Jonathan; AVNAIM-PESSO, Liora. Extraneous factors in judicial decisions. PNAS, vol. 108, n. 17, 2011.

FENOLL, Jordi Nieva. Inteligencia Artificial y Proceso Judicial. Madri: Marcial Pons, 2018.

FGV – Centro de Inovação, Administração e Pesquisa do Judiciário. In: Inteligência Artificial: Tecnologia aplicada à gestão dos conflitos no âmbito do Poder Judiciário Brasileiro. Disponível em: https://ciapj.fgv.br/sites/ciapj.fgv.br/files/estudos_e_pesquisas_ia_1afase.pdf. Acesso em: 15.out.2020.

FOUCAULT, Michel. Genealogia del Racismo. Traducción de Alfredo Tzveibel. Colección Caronte Ensayos. Buenos Aires: Editorial Altamira, 1993.

FREITAS, Cinthia Obladen de A. A obscuridade dos algoritmos e a LGPD. O Estado de São Paulo, 4.ago.2020. Disponível em: https://politica.estadao.com.br/blogs/fausto-macedo/a-obscuridade-dos-algoritmos-e-a-lgpd/. Acesso em: 10 dez. 2020.

GARRETT, Brandon L. Convicting the Innocent: where criminal prosecutions Go Wrong. Cambridge, Massachusetts / London, England. Harvard University Press, 2011.

KILOMBA, Grada. Memórias da Plantação: episódios de racismo cotidiano. Tradução de Jess Oliveira. Rio de Janeiro: Editora Cobogó, 2019.

KIRCHHEIMER, Otto. Political Justice: the use of legal procedure for political ends. Princeton, New Jersey: Princeton University Press, 1961.

LUM, Kristian; ISAAC, William. To predict and serve? Significance Magazine, oct, 2016. Disponível em: https://rss.onlinelibrary.wiley.com/doi/epdf/10.1111/j.1740-9713.2016.00960.x. Acesso em: 15 jun. 2021.

MATIDA, Janaína; CECCONELLO, Willian. O que há de errado no reconhecimento fotográfico de Michael B. Jordan? Consultor Jurídico (CONJUR). 08 de janeiro de 2022.

Mbembe, Achille. Necropolítica. São Paulo: N-1 Edições, 2018.

METROPOLES. Sistema de reconhecimento facial nas ruas é regulamentado no DF. Disponível em: https://www.metropoles.com/distrito-federal/sistema-de-reconhecimento-facial-nas-ruas-e-regulamentado-no-df. Acesso em: 17 dez. 2020.

MOTHERBOARD. Amazon’s Home Security Company Is Turning Everyone Into Cops. Disponível em: https://www.vice.com/en/article/qvyvzd/amazons-home-security-company-is-turning-everyone-into-cops. Acesso em: 21 set. 2023.

NAVARRO, Susana Navas. Derecho e Inteligencia Artificial desde el Diseño. In: NAVARRO, Susana Navas, et al. Inteligencia Artificial: Tecnología, Derecho. Valencia: Tirant Lo Blanch, 2017.

NIST. NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software. Disponível em: https://www.nist.gov/news-events/news/2019/12/nist-study-evaluates-effects-race-age-sex-face-recognition-software. Acesso em: 15 dez. 2020.

NUNES, Dierle. A supervisão humana das decisões de inteligência artificial reduz os riscos? Consultor Jurídico. Disponível em: https://www.conjur.com.br/2021-jun-25/nunes-supervisao-humana-decisoes-ia-reduz-riscos. Acesso em: 26 jun. 2021.

NUNES, Pablo. O Algoritmo e o Racismo nosso de cada dia. Revista Piauí. Disponível em: https://piaui.folha.uol.com.br/o-algoritmo-e-racismo-nosso-de-cada-dia/. Acesso em: 02 jan. 2021.

O´NEIL. Cathy. Algoritmos de Destruição em Massa: como o Big Data aumenta a desigualdade e ameaça a democracia; tradução Rafael Abraham. 1. ed. Santo André, São Paulo: Editora Rua do Sabão, 2020.

O´NEIL. Cathy. Amazon’s Gender-Biased Algorithm Is Not Alone. Bloomberg. Disponível em: https://www.bloomberg.com/opinion/articles/2018-10-16/amazon-s-gender-biased-algorithm-is-not-alone. Acesso em: 10 set. 2021.

OCARIZ, Maria Cristina (Org.). Psicanálise e Violência Social. São Paulo: Editora Escuta, 2018.

PICCOLI, Ademir Milton. Judiciário Exponencial: sete premissas para acelerar a inovação e o processo de transformação do ecossistema da justiça. São Paulo: Vidaria Livros, 2018.

PROPUBLICA. How we analyzed the compas recidivism algorithm. 23. Mai. 2016. Disponível em: https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm. Acesso em: 20 out. 2020.

REDE DE OBSERVATÓRIOS DA SEGURANÇA. Retratos da Violência. Cinco meses de monitoramento, análises e descobertas. Disponível em: http://observatorioseguranca.com.br/wp-content/uploads/2019/11/1relatoriorede.pdf. Acesso em: 15 dez. 2020.

REUTERS. Amazon scraps secret AI recruiting tool that showed bias. Disponível em: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G. Acesso em: 10 dez. 2020.

RODRÍGUEZ, Pablo. Inteligencia Artificial. Como cambiará el mundo (y tu vida). Trad. Jorge Rizzo. Barcelona: Ediciones Deusto, 2018.

ROSA, Alexandre; GUASQUE, Bárbara. O avanço da Disrupção nos Tribuanais Brasileiros. In: NUNES, Dierle; LUCON, Paulo Henrique; WOLKART, Erik Navarro (org.). Inteligência Artificial e Direito Processual: os impactos da virada tecnológica no Direito Procesual. 2ªed. rev. atual. e ampl. Salvador: JusPODVIM, 2021.

SADOWSKI, Jathan. Too Smart: How Digital Capitalism is Extracting Data, Controlling Our Lives. Massachusetts: The MIT Press, 2020.

THE GUARDIAN. Amazon to ban police use of facial recognition software for a year. Disponível em: https://www.theguardian.com/technology/2020/jun/10/amazon-rekognition-software-police-black-lives-matter. Acesso em: 14 dez. 2020.

THE GUARDIAN. Disastrous’ lack of diversity in AI industry perpetuates bias, study finds. Disponível em: https://www.theguardian.com/technology/2019/apr/16/artificial-intelligence-lack-diversity-new-york-university-study. Acesso em: 15 dez. 2020.

THE GUARDIAN. How white engineers built racist code – and why it’s dangerous for black people. Disponível em: https://www.theguardian.com/technology/2017/dec/04/racist-facial-recognition-white-coders-black-people-police. Acesso em: 17 dez. 2020.

THE GUARDIAN. Rise of the racist robots – how AI is learning all our worst impulses. Disponível em: https://www.theguardian.com/inequality/2017/aug/08/rise-of-the-racist-robots-how-ai-is-learning-all-our-worst-impulses. Acesso em: 15 dez. 2020.

THE INTERCEPT. Amazon´s Ring Planned Neighborhood Watch lists built on fácil recognition. Disponível em: https://theintercept.com/2019/11/26/amazon-ring-home-security-facial-recognition/. Acesso em: 15 dez. 2020.

THE NEW YORK TIMES. Another Arrest, and Jail Time, Due to a Bad Facial Recognition Match. Disponível em: https://www.nytimes.com/2020/12/29/technology/facial-recognition-misidentify-jail.html. Acesso em: 10 dez. 2020.

U.S. Equal Employment Opportunity Commission. Diversity in High Tech. Disponível em: https://www.eeoc.gov/special-report/diversity-high-tech. Acesso em: 15 dez. 2020.

UOL. Sistema de reconhecimento facial erra, e homem negro é preso por engano. Disponível em: https://www.uol.com.br/tilt/noticias/redacao/2020/06/25/homem-e-preso-apos-erro-de-tecnologia-de-reconhecimento-facial-nos-eua.htm. Acesso em: 10 dez. 2020.

WACQUANT, Loïc. Punir os Pobres: a nova gestão da miséria nos Estados Unidos. 3. Ed. Tradução de Sérgio Lamarão. Rio de Janeiro: Editora Revan, 2007.

ZAFFARONI, Eugênio Raul. O Inimigo no Direito Penal. Tradução de Sérgio Lamarão. Rio de Janeiro: Revan, 2007.

ZAFFARONI, Eugenio Raúl; PIERANGELI, José Henrique. Manual de direito penal brasileiro, vol. 1: parte geral. 6 ed. São Paulo: Editora Revista dos Tribunais, 2006.




DOI: https://doi.org/10.18256/2238-0604.2023.v19i2.4768

Apontamentos

  • Não há apontamentos.