Racial segregation and algorithmic biases: racism machines in the context of criminal control

Airto Chaves Junior, Bárbara Guasque, Thiago Santos Aguiar de Padua

Abstract


This paper aims to verify if the use of Artificial Intelligence Systems could reduce the very high load of Criminal Control’s selectivity, especially those based on racism and discrimination. Initially, at first, for this purpose, the work deals with the selectivity of punitive power as a structural characteristic. Subsequently, we carefully observe the data that are used in the construction of AI models. After that, it lists possible solutions to reduce the incidence of biased algorithms and mitigate the reproduction of racism through the use of the machine. Finally, we propose to identify some negative externalities resulting from non-observance of certain ethical standards in AI models. The research is justified in view of the need to know the perverse reflexes that biased algorithms can produce in the Criminal Control segments, catalyzing prejudices and segregating social sectors chosen by skin color. The research method is the inductive one, supported by bibliographic research and official numbers extracted from official databases.


Keywords


Racism; Criminal Control; Artificial intelligence; Algorithmic Bias; Criminal Justice

References


ACLU ORG. Amazon’s Face Recognition Falsely Matched 28 Members of Congress. Disponível em: https://www.aclu.org/blog/privacy-technology/surveillance-technologies/amazons-face-recognition-falsely-matched-28. Acesso em: 15 dez. 2020.

AI NOW INSTITUTE. AI Now Report 2018. Disponível em: https://ainowinstitute.org/. Acesso em: 16 dez. 2020.

ANDREADE, Vera Regina Pereira de. A ilusão de segurança jurídica: do controle da violência a violência do controle penal. 2ª ed. Porto Alegre: Livraria do Advogado, 2003.

Anuário Brasileiro de Segurança Pública. Fórum Brasileiro de Segurança Pública. Ano 14.2020. Disponível em: https://forumseguranca.org.br/wp-content/uploads/2020/10/anuario-14-2020-v1-final.pdf. Acesso em: 13 março 2022.

BARATTA, Alessandro. Criminologia crítica e crítica do direito penal: introdução à sociologia do direito penal. Tradução de Juarez Cirino dos Santos. 3. ed. Rio de Janeiro: Revan, 2002.

BATISTA, Nilo. A violência do Estado e os aparelhos policiais. Discursos Sediciosos. Crime, direito e sociedade. Volume 2. 4. Ed. Rio de Janeiro, 1997.

BRASIL. Anteprojeto de Lei de Proteção de Dados. Disponível em: https://www2.camara.leg.br. Acesso em: 20 dez. 2020.

BROWN, Wendy. Undoing the Demos: Neoliberalism’s Stealth Revolution. New York: Zone Books, 2015.

CHAVES JUNIOR, Airto. Além das Grades: a paralaxe da violência nas prisões brasileiras. Florianópolis: Tirant lo Blanch, 2018.

CHAVES JUNIOR, Airto; OLDONI, Fabiano. Para que(m) serve o Direito Penal? Uma análise criminológica dos segmentos de controle social. Rio de Janeiro: Lumen Juris, 2014.

Conselho Nacional de Justiça. Relatório Justiça em números 2020: Ano-base 2019. Brasília: CNJ, 2020. Disponível em: https://www.cnj.jus.br. Acesso em: 06 nov. 2020.

DANZIGER, Shai; LEVAV, Jonathan; AVNAIM-PESSO, Liora. Extraneous factors in judicial decisions. PNAS, vol. 108, n. 17, 2011.

FENOLL, Jordi Nieva. Inteligencia Artificial y Proceso Judicial. Madri: Marcial Pons, 2018.

FGV – Centro de Inovação, Administração e Pesquisa do Judiciário. In: Inteligência Artificial: Tecnologia aplicada à gestão dos conflitos no âmbito do Poder Judiciário Brasileiro. Disponível em: https://ciapj.fgv.br/sites/ciapj.fgv.br/files/estudos_e_pesquisas_ia_1afase.pdf. Acesso em: 15.out.2020.

FOUCAULT, Michel. Genealogia del Racismo. Traducción de Alfredo Tzveibel. Colección Caronte Ensayos. Buenos Aires: Editorial Altamira, 1993.

FREITAS, Cinthia Obladen de A. A obscuridade dos algoritmos e a LGPD. O Estado de São Paulo, 4.ago.2020. Disponível em: https://politica.estadao.com.br/blogs/fausto-macedo/a-obscuridade-dos-algoritmos-e-a-lgpd/. Acesso em: 10 dez. 2020.

GARRETT, Brandon L. Convicting the Innocent: where criminal prosecutions Go Wrong. Cambridge, Massachusetts / London, England. Harvard University Press, 2011.

KILOMBA, Grada. Memórias da Plantação: episódios de racismo cotidiano. Tradução de Jess Oliveira. Rio de Janeiro: Editora Cobogó, 2019.

KIRCHHEIMER, Otto. Political Justice: the use of legal procedure for political ends. Princeton, New Jersey: Princeton University Press, 1961.

LUM, Kristian; ISAAC, William. To predict and serve? Significance Magazine, oct, 2016. Disponível em: https://rss.onlinelibrary.wiley.com/doi/epdf/10.1111/j.1740-9713.2016.00960.x. Acesso em: 15 jun. 2021.

MATIDA, Janaína; CECCONELLO, Willian. O que há de errado no reconhecimento fotográfico de Michael B. Jordan? Consultor Jurídico (CONJUR). 08 de janeiro de 2022.

Mbembe, Achille. Necropolítica. São Paulo: N-1 Edições, 2018.

METROPOLES. Sistema de reconhecimento facial nas ruas é regulamentado no DF. Disponível em: https://www.metropoles.com/distrito-federal/sistema-de-reconhecimento-facial-nas-ruas-e-regulamentado-no-df. Acesso em: 17 dez. 2020.

MOTHERBOARD. Amazon’s Home Security Company Is Turning Everyone Into Cops. Disponível em: https://www.vice.com/en/article/qvyvzd/amazons-home-security-company-is-turning-everyone-into-cops. Acesso em: 21 set. 2023.

NAVARRO, Susana Navas. Derecho e Inteligencia Artificial desde el Diseño. In: NAVARRO, Susana Navas, et al. Inteligencia Artificial: Tecnología, Derecho. Valencia: Tirant Lo Blanch, 2017.

NIST. NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software. Disponível em: https://www.nist.gov/news-events/news/2019/12/nist-study-evaluates-effects-race-age-sex-face-recognition-software. Acesso em: 15 dez. 2020.

NUNES, Dierle. A supervisão humana das decisões de inteligência artificial reduz os riscos? Consultor Jurídico. Disponível em: https://www.conjur.com.br/2021-jun-25/nunes-supervisao-humana-decisoes-ia-reduz-riscos. Acesso em: 26 jun. 2021.

NUNES, Pablo. O Algoritmo e o Racismo nosso de cada dia. Revista Piauí. Disponível em: https://piaui.folha.uol.com.br/o-algoritmo-e-racismo-nosso-de-cada-dia/. Acesso em: 02 jan. 2021.

O´NEIL. Cathy. Algoritmos de Destruição em Massa: como o Big Data aumenta a desigualdade e ameaça a democracia; tradução Rafael Abraham. 1. ed. Santo André, São Paulo: Editora Rua do Sabão, 2020.

O´NEIL. Cathy. Amazon’s Gender-Biased Algorithm Is Not Alone. Bloomberg. Disponível em: https://www.bloomberg.com/opinion/articles/2018-10-16/amazon-s-gender-biased-algorithm-is-not-alone. Acesso em: 10 set. 2021.

OCARIZ, Maria Cristina (Org.). Psicanálise e Violência Social. São Paulo: Editora Escuta, 2018.

PICCOLI, Ademir Milton. Judiciário Exponencial: sete premissas para acelerar a inovação e o processo de transformação do ecossistema da justiça. São Paulo: Vidaria Livros, 2018.

PROPUBLICA. How we analyzed the compas recidivism algorithm. 23. Mai. 2016. Disponível em: https://www.propublica.org/article/how-we-analyzed-the-compas-recidivism-algorithm. Acesso em: 20 out. 2020.

REDE DE OBSERVATÓRIOS DA SEGURANÇA. Retratos da Violência. Cinco meses de monitoramento, análises e descobertas. Disponível em: http://observatorioseguranca.com.br/wp-content/uploads/2019/11/1relatoriorede.pdf. Acesso em: 15 dez. 2020.

REUTERS. Amazon scraps secret AI recruiting tool that showed bias. Disponível em: https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G. Acesso em: 10 dez. 2020.

RODRÍGUEZ, Pablo. Inteligencia Artificial. Como cambiará el mundo (y tu vida). Trad. Jorge Rizzo. Barcelona: Ediciones Deusto, 2018.

ROSA, Alexandre; GUASQUE, Bárbara. O avanço da Disrupção nos Tribuanais Brasileiros. In: NUNES, Dierle; LUCON, Paulo Henrique; WOLKART, Erik Navarro (org.). Inteligência Artificial e Direito Processual: os impactos da virada tecnológica no Direito Procesual. 2ªed. rev. atual. e ampl. Salvador: JusPODVIM, 2021.

SADOWSKI, Jathan. Too Smart: How Digital Capitalism is Extracting Data, Controlling Our Lives. Massachusetts: The MIT Press, 2020.

THE GUARDIAN. Amazon to ban police use of facial recognition software for a year. Disponível em: https://www.theguardian.com/technology/2020/jun/10/amazon-rekognition-software-police-black-lives-matter. Acesso em: 14 dez. 2020.

THE GUARDIAN. Disastrous’ lack of diversity in AI industry perpetuates bias, study finds. Disponível em: https://www.theguardian.com/technology/2019/apr/16/artificial-intelligence-lack-diversity-new-york-university-study. Acesso em: 15 dez. 2020.

THE GUARDIAN. How white engineers built racist code – and why it’s dangerous for black people. Disponível em: https://www.theguardian.com/technology/2017/dec/04/racist-facial-recognition-white-coders-black-people-police. Acesso em: 17 dez. 2020.

THE GUARDIAN. Rise of the racist robots – how AI is learning all our worst impulses. Disponível em: https://www.theguardian.com/inequality/2017/aug/08/rise-of-the-racist-robots-how-ai-is-learning-all-our-worst-impulses. Acesso em: 15 dez. 2020.

THE INTERCEPT. Amazon´s Ring Planned Neighborhood Watch lists built on fácil recognition. Disponível em: https://theintercept.com/2019/11/26/amazon-ring-home-security-facial-recognition/. Acesso em: 15 dez. 2020.

THE NEW YORK TIMES. Another Arrest, and Jail Time, Due to a Bad Facial Recognition Match. Disponível em: https://www.nytimes.com/2020/12/29/technology/facial-recognition-misidentify-jail.html. Acesso em: 10 dez. 2020.

U.S. Equal Employment Opportunity Commission. Diversity in High Tech. Disponível em: https://www.eeoc.gov/special-report/diversity-high-tech. Acesso em: 15 dez. 2020.

UOL. Sistema de reconhecimento facial erra, e homem negro é preso por engano. Disponível em: https://www.uol.com.br/tilt/noticias/redacao/2020/06/25/homem-e-preso-apos-erro-de-tecnologia-de-reconhecimento-facial-nos-eua.htm. Acesso em: 10 dez. 2020.

WACQUANT, Loïc. Punir os Pobres: a nova gestão da miséria nos Estados Unidos. 3. Ed. Tradução de Sérgio Lamarão. Rio de Janeiro: Editora Revan, 2007.

ZAFFARONI, Eugênio Raul. O Inimigo no Direito Penal. Tradução de Sérgio Lamarão. Rio de Janeiro: Revan, 2007.

ZAFFARONI, Eugenio Raúl; PIERANGELI, José Henrique. Manual de direito penal brasileiro, vol. 1: parte geral. 6 ed. São Paulo: Editora Revista dos Tribunais, 2006.




DOI: https://doi.org/10.18256/2238-0604.2023.v19i2.4768

Refbacks

  • There are currently no refbacks.




ISSN 2238-0604

Licença Creative Commons

This Revista Brasileira de Direito is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.

Indexers

Periódicos CAPES  googlelogo_scholar.png
DOAJ.jpg
 
Diadorim.jpg
 dialnet.png
latindex.jpg
 
 logos_DOI_CrossRef_CrossChek.png

 
circ.png
 miar.png

logo_base.gif
 
 logos_DOI_CrossRef_CrossChek.png
CiteFactor2.png
 
Scilit logo