Inteligência Artificial Generativa no direito

da metodologia de avaliação à correção jurídica de LLMS e agentes de IA

Resumo

O presente trabalho analisa o uso de Inteligência Artificial Generativa, especificamente dos LLMs (Large Language Models), no apoio a realização de atividades jurídicas mediante a testagem sistemática de quinze dos principais modelos de IA fornecidos no mercado (ChatGPT o1, ChatGPT 4o, ChatGPT 4.5, ChatGPT o3-mini, ChatGPT o3-mini-high, Claude Sonnet 3.5, Claude Sonnet 3.7, Grok 3, Gemini Pro 2.0 Experimental, Gemini Pro 2.5 Experimental, DeepSeek R1, Qwen 2.5 Max, Perplexity, Sabiá-3 e Copilot). A partir da teoria do duplo canal de correção, a pesquisa foi multidisciplinar, sendo que para a análise dos LLMs foram desenvolvidos seis testes tipicamente jurídicos para avaliar o desempenho das IAs nas tarefas de: a) conhecimento de legislação brasileira; b) aplicação da legislação; c) aplicação de princípios jurídicos; d) solução de hard case; e) identificação da ratio decidendi de precedentes judiciais; e f) organização de dados/informações de um caso. Este estudo se pauta em pesquisa qualitativa-quantitativa com método descritivo-exploratório, mediante análise de resultados inerentes ao entrelaçamento entre Direito e Inteligência Artificial. Os resultados demonstram: a) o estabelecimento de um framework básico para a testagem jurídica dos LLMs; b) os modelos IA generativa atualmente mais adequados para cada uma das tarefas testadas; c) as tarefas jurídicas em que não é recomendada a utilização de LLMs (ou nas quais são necessários maiores cuidados); d) as tarefas em que os LLMs têm melhor performance no Direito. As conclusões são: a) não é recomendada a utilização das IAs generativas (LLMs) para acessar conhecimento jurídico sistematizado (textos normativos, por exemplo); b) não é recomendada a utilização de IA generativa para uma interpretação das normas jurídicas de maneira livre de controles adicionais; c) a maioria dos LLMs tem dificuldades para, a partir do texto normativo, inferir todas as proposições normativas corretas; d) a utilização de técnicas de Retrieval-Augmented Generation (RAG) ou de IAs auxiliares baseadas em representação do conhecimento se monstra necessária; e) os melhores LLMs apresentaram criatividade e pretensão de correção jurídica ao aplicar princípios jurídicos; f) os melhores LLMs podem ser utilizados para auxiliar na geração de argumentação juridicamente correta; g) modelos de IA generativa não são bons repositórios de conhecimento previamente existente, mas têm capacidade de criar conhecimento novo (paradoxo conhecimento/criação da IA); h) os melhores modelos de IA generativa já podem ser utilizados na exploração argumentativa de precedentes judiciais (identificação de ratio decidendi); i) LLMs podem recuperar dados e informações em documentos jurídicos; j) a engenharia de prompts adequada nem sempre evita alucinações; k) não existe um modelo de IA generativa com desempenho superior ou perfeito para todos os problemas jurídicos; l) nem sempre o LLM de última geração é o mais eficiente em determinada tarefa jurídica.