Marina Soares Marinho

Quando falamos de alguns conceitos básicos que se referem à febre do<a href="https://www.jota.info/tudo-sobre/ChatGPT"> GPT</a>, talvez o mais importante deles para o Direito seja "LLM" (Large Language Models, em português, grandes modelos de linguagem). Trata-se de modelos de linguagem preditivos que utilizam estatísticas e probabilidade para prever a próxima palavra com base no contexto. Esses modelos valem-se de uma janela de contexto e uma janela de previsão, e com base em seu conhecimento sobre a "localização das palavras em um mapa contextual”, conseguem gerar respostas como se tivessem conhecimento real sobre um assunto.<a href="#_ftn1" name="_ftnref1">[1]</a>
Os grandes modelos de linguagem, como o GPT, baseiam-se em redes neurais artificiais que procuram simular a forma como processamos a linguagem. No entanto, é importante destacar que esses modelos não pensam como os humanos. Eles aprendem com treinamento em grandes conjuntos de texto e têm conhecimento sobre como as palavras são usadas nesses textos. Apesar disso, eles consideram que as palavras têm variações semânticas e podem ser utilizadas em diferentes contextos, o que altera seu significado.<a href="#_ftn2" name="_ftnref2">[2]</a>
Um exemplo fácil de entender como um LLM funciona é a partir da analogia com o nosso comportamento ouvindo músicas. Não é raro irmos a um show ou ouvirmos uma música conhecida e cantarmos mesmo sem saber previamente todas as palavras. Nesses casos, o contexto nos ajuda a “adivinhar” as palavras corretas a partir das palavras anteriores que escutamos na frase. Além disso, nessa avaliação, nós consideramos a rima, o ritmo e até o histórico de outras obras do mesmo artista. Isso ocorre porque somos capazes de localizar as palavras a partir de seu significado semântico e determinar a sua utilização com base na sua utilização contextual. Da mesma forma, os grandes modelos de linguagem fazem um processamento probabilístico para prever a palavra mais apropriada com base nos seus múltiplos significados semânticos e em variáveis contextuais.
Essa forma de processamento de linguagem natural utiliza representações vetoriais para mapear as palavras dentro de um grande modelo de linguagem. Essa representação é multidimensional e permite que as palavras sejam localizadas dentro do que estou chamando de mapa. Nesse sentido, valendo-me da analogia de uma amiga, os vetores funcionariam como um GPS. A localização das palavras depende do seu significado semântico, que é conhecido a partir do contexto em que estão inseridas. Por exemplo, as palavras "gato" e "cachorro" podem estar próximas quando falamos de animais domésticos, mas podem estar distantes quando se fala de uma pessoa bonita usando a palavra "gato" como elogio.
Os LLMs são capazes de entender essas relações semânticas e contextuais e usar essas informações para gerar respostas estruturadas. Enquanto abordagens anteriores permitem a busca por padrões de texto, os LLMs vão além, extraindo informações de texto e construindo respostas com base em seu treinamento probabilístico. Esses modelos não são uma tecnologia nova, mas têm sido cada vez mais utilizados e estudados, especialmente em razão da difusão de ferramentas comerciais que exploram a sua capacidade de geração de texto.
Uma das principais ferramentas é o GPT, desenvolvido pela OpenAI. O GPT é um LLM que possui uma enorme capacidade de processamento e compreensão de textos. Ele foi treinado em um grande volume de dados da internet, o que o torna capaz de gerar respostas coerentes e contextualizadas sobre temas diversos. O GPT é a espinha dorsal do chat do bing, uma outra ferramenta comercial, da Microsoft, que complementa suas respostas com dados de toda a web.
Como o Direito é formado essencialmente de conteúdo escrito, e dada a diversidade de fontes e a complexidade da interação entre elas, as ferramentas que utilizam grandes modelos de linguagem possuem um potencial gigantesco. Muitas das dificuldades enfrentadas durante a pesquisa jurídica prometem ser resolvidas a partir da utilização de LLMs. Essas soluções, como a redação não supervisionada de petições, à primeira vista, soam miraculosas.
Na esfera do que já é possível imaginar, por outro lado, apostamos no aumento significativo da capacidade de consumo de informações. Isso tanto pela facilitação no entendimento da linguagem de especialização jurídica (o famoso “juridiquês”) por pessoas leigas quanto pela estruturação de conteúdo pulverizado entre centenas de milhares de atos normativos, decisões judiciais, obras doutrinárias e notícias especializadas.
Limitamos, por ora, o que chamamos de “esfera do possível” sobre o futuro próximo porque é importante destacar que o GPT e outros LLMs comerciais não foram treinados especificamente em linguagem jurídica. Isso limita sua eficácia ao lidar com questões do Direito. Seu corpus de treinamento não envolve conteúdo ou contexto específico jurídico, e isso agrava o fenômeno problemático conhecido como “alucinações”.
As “alucinações” ocorrem justamente quando a resposta é coerente, bem redigida, mas seu conteúdo não é correto. É muito difícil desconfiar de um texto coerente, mas no caso dos LLMs ora disponíveis, esse deve ser o comportamento padrão. Já entendemos, por exemplo, que o modelo “cria” referências bibliográficas, números de acórdãos e nomes de pessoas advogadas e juristas. Com a popularização do seu uso, vamos descobrir outros casos persistentes de alucinação, e, com validação robusta de conteúdo, espera-se, seremos capazes de explorar cada vez mais as suas capacidades apesar disso.
“Validação de conteúdo” é a expressão chave para a utilização dos LLMs no mundo jurídico. Compreender como um LLM funciona ajuda a desenvolver um uso mais adequado das ferramentas e evitar as alucinações. Ainda assim, se é possível produzir conteúdos sem a verificação de sua autoria, e se já é sabido que o modelo, probabilístico, erra, alucina e reproduz preconceitos,<a href="#_ftn3" name="_ftnref3">[3]</a> fica evidente a exigência de responsabilidade na produção e consumo de informações construídas utilizando grandes modelos de linguagem. Um primeiro passo nessa direção é o letramento das pessoas usuárias, a partir da explicação simples e didática sobre do que se trata uma ferramenta desse tipo, e como ela pode ser utilizada responsavelmente.<a href="#_ftn4" name="_ftnref4">[4]</a>
Isso só reforça que essas ferramentas são, como o próprio termo indica, "ferramentas", ou seja, auxiliares. Nesse sentido, não substituem o trabalho humano, especialmente no que diz respeito à interpretação e aplicação das normas jurídicas. Muitas tarefas operacionais, sem dúvidas, serão revolucionadas pelas capacidades dos grandes modelos de linguagem. Apesar disso, a verificação do conteúdo produzido, a construção do racional por trás desses conteúdos e todos os inputs necessários para a sua estruturação são (por ora) humanos.
Apesar das limitações e desafios, a utilização de grandes modelos de linguagem tem o potencial de revolucionar a prática do Direito. Eles possibilitam a análise e validação mais eficiente de documentos, ampliando assim o acesso a informações e contribuindo para a democratização do conhecimento jurídico. A complexidade do Direito, a variedade de fontes e tipos de conteúdo necessários para a interpretação da norma jurídica tornam a advocacia mais custosa para aqueles que possuem menos tempo e condições de se especializar. Se facilitar o acesso à informação é democratizar o Direito, os LLMs sem dúvidas podem ajudar.
___________________________________________________________________________________
<a href="#_ftnref1" name="_ftn1">[1]</a> Tamkin, Alex, et al. "Understanding the capabilities, limitations, and societal impact of large language models." arXiv preprint arXiv:2102.02503 (2021), p. 2-3.
<a href="#_ftnref2" name="_ftn2">[2]</a> Hoffmann, Jordan, et al. "Training compute-optimal large language models." arXiv preprint arXiv:2203.15556 (2022).
<a href="#_ftnref3" name="_ftn3">[3]</a> Daniel, Jurafsky, and Martin James H. Speech and language processing: An introduction to natural language processing, computational linguistics, and speech recognition. Aprentice hall, 2023, p. 234.
<a href="#_ftnref4" name="_ftn4">[4]</a> Goldstein, Josh A., et al. "Generative Language Models and Automated Influence Operations: Emerging Threats and Potential Mitigations." arXiv preprint arXiv:2301.04246 (2023).

large language models

https://images.jota.info/wp-content/uploads/2021/09/copy-of-jota-logo-high-cmyk.jpeg

JOTA

Utilização de grandes modelos de linguagem tem o potencial de revolucionar a prática do Direito

O que são os Large Language Models e por que é tão importante entendê-los?

Apesar das limitações e desafios, utilização de Large Language Models tem o potencial de revolucionar a prática do Direito.