Modelos de linguagem longa (LLMs), como o ChatGPT, podem ajudar os economistas a fazer pesquisas melhores, se souberem como. use-os corretamente.
Isso faz parte do premissa de um artigo recente publicado no National Bureau of Economic Research por Anton Korinek, professor de economia da Universidade da Virgínia.
Para ilustrar o que os LLMs poderiam fazer na pesquisa econômica, Korinek usou o sistema mais poderoso disponível, atualmente o GPT-3. Isso é “um pouco mais poderoso” do que o ChatGPT, mas tem um resultado semelhante, acrescentou Korinek. Como o ChatGPT da OpenAI, o sistema GPT-3 foi treinado em dados públicos até 2021 e não pode acessar a Internet.
Korinek vê potencial de pesquisa nos LLMs porque eles podem gerar conteúdo e consumir grandes quantidades de texto mais rapidamente do que os humanos. LLMs podem produzir texto que soa autoritário, mas pode ser impreciso. Portanto, diz ele, os humanos, que são melhores em filtrar e avaliar o conteúdo quanto à precisão, devem usá-los com cuidado.
Todas as sugestões de Korinek estão relacionadas a “microtarefas”: pequenos trabalhos que os pesquisadores fazem todos os dias, mas que são pequenos demais para serem atribuídos a outros assistentes humanos.
“Descobri que muitos dos meus alunos já estão bastante familiarizados com o ChatGPT e o usaram para muitas tarefas diferentes”, disse Korinek. “Na verdade, alguns dos exemplos em meu artigo foram inspirados por meus alunos. E também aprendi com meus alunos que eles usam modelos de linguagem não apenas como assistentes, mas também como tutores.”
Os colegas do corpo docente de Korinek estão mais divididos no ChatGPT. Alguns usam como ele. Outros o descartam por suas falhas e outros ainda não o testaram.
“Meu objetivo ao escrever o artigo foi duplo: expor usuários regulares de modelos de linguagem a uma variedade de casos de uso diferentes e tentar conquistar alguns dos céticos”, disse Korinek. “Acho que nós, como sociedade, temos muito a ganhar usando essas ferramentas de forma responsável para melhorar nossa produtividade e acelerar o progresso científico”.
Aqui estão 22 ideias de Korinek sobre como os economistas podem usar a tecnologia:
Idéias para novas áreas de pesquisa.
- Chuva de ideias. Os economistas podem fazer perguntas importantes ao ChatGPT sobre tópicos relacionados a um grande conjunto de dados. Korinek pediu ao GPT-3 que fizesse um brainstorming sobre os canais econômicos pelos quais os avanços na IA aumentariam a desigualdade, e eles responderam com 10 exemplos, incluindo maior vigilância de trabalhadores e mais uso de algoritmos baseados em IA para otimizar preços, o que levaria a uma inflação mais alta.
- Avaliação de ideias. ChatGPT e GPT-3 também podem comentar sobre a utilidade de uma direção de pesquisa.
- Forneça contra-argumentos. Como os LLMs não se importam com o lado do argumento em que estão, eles são igualmente bons em fornecer argumentos a favor ou contra um ponto. Isso permite que os LLMs evitem o viés de confirmação que pode cegar os humanos.
Escrever pesquisa econômica.
- Sintetizar texto. Os LLMs podem pegar pontos básicos e traduzi-los em texto. Eles também podem escrever texto em um “estilo acadêmico” quando solicitado, e também podem escrever texto em Látex formato, que é um sistema de software para preparação de documentos.
- Edição de texto. Os LLMs podem revisar o texto e explicar suas revisões para que falantes nativos e não nativos possam entender melhor como escrever bem em um idioma.
- Avaliação de texto. Os LLMs podem avaliar o estilo ou a clareza de um texto.
- Geração de títulos cativantes e manchetes. Os economistas podem fornecer o resumo do artigo a um LLM e solicitar que gerem o título do artigo.
- Geração de tweets. Os LLMs também podem revisar o resumo de um artigo e oferecer a um economista uma lista de trechos tuitáveis que os permitiriam promover o trabalho no #EconTwitter.
pesquisa de fundo
- Texto resumido. LLMs são bons em quebrar grandes pedaços de texto em pedaços facilmente digeríveis.
- Pesquisa de literatura. Os LLMs geralmente compensam papéis que não existemportanto, quaisquer solicitações de literatura em um campo específico devem ser verificadas, mas podem fornecer referências frequentemente citadas na literatura.
- Formatação de referência. Os LLMs podem formatar documentos legítimos em qualquer formato apropriado para sua lista de referências. Por exemplo, você pode pegar um lote de referências que estão no estilo APA e convertê-las no estilo Chicago.
- Traduzir texto. Os LLMs podem competir com produtos de tradução comercial em “línguas europeias de alto recurso”, mas têm desempenho pior em idiomas com menos texto digitalizado e menos traduções digitalizadas.
- Explicando conceitos. Os LLMs podem explicar a pesquisa em um nível que estudantes e pesquisadores que tentam aprender algo novo possam entender. (Às vezes, porém, eles confundem os teoremas fundamentais entre si.)
Codificação
- Escrever código. Os LLMs são muito bons em tarefas de programação padrão, manipulação de dados, tarefas repetitivas e gráficos.
- Código explicativo. Os LLMs podem examinar o código e explicar o que o código faz em linguagem simples.
- Traduzindo código. LLMs podem traduzir código de uma linguagem de codificação para outra.
- Código de depuração. Os LLMs podem detectar erros de digitação ou violações básicas de sintaxe na codificação.
Análise de dados
- Extraia dados do texto. Os preços das ações de artigos de notícias ou informações de dosagem de bancos de dados de medicamentos podem ser extraídos por um LLM e colocados em qualquer tipo de formato que um economista precise.
- Reformatação de dados. Os LLMs podem reformatar os dados para que os economistas possam usá-los ou apresentá-los de maneiras diferentes.
- Classificação e pontuação de textos. Um LLM pode examinar uma lista de tarefas do banco de dados da Rede de Informações Ocupacionais do Departamento de Trabalho dos EUA, por exemplo, e determinar o quão fácil ou difícil seria automatizar.
- Extraindo sentimento. O LLM pode receber declarações do Comitê Federal de Mercado Aberto e comentar se elas são ou não agressivas ou dovish.
- Simulação de seres humanos. Como os LLMs são treinados em grandes quantidades de informações sobre a humanidade, eles também podem prever a quais tipos de políticas as pessoas podem responder positiva ou negativamente com base em seus dados demográficos. No entanto, existe o risco de o LLM produzir resultados baseados em falsos estereótipos.
derivadas matemáticas
Korinek também testou se os LLMs poderiam modelar matematicamente as relações na economia que estudam. Eles não podem ser abstratos o suficiente para produzir um resultado teórico a partir de um modelo matemático, acrescentou Korinek, mas, a médio prazo, os LLMs podem ver mais progresso nessa área.
