Eu tentei recentemente refinaruma ferramenta de IA para refinar artigos acadêmicos, desenvolvido por Yann Calvó López e Ben Golub. Enviei-lhe o rascunho atual do meu livreto sobre inflaçãopara ver o que ele pode oferecer. Só usei uma vez até agora, com o modo de teste gratuito. Serei um usuário regular para sempre.
Os resultados são impressionantes. Os comentários oferecidos foram os melhores comentários que recebi sobre um artigo em toda a minha carreira acadêmica. E mais concisos e organizados que os melhores. Eles não são perfeitos, mas o tipo de análise que o programa é capaz de fazer já ultrapassou o ponto em que a tecnologia parece mágica. Não sei como você chega aqui de “prever a próxima palavra”.
Aqui estão seus principais comentários:
Operacionalizando a narrativa das “notícias fiscais”
A afirmação do episódio central no cap. 2.3 é que a inflação “começou” quando os agentes souberam, no início de 2021, que uma parte significativa dos défices não seria reembolsada, e “terminou” em meados de 2022, quando as expectativas mudaram relativamente a futuros programas não financiados. Tal como está actualmente escrito, o apoio probatório corre o risco de circularidade: o texto apoia-se na ocorrência de inflação para inferir que a dívida era considerada “não garantida”, ao mesmo tempo que oferece sinais narrativos principalmente qualitativos.
Para suportar o fardo da identificação, esta narrativa requer operacionalização. Cap. 4 afirma explicitamente que a história recente oferece “experiências” invulgarmente limpas. Para fundamentar isto, o texto necessita de um conjunto mais rigoroso de observáveis datados e visíveis externamente – obstáculos legislativos específicos, retórica de “a dívida não importa” ou probabilidades eleitorais – ligados a previsões de sinais e timing para expectativas de inflação e preços de obrigações de longo prazo. Sem fixar as “notícias” em datas específicas distintas da própria série de inflação, o episódio parece mais uma sobreposição post hoc do que uma aplicação discriminatória do mecanismo FTPL.
O programa encontrou o episódio central e resume o argumento principal de um artigo de 80 páginas. Escrevi um aviso de que não é possível encontrar medidas separadas do valor actualizado dos excedentes e que o meu objectivo era estabelecer provas plausíveis, em vez de provas. Mas eu estava com preguiça, e o programa sugere a maneira óbvia como eu deveria restringir a apresentação, dentro do possível. De volta ao trabalho.
Esclarecendo a distinção entre regime fiscal na reivindicação de “completude”
O manuscrito afirma repetidamente que está completo, observando no cap. 3 (“Agora, pare e admire o que realizamos. Temos uma teoria completa, completa…”) e cap. 4 (“a única teoria económica conhecida e completa… consistente com as instituições actuais”). No entanto, cap. 4.5 também observa corretamente que “todas as equações… são de facto as mesmas” entre os modelos FTPL e Novo Keynesiano (NK).
Para o público académico, a afirmação de que o modelo NK padrão “não funciona” (Cap. 6.1) ou é incompleto cria fricção imediata, a menos que a distinção relativa ao encerramento do regime seja explícita desde o início. A discordância substantiva não é a presença ou ausência da equação de avaliação, mas o regime fiscal: a equação determina os preços (FTPL) ou determina os excedentes futuros através de um pressuposto fiscal “passivo” (NK)? Reenquadrar a crítica fortaleceria o argumento. Em vez de afirmar que o modelo NK falha na lógica interna, o texto deveria argumentar que exige um pressuposto empiricamente insustentável de comportamento fiscal passivo durante o episódio de 2020-2022.
A questão é justa e um bom exemplo de como o programa melhora a escrita. Há uma tensão entre o teorema da equivalência observacional e a minha afirmação de que experiências recentes nos dizem qual modelo está certo. A resposta está no artigo: a equivalência observacional trata apenas de séries temporais observadas, e podemos usar o que sabemos sobre o comportamento dos bancos centrais a partir de outras fontes para pensar sobre qual regime é plausível. Os bancos centrais não ameaçam comportamentos explosivos para seleccionar equilíbrios. Mas isso está espalhado no jornal. Na verdade, não enfatizei a interpretação causal da questão da equação de avaliação – a equação de avaliação expressa como a inflação causa excedentes ou como os excedentes causam inflação. (Como o debate de 50 anos sobre se MV=PY expressa como a oferta de moeda causa a inflação ou a inflação causa a procura de moeda acomodada pela oferta.) O modelo captou isto por si próprio, provavelmente ao ser treinado em controvérsias anteriores do FTPL. De volta ao trabalho
Resolvendo ambiguidade no mecanismo de transmissão
Há uma tensão na forma como o texto descreve a transmissão dos aumentos das taxas de juros. Polegada. 3.1 e na Figura 3.2, o argumento é que os aumentos das taxas podem produzir desinflação no curto prazo ao reduzir o valor nominal de mercado dos títulos em circulação (o numerador na equação de avaliação). No entanto, cap. 2.2 e cap. 4.5 sublinham que as taxas de desconto e os custos dos juros são fundamentais para o valor actualizado dos excedentes (o denominador).
Um aumento nas taxas reais que comprima os preços das obrigações também reduz genericamente o valor actualizado dos excedentes através de descontos ou aumenta os custos dos juros. Isto pode empurrar o nível de preços para cima, criando um efeito de “pisar num rake”, onde o banco central altera a inflação ao longo do tempo. As conclusões políticas (“deveriam aumentar imediatamente as taxas”, cap. 3.1–3.2) precisam de ser conciliadas com este mecanismo. O texto deve dividir explicitamente o que o banco central pode alcançar sozinho (através do efeito de avaliação no numerador) versus o que requer ajuste fiscal, e esclarecer quando o canal desinflacionário é genérico versus condicionado à duração da duração.
Também aqui o modelo captou o meu hábito de introduzir uma ideia e depois refiná-la. O mecanismo da dívida de longo prazo é uma forma de taxas de juro futuras mais elevadas poderem resultar numa inflação mais baixa hoje. E o típico choque persistente associa taxas de juro actuais e futuras mais elevadas. Mas os preços rígidos funcionam contra esse mecanismo. Com preços rígidos, taxas nominais mais elevadas significam taxas reais mais elevadas, o que significa custos de juros mais elevados sobre a dívida, o que aumenta a inflação. Eu meio que driblei isso em vários lugares. Isso pode ou não ser uma boa ideia. Não gosto de sobrecarregar os leitores imediatamente. Mas o programa me faz pensar nessa escolha.
E mais, com o qual não vou aborrecê-lo.
Também encontrou erros de álgebra, como um sinal negativo que escorregou na solução de uma equação diferencial.
E esse é o modo livre! Voltarei rapidamente ao modo pago (muito mais extenso) depois de terminar de incorporar esses comentários.
****
Esta é a primeira vez que vejo a IA trabalhando em algo que faço diariamente, e é realmente revolucionário.
Arbitrar e avaliar trabalhos é uma das tarefas mais desagradáveis e demoradas da nossa profissão. Li muitos relatórios de árbitros em meus 40 anos como economista, e esses são os 5% melhores, com certeza. A maioria dos relatórios de pareceristas não identifica o ponto principal do artigo e não avalia se o artigo apoia esse ponto. Eles não percebem lacunas gritantes de lógica, teoremas básicos violados, conselhos econométricos ignorados. Os editores têm sorte se um em cada três relatórios for vagamente útil. Claramente, esta tarefa será radicalmente impactada pela IA. Se eu fosse um editor, alimentaria todos os jornais para refinar o recebimento. Ou eu exigiria que o autor gastasse os US$ 50 e enviasse o último relatório de refinamento! Certamente obterei a opinião de refine antes de qualquer relatório de árbitro que escrever no futuro.
Todos os árbitros ficarão desempregados? Não! Você ainda precisa ler e avaliar o que o refine oferece. Mas a velocidade, a precisão e a qualidade dos relatórios aumentarão. E os economistas economizarão muito tempo.
Antes que alguém me peça comentários sobre um artigo, vou perguntar “você o enviou para refinar?” Isso também economizará muito tempo.
E deverá produzir artigos muito melhor escritos, o que também economizará muito tempo.
É estranho escrever prosa defensiva para um programa de IA, como faço para os humanos atenciosos que me fazem comentários. O último comentário traz isso à tona
Fortalecimento da discriminação contra a alternativa monetarista
Cap. A principal alegação de discriminação do 4.2 é que o monetarismo prevê que a flexibilização quantitativa deveria ser inflativamente equivalente a transferências de helicóptero e que o contraste observado falsifica o monetarismo. No entanto, o manuscrito enfatiza a realidade institucional dos Juros sobre Reservas (IOR) e das “reservas amplas”. Uma “visão monetária” sofisticada invocaria precisamente estes factos para argumentar que as reservas e os bilhetes do Tesouro são substitutos quase perfeitos no âmbito das IOR, tornando o QE neutro, enquanto as transferências não o são.
Se o referencial monetarista – invocado aqui para ser derrubado – não for a versão mais forte e consistente com o realismo institucional que o livro defende, a decisão no cap. 4 perde credibilidade. Para persuadir os leitores mais propensos a examinar esta secção, o texto deve abordar a razão pela qual a explicação FTPL domina até mesmo uma visão monetarista sofisticada que dá conta do IOR, em vez de apenas a versão primitiva que o ignora.
Sim, deixei de fora o valor de liquidez da dívida do tesouro. Mas existe realmente uma escola de pensamento séria que pensa que a dívida do tesouro é um substituto perfeito para o dinheiro, de modo que deveríamos pensar em todo o stock da dívida do tesouro como a base monetária? Isso significaria que as operações de mercado aberto seriam completamente irrelevantes, desfazendo grande parte do monetarismo padrão. E a famosa “estabilidade” do rácio M2-PIB nominal está totalmente ausente para a dívida total, que flutuou de 25% do PIB na década de 1970 para 100% agora. Choques de velocidade? Talvez a versão paga me envie algumas citações para que eu saiba se realmente tenho que lidar com isso.
Mas, de uma forma ou de outra, é surpreendente que um programa de computador tenha surgido com essa possibilidade lógica, que é pelo menos um comentário digno de um seminário no fundo da sala.
Nesse ínterim, também tentei Claude atualizar alguns gráficos. Minha solicitação foi apenas “escrever um programa matlab que busque séries de dados xyz de Fred usando a API e fazer um gráfico que..” com uma descrição bastante detalhada do gráfico. Ele funcionou imediatamente, até mesmo fazendo um trabalho decente de “colocar rótulos de texto no gráfico de uma forma que não entrasse em conflito com a série temporal plotada”. Claude não fez um bom trabalho ao descobrir quais séries de dados de Fred funcionariam, mas essa foi uma tarefa pequena. E produziu código usando muitos comandos que não reconheço. Garantir que os programas façam o que você pensa que eles fazem será um novo desafio. Ele continuou e fez coisas que eu não pedi, como oferecer estatísticas resumidas! Ainda assim, um trabalho de uma hora demorava 5 minutos.
Tudo isso não é novidade para a maioria dos meus colegas, que estão integrando IA em fluxos de trabalho com grande velocidade. Mas se você não estiver usando essas ferramentas, a hora de começar é agora.
(Não usei IA para escrever esta subpilha e nunca o fiz no passado. Reconhecerei quando o fizer. Como incluí o refinamento nos agradecimentos do livreto de inflação.)
Atualizar
Pensando bem, comecei a me preocupar novamente. Em 10 a 20 anos ninguém lerá mais nada, apenas lerão resumos do LLM. Portanto, a tarefa mais importante de um escritor começando agora é concentrar seus esforços nos LLMs. Nada do que você escrever terá importância se não for rapidamente adotado no conjunto de dados de treinamento. Como a arte de colocar seus resultados no topo da pesquisa do Google era o jogo da década de 1990, colocar suas ideias nos LLMs é de hoje. Refinar não é diferente. É tão bom que todo mundo vai usar. Portanto, se a refine e os seus primos adotam uma visão FTPL ou uma nova visão keynesiana na avaliação de artigos, é agora tudo o que determina o rumo do consenso da profissão.
Ao me comunicar com um editor de revista, posso perceber a utilidade de uma versão adaptada para avaliação de artigos. Por exemplo, “o autor incorporou e respondeu aos comentários do árbitro?” “os comentários do árbitro fazem algum sentido?” “quais dos comentários do parecerista abordam a correção ou importância do artigo e quais são apenas sugestões para trabalhos futuros?” e assim por diante. No entanto, a captura do LLM ainda me parece um problema potencial, seja por uma ala – os economistas adoram nada mais do que uma luta metodológica, “este artigo utiliza metodologia desatualizada de forma estrutural/reduzida”, “este artigo ignora importantes análises comportamentais/de equilíbrio geral” etc. Eu deveria testar o refinamento em alguns tópicos controversos. Também como funciona no referência de merdaum problema realmente importante na academia de economia. Precisamos de uma avaliação quantitativa besteira – besteira embrulhada em equações sofisticadas.
Fonte: theverge
