Envia parte dos logs para o Axiom via API, reduzindo o uso do dreno de logs da Vercel

[aprendendofelipe]

Os logs gerados pela integração embutida entre a Vercel e o Axiom continuam sendo encaminhados via dreno de logs da Vercel. No entanto, os logs que criamos diretamente com logger.info ou logger.error agora serão enviados através da API do Axiom. Essa mudança visa reduzir os custos associados ao uso do dreno (alinhado com #1724).

Dependendo dos resultados obtidos, podemos considerar a substituição completa da integração atual pela API do Axiom no futuro.

Mudanças realizadas

• Foi criada a biblioteca @tabnews/infra que, por enquanto, contém apenas o logger. Esse logger integra o pino com o Axiom e a Vercel, permitindo que os logs sejam enviados sem atrasar as respostas das requisições e sem correr o risco de as lambdas serem encerradas antes do envio completo dos logs.

• A maneira de definir o ID da requisição foi ajustada para priorizar o cabeçalho x-vercel-id, facilitando o cruzamento de dados entre os logs enviados pelos diferentes métodos.

• Foram adicionadas as variáveis de ambiente AXIOM_DATASET e AXIOM_TOKEN, que são necessárias nos ambientes onde a API deve ser utilizada. Sem essas variáveis:

  • Em produção e homologação, os logs continuam sendo enviados via integração com a Vercel.
  • Em desenvolvimento, os logs serão direcionados para o console.

• Se, localmente, apenas a variável AXIOM_DATASET for definida, os logs serão processados pelo pino antes de ir para o stdout. Isso permite analisar o formato e os dados que seriam enviados ao Axiom.

Tipo de mudança

• Nova funcionalidade

Checklist:

• As modificações não geram novos logs de erro ou aviso (warning).
• Eu adicionei testes na @tabnews/infra que provam que a correção ou novo recurso funciona conforme esperado.
• Tanto os novos testes quanto os antigos estão passando localmente.

[vercel]

The latest updates on your projects. Learn more about Vercel for Git ↗︎

Name	Status	Preview	Comments	Updated (UTC)
tabnews	✅ Ready (Inspect)	Visit Preview	💬 Add feedback	Jan 10, 2025 11:09pm

[Rafatcb]

Uma melhoria importante!

O motivo para não usar a integração básica com o Pino no @tabnews/infra (axiom-transport.js) é por causa do waitUntil?

[aprendendofelipe]

O motivo para não usar a integração básica com o Pino no @tabnews/infra (axiom-transport.js) é por causa do waitUntil?

Isso e um pouco mais.

A versão deles não é pensada para ser compatível com as lambdas. Logs produzidos nas lambdas não são transmitidos em requisições que não demorem mais de 1 segundo. E mesmo requisições demoradas, se terminarem com erro, acaba não enviando o log dos erros, mas apenas o log inicial. Isso porque os logs são enviados para o Axiom apenas a cada 1 segundo ou se acumular 1000 registros, sem uma maneira de aguardar o envio, sem ter como saber se já foram enviados e sem uma maneira de antecipar o envio, já que o logger.flush do pino não aciona o axiom.ingest.

Nossa versão antecipa o processamento pelo pino e a execução do axiom.ingest, além de aguardar o término do envio, ainda permite fazer tudo isso apenas após responder a requisição e sem interferir no tempo de resposta.