IA Batch: esperar umas horas e pagar menos

· Roberto Sirolo · 2 min de leitura

Nem todos os pedidos à IA têm a mesma pressa. Alguns fá-los enquanto escreves e precisas da resposta já; outros poderias lançá-los antes de fechar o portátil e encontrá-los feitos no dia seguinte. O NovLore trata estes dois casos de forma diferente, e saber qual é qual poupa créditos.

O que é a IA Batch

A IA Batch põe o teu trabalho numa fila em vez de o executar de imediato. A resposta chega ao fim de horas, não de segundos. Em troca da espera, o processamento custa menos: a API que o NovLore usa para estes trabalhos — a Batch API da Claude — é tarifada a cerca de metade do mesmo pedido em tempo real.

Não é uma versão pior do modelo. É o mesmo modelo, com entrega diferida.

Quando a espera é um bom negócio

O batch compensa quando a tarefa é pesada e não estás a vê-la:

  • gerar um capítulo inteiro a partir do argumento e da bíblia da obra;
  • uma passagem ampla pela estrutura do livro;
  • trabalhos em bloco que contarias deixar a correr enquanto fazes outra coisa.

Em todos estes casos, ficar à frente do ecrã com a barra a rodar não te dava nenhuma vantagem. Mais vale mover o trabalho para a fila e pagá-lo menos.

Quando precisas mesmo da resposta já

O tempo real continua a ser a escolha certa quando a latência é justamente o ponto:

  • o chat com a Scintilla, onde raciocinas ao lado do assistente;
  • a edição de um excerto selecionado, que fazes e revês em poucos segundos;
  • a correção ao voo enquanto escreves.

Aqui uma espera de horas quebraria o fluxo de trabalho em vez de o ajudar. O custo pleno é o preço da prontidão, e nestes casos a prontidão vale.

Como funciona no NovLore

Mandas o trabalho para a fila, a app regista o job e deixa-te continuar a escrever. A intervalos verifica o estado; quando o resultado está pronto, espera por ti. Não tens de manter a página aberta nem o computador ligado.

A regra prática é uma só: se não precisas de ver a IA a trabalhar, manda-a para batch. Se a usas para pensar, mantém-na em tempo real.

Perguntas frequentes

Quanto tempo tenho de esperar, ao certo?

Depende da carga. Em regra fala-se de horas, não de dias. Foi pensado para o trabalho que lanças e retomas mais tarde, não para algo de que precisas na mesma sessão.

O resultado do batch é de qualidade inferior?

Não. O modelo é o mesmo e as instruções são as mesmas: muda apenas o momento da entrega. O único compromisso é o tempo, não o texto.

Continua a ler

O NovLore é o estúdio de escrita onde a estrutura e o texto da tua obra vivem no mesmo sítio.