Um teste de regressão de cadastro e de recuperação de acesso perde o sentido se cada execução recebe um número novo: o cenário verifica o formulário de entrada, e não o que acontece com uma conta real quando você volta a acessá-la pelo mesmo contato. O aluguel de número offline resolve isso de outro jeito — o ambiente de testes recebe um slot que continua o mesmo de uma execução para outra, e o sinal só é ligado durante o recebimento do código. Vamos ver por que o ambiente de testes precisa de um número que não muda, quantos slots manter para a regressão, como planejar a janela de sinal para a execução e quando não dá para dispensar um pacote pago.

Por que o ambiente de testes precisa de um número que não muda

O cenário de ponta a ponta — cadastro, confirmação, novo login, recuperação de acesso — depende de o número da conta não mudar entre as etapas. Um stub no lugar do código verifica o formulário, mas não a cadeia em si: a entrega do código ao ambiente de testes, a vinculação do número a uma conta já existente, a nova verificação na recuperação de senha. Essas etapas só são reproduzíveis com um código de verdade, que chega de fato a um número realmente fixado para os testes, e não injetado diretamente no cenário.

Por que a ativação avulsa não serve para regressão

A ativação avulsa vende o código, não o número: depois do recebimento ele é liberado, e na execução seguinte você recebe outro contato. O cenário de recuperação de acesso para uma conta de teste existente, em um número novo a cada vez, não se reproduz — a regressão exige justamente voltar a entrar pelo mesmo contato ao qual a conta já está vinculada. O slot offline resolve isso porque o número fica fixo durante todo o período de posse pago — um dia, 3 dias, uma semana, um mês, 3 meses ou seis meses — e o mesmo cenário pode ser executado nele até todo dia.

Quantos slots manter para o ambiente de testes

O número de slots se calcula pela quantidade de cenários paralelos, e não pela frequência das execuções: cadastro, verificação em duas etapas, recuperação de acesso e troca de número são no mínimo quatro contatos independentes, se os testes não devem disputar o mesmo slot. Para cada slot há, por dia, uma janela fixa de sinal grátis — uma hora, com até duas ativações — e esse limite basta para uma ou duas execuções curtas de regressão por dia em um cenário, se o código chega rápido e de forma previsível; com execuções mais frequentes, sai mais econômico já prever um pacote pago.

Planejamento da janela de sinal para a regressão

O slot precisa ser colocado no ar com antecedência, e não no momento em que o teste já está esperando o código: um SMS enviado a um número offline não chega, e depois de ligado o slot precisa de um tempo para se registrar na rede antes que o canal esteja pronto para receber mensagens. Um esquema prático é ligar o slot alguns minutos antes do início do cenário e manter a janela aberta durante toda a execução, em vez de fatiá-la para cada etapa individual do teste.

Isolamento dos números de produção e quando é preciso um pacote pago

Os slots de teste devem vir de um pool separado, e não dos mesmos números vinculados às contas de produção: misturar os dois confunde o controle de gastos e cria o risco de uma execução de regressão ocupar, por acidente, o sinal de um número que naquele momento está esperando um código de produção. As janelas grátis bastam enquanto a regressão cabe em uma ou duas sessões curtas por dia. Quando a execução é longa — o conjunto completo de testes no CI antes do release se estende por horas, e não por minutos —, duas janelas de uma hora, ou seja, duas horas de sinal por slot por dia, quase certamente não bastam, e o pacote pago de sinal garantido de 1, 3, 6, 12 ou 24 horas passa a ser necessário bem mais vezes do que antes: nesse período o canal fica ativo sem interrupção e não entra na fila do canal físico junto com as ativações gratuitas de outros slots.

Perguntas frequentes

Posso rodar a regressão todo dia no mesmo número offline?

Sim, é exatamente esse o sentido do esquema: o slot fica reservado para você durante todo o período pago, e o mesmo número participa do cenário quantas vezes for preciso, e não uma única vez por execução, como na ativação avulsa.

O que acontece se o teste não terminar dentro da hora grátis?

O slot fica offline e o código deixa de chegar — sobram as outras janelas do limite diário, e para uma execução longa vale contratar antes um pacote de sinal garantido, para que o canal não se feche no meio do cenário.

Como saber se as janelas grátis bastam para o ambiente de testes e se o pacote pago é dispensável?

Se a regressão cabe em uma ou duas sessões curtas de uma hora por dia e a ativação pode ser planejada com antecedência para o código esperado, as janelas grátis bastam; o pacote pago é necessário quando a execução é longa e contínua e não dá para esperar a próxima janela.

O conjunto de slots para o ambiente de testes, com janelas grátis e pacotes de sinal garantido, está na seção de aluguel offline de SMS. Como funciona a posse do slot em si e as ativações gratuitas, explicamos no artigo o que é o aluguel de número offline; sobre execuções de ponta a ponta com códigos reais no CI, no artigo testes automatizados com códigos reais; e sobre como não levar dados de produção para o ambiente de testes, no artigo dados para testes. Para escolher a duração do pacote pago para uma execução específica, veja o artigo como escolher a duração do sinal garantido.