Menu
Técnicas

Experimentação de switchback

Oct 2020
Avalie?

Experimentos controlados usando testes A/B são uma ótima maneira de embasar as decisões sobre o desenvolvimento de produtos. Mas não funcionam bem quando não podemos estabelecer independência entre os dois grupos envolvidos no teste A/B — ou seja, adicionar alguém ao grupo "A" afeta o grupo "B" e vice-versa. Uma técnica para resolver essa categoria de problema é a experimentação de switchback. O conceito central aqui é a alternância entre os modos "A" e "B" do experimento em uma determinada região, em períodos alternados, em vez de ambos executando durante o mesmo período. Em seguida, comparamos a experiência de cliente e outras métricas importantes entre os dois intervalos de tempo. Nós testamos essa técnica com bons resultados em alguns de nossos projetos — é uma boa ferramenta para ter em nossa caixa de ferramentas para experimentos.