O teste A / B de suas alterações de SEO pode oferecer uma vantagem competitiva e evitar mudanças negativas que podem reduzir seu tráfego. Neste episódio do Whiteboard Friday, Emily Potter compartilha não apenas o motivo pelo qual A / B testa suas alterações é importante, mas também como desenvolver uma hipótese, o que significa coletar e analisar os dados e refletir sobre como tirar suas conclusões.
Clique na imagem acima para abrir uma versão em alta resolução em uma nova guia!
Transcrição de vídeo
Olá, fãs do Moz. Sou Emily Potter e trabalho na Destilled em nosso escritório em Londres. Hoje vou falar com você sobre Teste de hipótese em SEO e significância estatística.
No Distilled, usamos uma plataforma chamada ODN, que é a Destiled Optimization Delivery Network, para realizar testes de SEO A / B. Agora, nesse caso, usamos testes de hipótese. Talvez eu não consiga implementar o ODN, mas ainda acredito que hoje você pode aprender algo valioso sobre o qual estou falando.
Avaliação de Hipóteses
As quatro etapas principais do teste de hipótese
Portanto, quando usamos testes de hipótese, usamos quatro etapas principais:
- Primeiro nós formular uma hipótese
- Então nós coletar dados Nessa hipótese.
- Nós analisar os dados, e então…
- Nós tirar algumas conclusões disso no final.
A parte mais importante dos testes A / B é ter uma hipótese sólida. Aqui em cima, eu falei sobre como formular uma forte hipótese de SEO.
1. Formando sua hipótese
Três mecanismos para ajudar a formular uma hipótese.
Agora devemos lembrar que, com o SEO, estamos tentando impactar três coisas para aumentar o tráfego orgânico.
- Ou estamos tentando Melhore as taxas de cliques orgânicos. Portanto, essa é a alteração que faz com que sua aparência nas SERPs pareça mais atraente para seus concorrentes e, portanto, mais pessoas clicam no seu anúncio.
- Ou você pode melhore seu ranking orgânico Então você se move mais alto.
- Ou também poderíamos Classificação para mais palavras-chave.
Também poderia estar impactando uma mistura dessas três coisas. Mas você só quer ter certeza de que um deles é claramente direcionado ou não é realmente um teste de SEO.
2. Coletando os Dados
Agora, então, coletamos nossos dados. Novamente, no Distilled, usamos a plataforma ODN para fazer isso. Agora, com a plataforma ODN, fazemos testes A / B e dividimos as páginas em grupos estatisticamente semelhantes.
Teste A / B com seu controle e sua variante
Assim, quando fazemos isso, pegamos nosso grupo de variantes e usamos uma análise matemática para decidir o que achamos que o grupo de variantes teria feito se não tivéssemos feito essa alteração.
Aqui em cima, temos a linha preta, e é isso que ele está fazendo. Ele está prevendo o que nosso modelo pensou que o grupo de variantes faria se não tivéssemos feito nenhuma alteração. Essa linha pontilhada aqui é quando o teste começou. Então você pode ver após o teste que houve uma separação. Essa linha azul é realmente o que aconteceu.
Agora, porque há uma diferença entre essas duas linhas, podemos ver uma mudança. Se mudarmos para cá, acabamos de traçar a diferença entre essas duas linhas.
Como a linha azul está acima da linha preta, chamamos isso de teste positivo. Agora, essa parte verde aqui é o nosso intervalo de confiança e, como padrão, é um intervalo de confiança de 95%. Agora usamos isso porque usamos testes estatísticos. Portanto, quando as linhas verdes estiverem todas acima da linha zero ou abaixo de um teste negativo, podemos chamar isso de teste estatisticamente significativo.
Para isso, nossa melhor estimativa é que isso aumentaria as sessões em 12% e isso representa aproximadamente 7.000 sessões orgânicas por mês. Agora, de cada lado, você pode ver que eu escrevi 2,5%. Isso significa que tudo isso soma 100, e a razão é que você nunca obtém um resultado 100% seguro. Sempre existe a possibilidade de haver uma possibilidade aleatória e de você ter um falso negativo ou positivo. É por isso que dizemos que temos 97,5% de certeza de que isso foi positivo. Isso é porque temos 95 mais 2,5.
Testes sem significância estatística.
Agora, no Distilled, descobrimos que existem muitas circunstâncias nas quais temos evidências que não são estatisticamente significativas, mas há fortes evidências de que elas tiveram uma melhoria. Se nos mudarmos para cá, tenho um exemplo disso. Portanto, este é um exemplo de algo que não foi estatisticamente significativo, mas vimos uma forte melhoria.
Agora você pode ver que nossa linha verde ainda possui uma área negativa, e isso indica que ainda existe a possibilidade de que, com um intervalo de confiança de 95%, esse seja um teste negativo. Agora, se voltarmos para baixo, eu fiz nossa rosa novamente. Portanto, temos 5% de ambos os lados e podemos dizer aqui que temos 95% de certeza de que houve um resultado positivo. Isso ocorre porque esses 5% também estão sempre acima.
3. Analise os dados para testar hipóteses
Agora, a razão pela qual fazemos isso é tentar implementar mudanças com as quais temos uma hipótese sólida e ser capaz de obter esses triunfos com eles, em vez de simplesmente rejeitá-los completamente. Agora, parte da razão disso também é que dizemos que estamos fazendo negócios e não ciência.
Aqui, eu criei um gráfico de quando poderíamos implementar um teste que não fosse estatisticamente significativo, e isso se baseia em quão forte ou fraca é a hipótese e em quão barata ou cara a mudança é.
Hipótese forte / mudança barata
Agora, por aqui, no canto superior direito, quando tivermos uma hipótese forte e uma mudança barata, provavelmente a implementaremos. Por exemplo, recentemente fizemos um teste como esse com um de nossos clientes no Distilled, onde eles adicionaram a palavra-chave principal ao H1.
Este resultado final parecia com este gráfico aqui. Foi uma hipótese forte. Não foi uma mudança dispendiosa de implementar, e decidimos implementar esse teste porque tínhamos certeza de que isso seria positivo.
Hipótese fraca / mudança barata
Agora, do outro lado aqui, se você tem uma hipótese fraca, mas ainda é barata, talvez a evidência de uma melhoria ainda seja uma razão para implementá-la. Você teria que se comunicar com seu cliente.
Hipótese forte / mudança cara
Na mudança dispendiosa com um forte ponto de hipótese, você terá que pesar o benefício que poderia obter com o retorno do investimento se calcular a renda esperada com base na alteração percentual que está chegando lá.
Hipótese fraca / mudança barata
Quando se trata de uma hipótese fraca e de uma mudança cara, só queremos implementá-la se for estatisticamente significativa.
4. Tire conclusões
Agora devemos lembrar que, quando testamos hipóteses, tudo o que fazemos é tentar testar a hipótese nula. Isso não significa que um resultado nulo significa que não houve efeito. Tudo o que isso significa é que não podemos aceitar ou rejeitar a hipótese. Estamos dizendo que isso foi aleatório demais para dizermos se isso é verdade ou não.
Agora, o intervalo de confiança de 95% é capaz de aceitar ou rejeitar a hipótese, e estamos dizendo que nossos dados não são ruído. Quando há menos de 95% de confiança, como está aqui, não podemos dizer que aprendemos algo da maneira como faríamos com um teste científico, mas ainda poderíamos dizer que temos evidências bastante fortes de que isso produziria um resultado positivo. Efeito nessas páginas.
As vantagens de tentar
Agora, quando conversamos com nossos clientes sobre isso, é porque estamos realmente apontando aqui para dar uma vantagem competitiva sobre outras pessoas em suas verticais. Agora, a principal vantagem dos testes é Evite essas mudanças negativas.
Queremos ter certeza de que as alterações que estamos fazendo não estão realmente reduzindo o tráfego, e o vemos muito. Em Destilled, chamamos isso de bala esquivada
Agora, isso é algo que espero que você possa contribuir com seu trabalho e poder usar com seus clientes ou com seu próprio site. Com sorte, você pode começar a formular hipóteses e, mesmo que não consiga implementar algo como ODN, ainda poderá usar seus dados do GA para tentar ter uma idéia melhor se as alterações que você estiver fazendo estiverem ajudando ou prejudicando seu tráfego. É tudo o que tenho para você hoje. Obrigada
Transcrição de vídeo por Speechpad.com
