Há muita publicidade e desinformação sobre a nova atualização do algoritmo do Google. O que realmente é BERT, como funciona e por que é importante para o nosso trabalho como SEO? Junte-se à nossa própria especialista em aprendizado de máquina e processamento de linguagem natural, Britney Muller, enquanto analisa exatamente o que é o BERT e o que isso significa para o setor de pesquisa.
Clique na imagem acima para abrir uma versão em alta resolução em uma nova guia!
Transcrição de vídeo
Olá, fãs do Moz. Bem-vindo a outra edição do Whiteboard Friday. Hoje estamos falando de tudo relacionado ao BERT e estou muito empolgado por realmente tentar resolver isso para todos. Não pretendo ser especialista em BERT. Eu apenas fiz muita pesquisa. Consegui entrevistar alguns especialistas da área e meu objetivo é tentar ser um catalisador para que essas informações sejam um pouco mais fáceis de entender.
No momento, há uma grande comoção no setor que você não pode otimizar para o BERT. Embora isso seja absolutamente verdade, não é possível, você só precisa escrever um conteúdo realmente bom para seus usuários. Ainda acredito que muitos de nós entram nesse espaço porque temos curiosidade sobre a natureza. Se você está curioso para aprender um pouco mais sobre o BERT e conseguir explicá-lo um pouco melhor para os clientes ou conversar melhor sobre o contexto do BERT, espero que você goste deste vídeo. Se não, e isso não é para você, tudo bem também.
Palavra de cautela: Não exagere no BERT!
Estou muito animado para entrar imediatamente. A primeira coisa que quero mencionar é que consegui me sentar com Allyson Ettinger, que é um pesquisador de processamento de linguagem natural. Ela é professora da Universidade de Chicago. Quando pude falar com ela, a principal conclusão foi que é muito, muito importante não exagerar demais no BERT. Há muita comoção neste momento, mas ainda está longe de entender a linguagem e o contexto da mesma maneira que os humanos podem entendê-la. Por isso, acho importante ter em mente que não estamos dando muita ênfase ao que esse modelo pode fazer, mas ainda é realmente emocionante e é um momento bastante monumental na PNL e no aprendizado de máquina. Sem mais delongas, vamos pular diretamente.
De onde veio o BERT?
Eu queria dar a todos um contexto mais amplo de onde o BERT veio e para onde está indo. Acho que muitas vezes esses anúncios são um tipo de bomba lançada sobre a indústria e é essencialmente um quadro imóvel em uma série de filmes, e não temos os fragmentos completos antes e depois do filme. Ainda temos esse quadro. Por isso, recebemos este anúncio do BERT, mas vamos voltar um pouco ao passado.
Processamento de linguagem natural
Tradicionalmente, os computadores têm dificuldade em entender o idioma. Eles podem armazenar texto, podemos inserir texto, mas entender a linguagem sempre foi incrivelmente difícil para os computadores. Em seguida, vem o processamento de linguagem natural (PNL), o campo em que os pesquisadores desenvolveram modelos específicos para resolver vários tipos de compreensão de linguagem. Alguns exemplos são chamados de reconhecimento de entidade, classificação. Vemos sentimentos, perguntas e respostas. Todas essas coisas são tradicionalmente vendidas por modelos individuais de PNL e, portanto, parecem um pouco com a sua cozinha.
Se você pensa em modelos individuais, como os utensílios que usa em sua cozinha, todos têm uma tarefa muito específica que eles fazem muito bem. Mas quando o BERT chegou, era uma espécie de utensílios de cozinha. Foi o único utensílio de cozinha que faz mais de dez ou onze soluções de processamento de linguagem natural muito, muito bem depois de ter sido ajustado. Essa é uma diferenciação realmente empolgante no espaço. É por isso que as pessoas ficam muito empolgadas com isso, porque não têm mais todas essas coisas únicas. Eles podem usar o BERT para resolver todas essas coisas, o que faz sentido que o Google o incorpore ao seu algoritmo. Super, super emocionante.
Para onde vai o BERT?
Para onde está indo esse rumo? Para onde isso vai? Allyson havia dito:
"Acho que seguiremos o mesmo caminho por um tempo, construindo variantes maiores e melhores do BERT que são mais fortes na maneira como o BERT é forte e provavelmente com as mesmas limitações fundamentais".
Já existem várias versões diferentes do BERT e continuaremos vendo cada vez mais isso. Será interessante ver para onde esse espaço está indo.
Como o BERT ficou tão inteligente?
E se dermos uma olhada em uma visão muito simplificada de como o BERT se tornou tão inteligente? Eu acho isso fascinante. É bastante surpreendente que o Google tenha conseguido fazer isso. O Google pegou o texto da Wikipedia e uma grande quantia em dinheiro para o poder de computação do TPU, no qual eles se reuniram em um pod V3, um sistema de computador tão grande que pode alimentar esses modelos. E eles usaram um não supervisionado rede neural O interessante sobre como ele aprende e como ele se torna mais inteligente é que ele pega qualquer tamanho de texto arbitrário, o que é bom porque a linguagem é bastante arbitrária na maneira como falamos, no comprimento dos textos e a transcreve em um vetor .
Ele pegará um pedaço de texto e o codificará em um vetor, que é uma sequência fixa de números para ajudar a convertê-lo na máquina. Isso acontece em um espaço realmente selvagem e dimensional que nem sequer podemos imaginar. Mas o que ele faz é colocar o contexto e as diferentes coisas dentro da nossa linguagem nas mesmas áreas. Semelhante ao Word2vec, use esse truque chamado mascaramento.
Portanto, serão necessárias frases diferentes nas quais está treinando e ocultarão uma palavra. Use este modelo bidirecional para examinar as palavras antes e depois e prever qual é a palavra mascarada. Faz isso repetidamente até que seja extremamente poderoso. E pode ser ajustado ainda mais para executar todas essas tarefas de processamento de linguagem natural. Realmente, muito emocionante e um momento divertido para estar neste espaço.
Simplificando, o BERT é o primeiro profundamente bidirecional. Tudo o que isso significa é que você está olhando apenas as palavras antes e depois das entidades e do contexto, a representação da linguagem não supervisionada, previamente treinada na Wikipedia. Portanto, é esse modelo pré-treinado realmente bonito que pode ser usado de várias maneiras.
Quais são algumas das coisas que o BERT não pode fazer?
Allyson Ettinger escreveu este excelente trabalho de pesquisa chamado O que o BERT não pode fazer. Há um link Bitly que você pode usar para ir diretamente a ele. A conclusão mais surpreendente de sua pesquisa foi essa área de diagnóstico de negação, o que significa que O BERT não é muito bom para entender a negação.
Por exemplo, quando você entra com um Robin, é um … Preveja um pássaro, o que está correto, isso é ótimo. Mas quando um Robin entrou, não era … Ele também previu um pássaro. Então nos casos em que o BERT não tenha visto exemplos ou contexto de negação, ainda será difícil de entender. Há muitas coisas mais interessantes para levar. Eu recomendo que você dê uma olhada, coisas realmente boas.
Como você otimiza o BERT? (Não pode!)
Por fim, como você otimiza o BERT? Novamente, você não pode. A única maneira de melhorar seu site com esta atualização é Escreva um conteúdo realmente excelente para seus usuários e cumpra a intenção que eles estão procurando. E você não pode, mas uma coisa que eu apenas tenho que mencionar, porque sinceramente não consigo tirar isso da cabeça, é que há um vídeo no YouTube em que Jeff Dean, vamos ligar, é uma palestra de Jeff Dean, onde ele fala sobre BERT e ele Digite perguntas naturais e compreenda questões naturais. A grande conclusão para mim foi este exemplo, digamos que alguém fez a pergunta, você pode fazer e receber chamadas no modo avião? O bloco de texto no qual a camada de tradução do idioma natural do Google tenta entender todo esse texto. São muitas palavras. É muito técnico, difícil de entender.
Com essas camadas, aproveitando coisas como o BERT, eles foram capazes de responder a não toda essa linguagem complexa, longa e confusa. É muito, muito poderoso em nosso espaço. Considere coisas como fragmentos em destaque; considere as coisas como simplesmente gerais Recursos SERP. Quero dizer, isso pode começar a ter um grande impacto em nosso espaço. Então eu acho que é importante ter uma noção de onde tudo está indo e o que está acontecendo neste campo.
Eu realmente espero que você tenha gostado desta versão do Whiteboard Friday. Deixe-me saber se você tiver alguma dúvida ou comentário abaixo e espero vê-lo na próxima vez. Muito obrigado
Transcrição de vídeo por Speechpad.com
