Em 12 de junho de 2017, oito pesquisadores ligados ao Google publicaram no arXiv o artigo "Attention Is All You Need", que propôs o Transformer, arquitetura baseada só em mecanismos de atenção, sem recorrência nem convoluções. O modelo bateu recordes em tradução e foi apresentado na conferência NIPS 2017.
Em 12 de junho de 2017, Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser e Illia Polosukhin publicaram no repositório arXiv o artigo "Attention Is All You Need". O trabalho propôs o Transformer, uma arquitetura de rede neural para tarefas de sequência, como tradução, baseada apenas em mecanismos de atenção e sem as camadas recorrentes e convolucionais usadas até então. Na tradução do inglês para o alemão no conjunto WMT 2014, o modelo alcançou 28,4 pontos BLEU, mais de 2 pontos acima dos melhores resultados anteriores, inclusive de combinações de modelos. O artigo foi apresentado na conferência NIPS 2017.
Em retrospecto, é um dos trabalhos mais influentes da década em inteligência artificial, porque a arquitetura Transformer se tornou a base dos grandes modelos de linguagem.
O que o artigo propôs?
Até 2017, os modelos mais usados para tradução automática processavam o texto de forma sequencial, palavra a palavra, com redes recorrentes, ou usavam convoluções. O Transformer substituiu esses mecanismos pela atenção, que permite ao modelo relacionar diretamente cada parte da frase com as demais. Segundo o resumo do artigo, as vantagens eram:
- Qualidade superior em tradução automática.
- Mais paralelização, o que aproveita melhor o hardware.
- Treinamento mais rápido, com custo bem menor que o dos melhores modelos anteriores.
- Generalização: bons resultados também em análise sintática do inglês, com muitos ou poucos dados de treino.
Quais foram os resultados?
| Tarefa (WMT 2014) | Resultado relatado | Observação |
|---|---|---|
| Inglês para alemão | 28,4 BLEU | Mais de 2 pontos acima do melhor resultado anterior, inclusive combinações de modelos |
| Inglês para francês | Novo recorde para modelo único | 41,0 BLEU na versão registrada pelo Google Research; 41,8 na versão atual do arXiv |
| Tempo de treino (inglês-francês) | 3,5 dias em oito GPUs | Fração pequena do custo dos melhores modelos da época |
BLEU é uma métrica que compara a tradução da máquina com traduções de referência; quanto maior, mais próxima delas. A diferença entre 41,0 e 41,8 aparece entre versões do artigo e é registrada aqui para evitar confusão.
Quem eram os autores?
A página da publicação no Google Research lista os oito autores e indica a conferência NIPS 2017 como local de publicação. O artigo segue disponível no arXiv sob o número 1706.03762, com revisões posteriores à versão original de junho de 2017.
Por que o Transformer importa tanto hoje?
Em 2017, o resultado era apresentado como um avanço em tradução automática. Com o tempo, a arquitetura passou a ser usada em muitas outras tarefas de linguagem. Para entender o impacto, ajudam três pontos do próprio artigo:
- Paralelização: arquiteturas que treinam mais em paralelo permitem usar mais dados e mais capacidade de computação.
- Atenção como mecanismo central: a capacidade de relacionar partes distantes de um texto é essencial para compreender contexto.
- Generalização: o bom desempenho em análise sintática sugeria que a arquitetura não servia só para tradução.
O que isso significa hoje para quem contrata soluções de IA?
Os assistentes e modelos de linguagem usados hoje descendem dessa linha de pesquisa. Para quem contrata uma consultoria ou software house para projetos com IA generativa, entender a origem ajuda a calibrar expectativas: são modelos estatísticos de linguagem, muito bons em padrões de texto, mas que exigem avaliação, controle de qualidade e cuidado com dados. Vale pedir ao fornecedor métricas de avaliação no seu caso de uso, e não apenas resultados de benchmarks públicos.
Fontes
Compare nota, avaliações verificadas e score, e fale direto com a empresa pela Citeo.
Perguntas frequentes
O que é o artigo "Attention Is All You Need"?
É um artigo científico publicado em 12 de junho de 2017 no arXiv por oito pesquisadores, entre eles Ashish Vaswani e Noam Shazeer, que propôs o Transformer, arquitetura de rede neural baseada apenas em mecanismos de atenção. Foi apresentado na conferência NIPS 2017.
Quais resultados o Transformer obteve em 2017?
Na tradução do inglês para o alemão (WMT 2014), alcançou 28,4 BLEU, mais de 2 pontos acima do melhor resultado anterior. Na tradução do inglês para o francês, estabeleceu novo recorde para um modelo único, treinado em 3,5 dias com oito GPUs.
Qual a diferença do Transformer para modelos anteriores?
Segundo os autores, o Transformer dispensa totalmente as redes recorrentes e as convoluções, usando apenas atenção. Isso permite mais paralelização e treinamento mais rápido, com qualidade superior em tradução.