一文读懂 Transformer（讲透本质）_一文读懂transformer-CSDN博客
什么是Transformer ？
Transformer 是一种神经网络架构，用于各种机器学习任务，尤其是在自然语言处理和计算机视觉领域。它专注于理解数据内部的关系，从而更有效地处理信息。
• 利用注意力机制来捕捉输入之间的关系
• 一次性处理整个序列，而不是逐步处理。
• 提高涉及上下文和依赖关系的任务的性能
• 广泛应用于自然语言处理、视觉和其他人工智能应用领域
Transformer模型
Transformer架构利用注意力机制一次性处理整个句子，而不是按顺序读取单词。这有助于克服RNN和LSTM等逐步处理数据的模型的局限性。
• 传统的模型，如循环神经网络（RNN），存在梯度消失问题，会导致长期记忆丧失。
• RNN按顺序处理文本，也就是说它们一次分析一个单词。
例如：
在句子“XYZ 于 2019 年去了法国，当时还没有 COVID 病例，并且在那里他见到了该国总统”中，“该国”指的是“法国”。
然而，RNN 可能难以有效地捕捉长距离依赖关系，尤其是在长序列中，这会使连接远距离的词语变得更加困难。
虽然在长短期记忆网络（LSTM）中添加更多记忆单元有助于解决梯度消失问题，但它们仍然需要逐个处理单词。这种顺序处理方式意味着LSTM无法一次性分析整个句子。
• 传统的 Seq2Seq 模型将整个输入压缩成一个固定大小的上下文向量。
• 这会造成信息瓶颈，尤其对于较长的序列而言。
• 压缩过程中可能会丢失重要的上下文信息，从而降低性能。
• Transformer 通过使用注意力机制直接访问所有令牌而无需压缩来解决这个问题。
例如：
“point”一词在这两个句子中具有不同的含义：
• “针尖很尖。”（针尖 = Tip）
• “用手指指着别人是不礼貌的。”（指着=手势）
Transformer 的核心概念
为什么 Transformer 改变了 AI 世界？
在深度学习发展过程中，NLP（自然语言处理）经历了三代核心架构：