什么是变压器（Transformer）模型？它相对于传统循环神经网络有何优势？
变压器(Transformer)模型
变压器是一种用于自然语言处理的神经网络模型，由Vaswani等人在2017年引入。它采用了自注意力机制，能够并行计算序列中每个位置的表示，因此在处理长文本时效率更高。相对于传统循环神经网络，变压器模型的优势包括：
-
并行计算：传统循环神经网络需要按顺序处理序列中的元素，而变压器可以并行计算所有元素，加快了训练和推理速度。
-
长距离依赖：变压器模型能够捕捉长距离依赖关系，因为它采用了自注意力机制，允许输入的任意两个位置之间进行交互。
-
适应性：变压器模型对序列的长度不敏感，可以处理任意长度的输入，而循环神经网络则受限于序列长度。
示例：
from keras.layers import Input, Dense
from keras.models import Model
from keras.layers import MultiHeadAttention, LayerNormalization
inputs = Input(shape=(seq_length, input_dim))
self_attention = MultiHeadAttention(num_heads=2, key_dim=2)(inputs, inputs)
outputs = LayerNormalization(epsilon=1e-6)(self_attention)
model = Model(inputs=inputs, outputs=outputs)