本文系统解析了Transformer架构中encoder、decoder和encoder-decoder三类核心结构的区别,指出其关键在于信息流动方式、注意力范围和任务目标的差异。encoder采用双向注意力,适合文本理解与表征任务,典型模型为BERT;decoder采用因果注意力,专长自回归文本生成,典型模型为GPT系列;encoder-decoder则结合两者,适用于序列到序列转换任务如翻译和摘要,典型模型为T5和BART。文章还解释了当前生成式大模型多采用decoder-only架构的原因,并总结了
网络安全文章












