多头注意力热图

横向 16:9 图示，4 个注意力热图（2×2 网格），共享 12 标记输入。 X 轴和 Y 轴的标记标签（X 轴旋转 45°）：“The”、“quick”、“brown”、“fox”、“jumped”、“over”、“the”、“lazy”、“dog”、“near”、“the”、“river”。 四个 12×12 单元格面板，各自标题： “Layer 6, Head 3 — subject-verb”（突出显示“fox” / “jumped”之间的单元格） “Layer 9, Head 7 — coreference”（突出显示“the”(×2) / “river”之间的单元格） “Layer 11, Head 2 — prepositional”（突出显示“over” / “dog”, “near” / “river”之间的单元格） “Layer 14, Head 1 — sentence-final”（活动集中在最右侧列） 单元格颜色：尘土绿松石渐变，颜色越深表示权重越高。峰值单元格用 1px 柔和陶土色描边。最右侧有共享的垂直色条，标注刻度“0.0”、“0.25”、“0.5”、“0.75”、“1.0”，标签“attention weight”。 标题：“Representative multi-head attention patterns in a 16-layer Transformer”。副标题：“4 个头中的示例，精心挑选以展示不同头部功能；灵感来自 Clark et al., 2019。”