Attention-Mechanismus
Technik in neuronalen Netzen, die es dem Modell erlaubt, sich auf die relevantesten Teile der Eingabe zu konzentrieren.
Definition
Der Attention-Mechanismus (insbesondere Self-Attention) ist das Herzstück der Transformer-Architektur. Er ermöglicht dem Modell, bei der Verarbeitung jedes Tokens die Beziehung zu allen anderen Tokens im Kontext zu berechnen. So kann das Modell verstehen, dass in dem Satz 'Die Katze saß auf der Matte, weil sie müde war' das Wort 'sie' sich auf 'Katze' bezieht. Multi-Head Attention erweitert dies, indem mehrere Attention-Berechnungen parallel laufen und unterschiedliche Aspekte der Beziehungen erfassen. Der Attention-Mechanismus ist der Grund, warum Transformer-Modelle natürliche Sprache so viel besser verstehen als ihre Vorgänger.
Verwandte Begriffe
KI-Wissen vertiefen?
KI-Überblick liefert täglich eingeordnete KI-Trends, Lernpfade und Deep Dives — 14 Tage kostenlos.
Kostenlos starten