# Transformer

> A modern nyelvi modellek mögötti neurális háló-architektúra — figyelemrétegek, amik megmérik, a korábbi szavak közül melyik számít a következő jóslásakor.

A 2017-es „Attention Is All You Need” című tanulmány mutatta be: a szekvenciális olvasást figyelem váltotta — minden token egyszerre nézi az összes korábbit, és eldönti, melyik releváns. Ez a párhuzamosítás tette lehetővé az internetléptékű szövegen való tanítást.

Szinte minden, amit az iparág LLM-nek hív — a GPT-sorozat, Claude, Gemini, Llama — a következő tokenre tanított transformer. Az architektúra határai a mező határai: fix kontextusablak, beépített memória nélkül, és a hosszal nőő költség.

## Kapcsolódó fogalmak

- https://dfieldsolutions.hu/hu/fogalomtar/llm.md
- https://dfieldsolutions.hu/hu/fogalomtar/context-window.md
- https://dfieldsolutions.hu/hu/fogalomtar/token.md

---

Source: https://dfieldsolutions.hu/hu/fogalomtar/transformer
DField Solutions — Dunakeszi, Hungary — dezso@dfieldsolutions.com
Booking: see https://dfieldsolutions.hu/en/contact