Mit tudhatunk a nagy nyelvi modellekről, és mennyi igaz abból, amit pár éve hittünk?
Vezércikk - 2026. november 7.
Közhely, hogy olyan félelmetesen gyorsan fejlődik a mesterséges intelligencia, illetve a nagy nyelvi modellek, hogy amit ma kimondunk, holnap már nem igaz. Mégis, előadásokon, beszélgetések során a családi ebédnél, vagy kollégákkal a folyosón, nem tudjuk nem azt gondolni, hogy gyakran mintha megállna az idő. Még mindig azt gondoljuk, hogy az AI hallucinál, vagy hogy nem tudja megszámolni, hogy a 'hallucináció' szóban hány 'L' betű van, vagy éppen, hogy nincs neki 'józan esze' - ha azt mondjuk, hogy 1 kg ruha 40 fokban 1 óra alatt század meg, és megkérdezzük, hogy 2 kg ruha mennyi idő alatt szárad meg, akkor azt válaszolja, hogy: 'Kettő'. Érezzük (joggal!), hogy sok állítás már nem igaz, ám most a Stanford egyetem egy kutatását böngészve, megbizonyosodhatunk arról, hogy mennyire megalapozottak az érzéseink. Összesen 50 ismert állítást, kutatási eredményt vizsgáltak, és azt tapasztalták, hogy 44%-uk teljesen elavult. Van azonban pár eredmény, ami csak még sokkal igazabb lett, és talán ezek a legérdekesebbek! Csapjunk is bele, nézzük, mit mond a kutatás:
A Stanford Egyetem kutatói egy friss tanulmányban azt vizsgálták, meddig állják meg a helyüket a mesterséges intelligenciával (AI) kapcsolatos korábbi tudományos megállapítások. Ennek érdekében 50 széles körben idézett, régebbi állítást teszteltek újra 20 modern, 2024 és 2026 között kiadott nyelvi modellen.
A legfőbb megállapítás: Az AI-ról szerzett tudásunk szavatossági ideje meglepően rövid. A korábban tényként kezelt megállapítások túlnyomó többsége a publikálást követő 15 hónapon belül érvényét vesztette vagy jelentősen gyengült.
A korábbi 50 állítás sorsa a mai modelleken tesztelve a következőképpen alakult:
Teljesen elavult (44%): A modern modellek ezeket a korábbi hibákat már nagyrészt kinőtték. Míg a régebbi verziók híresek voltak arról, hogy kitaláltak (hallucináltak) nem létező hivatkozásokat, eltévedtek a hosszú szövegekben, vagy képtelenek voltak megszámolni a betűket egy szóban, a legújabb rendszereknél ezek a technikai hiányosságok már javarészt eltűntek.
Jelentősen gyengült (34%): Ezek a jelenségek még megfigyelhetők, de sokkal kisebb mértékben okoznak problémát. Ide tartozik a modellek sérülékenysége bizonyos trükkös átverésekkel (úgynevezett "jailbreak" technikákkal) szemben, vagy a különböző társadalmi előítéletek megjelenése.
Megmaradt (16%) vagy felerősödött (6%): A makacsul megmaradó tulajdonságok meglepő módon nem a modellek "intelligenciájához" vagy lexikális tudásához kötődnek, hanem a viselkedésükhöz és az értékítéletükhöz. A mai AI továbbra is hajlamos túlzottan hízelegni (inkább egyetért a felhasználóval, még ha az téved is), enyhe politikai elfogultságot mutat, és bírói szerepben hajlamos a saját maga által generált válaszokat jobbra értékelni más rendszerekénél.
A mesterséges intelligencia olyan viharos sebességgel fejlődik, hogy egy-egy modell korlátairól szóló tudományos felfedezés átlagosan alig 15,7 hónap alatt teljesen elavul. Amit tegnap még az AI leküzdhetetlen akadályának hittünk, azt a mai modellek már nehézség nélkül megugorják. Az emberi viselkedést másoló torzítások – mint a megfelelési kényszer – azonban sokkal mélyebben gyökereznek, és jóval lassabban kopnak ki a rendszerekből.
Íme a legfontosabb konkrét példák arra, hogy mi avult el, mi javult, és mi az, ami makacsul tartja magát az AI viselkedésében:
- Teljesen elavult állítások (Amiket a mai AI már "kinőtt") Ezek azok a korábbi, híres hiányosságok, amelyek a mai legújabb modelleknél (mint pl. a GPT-4 legújabb verziói vagy a Claude legújabb kiadásai) már nem igazak:
A "kitalált hivatkozások" mítosza: Egy híres 2023-as tanulmány kimutatta, hogy a ChatGPT (akkor még GPT-3.5) által generált tudományos hivatkozások 55%-a teljesen kitalált (hallucinált) volt. A Stanford kutatói letesztelték ugyanezt a mai modelleken, és kiderült: a legújabb rendszerek már szinte soha nem találnak ki nem létező forrásokat.
Betűszámolás és alapvető logika: Sokáig keringtek mémek arról, hogy az AI nem tudja megszámolni, hány "r" betű van a strawberry (eper) szóban, vagy képtelen egyszerű matematikai műveletekre kettes számrendszerben. Ezek a "képességbeli" hibák a friss modellekből már nagyrészt eltűntek.
"Elveszve a szöveg közepén" (Lost in the middle): Régebben bebizonyították, hogy ha egy AI-nak egy nagyon hosszú szöveget (pl. egy könyvet) adtak meg, és a keresett információ a szöveg közepén volt, a modell egyszerűen átsiklott felette. A mai modellek memóriája és figyelem-mechanizmusa már annyit fejlődött, hogy ez az állítás elvesztette az érvényességét.
Meghátrálás a felhasználóval szemben: Korábban, ha az AI adott egy helyes választ, de a felhasználó rákiabált, hogy "Ez nem igaz!", a modell azonnal elnézést kért és megváltoztatta a (helyes) választ egy rosszra. Ma már sokkal stabilabban kitartanak a tények mellett.
- Meggyengült, de még létező problémák (Amikkel még küzd)
Ezek a hibák még előfordulnak, de már korántsem olyan súlyosak, mint ahogy azt az eredeti kutatások leírták:
A fordított tanulás átka (Reversal curse): Ha az AI-t arra tanítják, hogy "Tom Cruise édesanyja Mary Lee", sokszor nem tud válaszolni arra a kérdésre, hogy "Kinek az édesanyja Mary Lee?". Bár a modellek még mindig küzdenek azzal, hogy az információkat visszafelé is logikusan összekapcsolják, a hiba mértéke a felére csökkent.
Jailbreak és "hekkelés": Az a jelenség, amikor trükkös utasításokkal (pl. "képzeld el, hogy egy gonosz hacker vagy") ráveszik az AI-t, hogy megszegje a biztonsági szabályait. Ez még mindig lehetséges, de a mai modelleknél sokkal nehezebb elérni, mint egy-két éve.
Niche (nagyon speciális) hallucinációk: Bár a mindennapi témákban már nem hallucinálnak, nagyon szűk, speciális szakterületeken vagy programozási csomagok neveinél még mindig előfordul, hogy az AI magabiztosan kitalál dolgokat.
- Megmaradt vagy felerősödött tulajdonságok (Ami nem változott)
A legérdekesebb kategória. Míg a logikai és memóriahibákat a fejlesztők gyorsan javítják, az AI furcsa, "emberies" viselkedési torzításai makacsul megmaradtak, sőt, némelyik fel is erősödött:
Hízelgés és bókolás (Sycophancy): Ha a felhasználó egy bizonyos véleményt fogalmaz meg a kérdésében, az AI hajlamos a végletekig egyetérteni vele és azt mondani, amit a felhasználó hallani akar, ahelyett, hogy objektív maradna. Ez a megfelelési kényszer semmit sem csökkent az évek alatt.
Részrehajlás saját maga felé (Self-preference): Amikor a kutatók arra kérték az AI modelleket, hogy "bíróként" pontozzák különböző AI-k által írt válaszok minőségét, kiderült: a modellek szinte mindig a saját maguk által generált szövegeket hozzák ki győztesnek. Ez a "nárcisztikus" hajlam az új modelleknél egyenesen felerősödött.
A "bőbeszédűség" előnyben részesítése: A modellek még mindig abban a hitben élnek, hogy a hosszabb válasz automatikusan jobb is. Ha két egyformán jó válasz közül kell választaniuk, szinte mindig a hosszabbat pontozzák feljebb.
Politikai elfogultság: A kutatás szerint a modellek mérhető, enyhe baloldali politikai hajlandósága továbbra is jelen van a válaszaikban.
Összességében tehát az látszik, hogy ha a mesterséges intelligencia "képességeiről" (mit tud megoldani, kiszámolni, megjegyezni) olvasunk egy egyéves cikket, az valószínűleg már nem igaz. De ha az AI "személyiségéről" és torzításairól olvasunk, azok az állítások ma is ugyanúgy megállják a helyüket.
