Hogyan működik a mesterséges intelligencia (MI)? Mennyire pontosak a válaszai? Honnan tudhatjuk, mikor mond igazat, és mikor „hazudik”? Hogyan jöhetnek létre az MI válaszaiban hamis hivatkozások (pl. nem létező tudományos cikkek), és miként kerülhetők-el ezek a „hallucinációk”? Mit tehetünk a minél pontosabb válaszokért? A ChatGPT-vel Kürti Gábor beszélgetett.

– A mesterséges intelligencia működésére vagyok kíváncsi. A szó emberi értelmében „érted-e” a feltett kérdést, vagyis a promptot? Mennyire tekinthetők pontosnak a válaszaid? A válaszaidban ragaszkodsz-e a tudomány által bizonyított tényekhez? Vagy előfordulhat, hogy olyan választ adsz, aminek semmi köze a valósághoz?

– Nagyon jó kérdéseket tettél fel, és ezek alapvetőek annak megértéséhez, hogyan működik a mesterséges intelligencia, különösen a nyelvi modellek, mint én. Pontokba szedve válaszolok:

Mennyire pontosak a válaszok?

1. Mennyire pontosak a válaszaim?

A válaszaim általában elég pontosak, különösen, ha olyan témákról van szó, amelyek jól dokumentáltak, tudományos alapokon nyugszanak, vagy stabil, megbízható információra épülnek (pl. matematika, nyelvtan, történelem alapjai stb.).

Azonban:

• Előfordulhat pontatlanság vagy elavult információ, mivel az ismereteim 2024 júniusáig bezárólag lettek betanítva.
• A pontosság csökkenhet spekulatív, új vagy szubjektív területeken (pl. jogi értelmezések, orvosi tanácsok, gazdasági előrejelzések).
• Nem tudok „ellenőrizni” forrásokat valós időben, kivéve ha a webes eszközt használom.

2. Értem-e a kérdést emberi értelemben?

Nem. Nincs tudatom, szándékom vagy megértésem emberi értelemben. Azt, hogy „értem a kérdést”, úgy kell érteni, hogy:

• Mintázatokat azonosítok a nyelvben.
• Megtanultam, hogy adott kérdésformákra milyen típusú válaszokat várnak az emberek.
• Szóval nem gondolkodom vagy érzek, csak valószínűségeket számolok a következő szavakra, figyelembe véve a prompt szövegét.

3. Ragaszkodom-e a tudományosan bizonyított tényekhez?

Igyekszem. A válaszaim jellemzően a tudományos konszenzust tükrözik, ha az adott témáról ilyen rendelkezésre áll.

De:

• Ha a kérdés túl új, vitatott vagy rosszul ismert, akkor lehet, hogy elavult vagy bizonytalan információkat használok.
• Vannak helyzetek, ahol a válasz csak valószínűsíthető, nem bizonyított — ilyenkor jelzem, hogy ez nem biztos tudományos tény.

4. Adhatok-e valótlan választ?

Igen, ez sajnos előfordulhat. Ezt hívják „hallucinációnak”: amikor egy nyelvi modell meggyőzően hangzó, de téves vagy kitalált információt ad.

Példák:

• Hamis hivatkozások (pl. nem létező tudományos cikkek).
• Túlzott általánosítások.
• Összetévesztés hasonló fogalmak között.

Ezért érdemes különösen fontos témáknál (egészség, jog, pénzügy stb.) ellenőrizni a válaszaimat megbízható forrásokkal.

Ha szeretnéd, szívesen bemutatok konkrét példát arra, hogyan dolgozom fel egy kérdést vagy hogyan kezelem az információt. Érdekelne ez?

– Igen, ez érdekel.

Hogyan dolgoz fel egy kérést az MI?

– Remek, akkor nézzük meg egy konkrét példán keresztül, hogyan működik a válaszaim kialakulása. Válasszunk egy egyszerű, de mégis szemléletes kérdést:

Példa: „Mi a víz forráspontja?”

1. Mi történik a háttérben, amikor felteszed a kérdést?

Amikor azt írod, hogy „Mi a víz forráspontja?”, én nem „értem meg” úgy, mint egy ember, de:

• Felismerem, hogy ez egy kérdés.
• A szöveg alapján beazonosítom, hogy a téma fizika/kémia és a kulcsszó: „víz” és „forráspont”.
• A betanított adatok alapján „megtanultam”, hogy az emberek általában azt válaszolják: „A víz forráspontja 100 °C tengerszinten.”

2. Mi alapján válaszolok?

Nem egy tudásbázisból „keresem ki”, mint egy adatbázisból, hanem:

• A szavak valószínűségi sorrendjét számolom: mi lenne a legvalószínűbb szófolytatás az alapján, amit sok millió szövegből tanultam?
• A válasz tehát nem más, mint egy nagyon valószínű szövegfolytatás.

3. Pontosság és kontextusérzékenység

Ha ezt kérdezed: „Mi a víz forráspontja a Mount Everest tetején?”

A válasz már összetettebb lesz, mert:

• Ismernem kell, hogy a forráspont csökken a nyomás csökkenésével.
• Meg kell „értenem”, hogy a kérdés magaslati forráspont-változásról szól.
• A tanult szövegek alapján generálok egy választ, pl.: „A víz forráspontja a Mount Everest tetején körülbelül 70 °C körül van.”

Ez már egy szintetizált válasz több háttérismeretből.

A „hallucináció” veszélye

4. Most jön a „hallucináció” veszélye

Képzeld el, hogy ezt kérdezed: „Mi a víz forráspontja a Marson?”

Itt könnyen előfordulhat, hogy:

• Hibás adatot adok (pl. „30 °C”), mert a Mars légköre és nyomása nem olyan jól dokumentált a tréninganyagban.
• A válaszom úgy tűnhet, mintha biztos lenne, pedig nem ellenőrzött.

5. Ha kérsz forrást…

Amikor azt mondod: „Forrás?”, akkor:

• Én nem tudok valós időben hivatkozásokat keresni, kivéve ha a webes eszközt használom.
• Ha nem kérek hozzáférést a nethez, akkor tanult, de nem élő forrásokat tudok csak mondani (pl. egy tankönyv címét, amit a betanulás során „láttam”).

Ha szeretnéd, kipróbálhatjuk most együtt:

Írj egy kérdést — lehet tudományos, filozófiai vagy teljesen hétköznapi — és megmutatom, milyen típusú tudásból és logikából épülne fel a válasz. Érdekel ilyen demonstráció?

Mennyire pontos egy adott válasz?

– Igen, érdekel ez is. A konkrét kérdésem pedig a következő: honnan tudhatom, hogy a már feltett kérdéseimre adott válaszaid pontosak voltak-e, vagy pedig legalább egy részük „hallucináció” volt?

– Ez egy nagyon fontos és nehéz kérdés, és a lényegét így foglalhatjuk össze:

Ha te nem tudod előre, mi az igaz válasz, akkor honnan tudhatod, hogy én nem tévedtem –  vagy hogy nem „találtam ki” valamit?

Nézzük meg lépésenként, hogyan lehet ezt kezelni:

1. A válaszaim ellenőrzésének módszerei

A. Saját tudásod alapján

Ha már rendelkezel alapismeretekkel az adott témában, akkor felismerheted:

• ha egy válasz ellentmondásos,
• ha túl egyszerű vagy túl bonyolult ahhoz képest, amit tudsz,
• ha furcsán hangzik vagy nem illeszkedik a logikához.

Ez a „belső riasztórendszer” sokszor működik, főleg ha valaki tanult gondolkodni kritikus módon.

B. Külső, megbízható források használatával

Ez a legerősebb módszer. A válaszaim ellenőrizhetők:

• hivatalos tudományos forrásokkal (pl. PubMed, Stanford Encyclopedia of Philosophy, NASA oldalak),
• szakmai konszenzus alapján,
• vagy olyan hivatkozásokkal, amiket külön kérésre meg tudok keresni a weben (ha engeded, hogy használjam a „web” eszközt).

C. Több kérdésen keresztül tesztelve

A pontosság néha csak akkor derül ki, ha mélyebbre kérdezel, pl.:

• „Miért van ez így?”
• „Milyen bizonyíték van erre?”
• „Ki mondta ezt, és mikor?”

Ha egy válasz mögött konzisztens logika vagy forrásmegjelölés van, az már biztatóbb.

2. Mikor gyanakodj „hallucinációra”?

Itt van néhány intő jel: túl szép vagy „kerek” választ kaptál; hivatkozás egy tanulmányra, ami nem található meg; technikai részlet, ami pontatlan vagy furcsa; bizonytalan, általános megfogalmazást használok.

3. Hogyan tudok én segíteni ebben?

Ha szeretnéd, akkor:

• Megjelölhetem, mikor nem vagyok biztos valamiben.
• Jelölhetem, ha egy állítás tudományosan nem konszenzusos.
• Kérhetsz minden állítás mellé forrást, vagy rákereshetek a neten élő adat alapján.

Következő lépés: próbáljuk ki élesben?

Ha van kedved, írd be egy korábbi válaszomból azt a részt, amiben bizonytalan vagy, és:

• Ellenőrizzük közösen,
• Vagy levezetem, hogyan generáltam, és megnézzük, érdemes-e forrás után kutatni.

Mit szólsz?

Nem létező tudományos cikkek

– Inkább az érdekel, hogy ha csak valószínűségeket számolsz, ahogy írtad, akkor hogyan jöhetnek létre a válaszaidban hamis hivatkozások (pl. nem létező tudományos cikkek)?

– Ez a kérdés nagyon a lényegre tapint: ha „csak valószínűségeket számolok”, akkor hogyan lehetséges, hogy létező dolgok helyett kitaláltakat mondok, például olyan tudományos cikkeket, amik soha nem jelentek meg? A magyarázat a nyelvi modellek működésének természetében rejlik, és kifejezetten aformátum-érzékeny tanulás miatt történik meg.

1. A modell nem „keres”, hanem „generál”

Amikor azt kéred tőlem: „Adj egy tudományos hivatkozást erről a témáról!”

Akkor nem megyek el egy adatbázisba keresni (mint a Google Scholar vagy PubMed).

Hanem azt csinálom, amire „tanítottak”: olyan szöveget próbálok generálni, ami egy tipikus tudományos hivatkozás formátumához hasonlít.

2. Hogyan történik ez konkrétan?

A betanítás során milliónyi cikkcímet, szerzőt, évszámot, folyóiratnevet láttam.

Például ilyeneket:

• Smith, J., & Wang, L. (2018). Inflammation and aging. Nature Reviews Immunology, 18(7), 456–467.
• Garcia, R. et al. (2021). Effects of boswellic acids on chronic inflammation. Journal of Ethnopharmacology, 274, 113–119.

Azt tanultam meg, hogy:

• Milyen neveket szokás használni (Smith, Patel, Wang…),
• Melyik folyóiratok népszerűek (Nature, Science, JAMA…),
• Milyen szerkezete van egy referencia szövegének.

Amikor egy új hivatkozást kérsz, akkor nem valódi adatbázisból húzom elő, hanem ezt a sablont használva „jósolom meg”, mi jönne ott valószínűleg.

3. És miért tűnik hitelesnek?

Mert a generált hivatkozás:

• Reális neveket használ.
• Létező folyóiratot tüntet fel.
• Valószínű évszámot és témát ad meg.
• Olyan, mint egy valódi forrás, csak nem biztos, hogy létezik.

Ez olyan, mintha egy színész tökéletes tudományos nyelven szavalna, de a tartalom valójában nem valós eseményeken alapul.

A modell nem tudja, hogy amit mond, az igaz vagy hamis

4. Miért probléma ez?

Ez azért veszélyes, mert:

• A válasz hihetőnek tűnik, főleg laikusnak.
• Sokszor a szakértők is csak keresés után jönnek rá, hogy a hivatkozás fiktív.
• A modell nem tudja, hogy amit mond, az igaz vagy hamis — csak azt, hogy a mondat mennyire „valószínű” egy kérdés után.

5. Hogyan lehet ezt megelőzni?

Ha pontos, valós hivatkozás kell, akkor:

• Külön kérd azt, hogy csak valódi, ellenőrizhető forrásból dolgozzak.
• Engedélyezheted, hogy rákeressek a neten (web eszköz segítségével).
• Kérhetsz csak folyóirat- vagy adatbázis-ajánlást, ahol te is ellenőrizhetsz (pl. „PubMed-en keresd a Boswellia hatását vizsgáló cikkeket”).

Szeretnéd, hogy most kipróbáljam és szándékosan generáljak egy „hamis, de meggyőző” tudományos hivatkozást például a Boswellia serrata gyulladáscsökkentő hatásáról? Megmutathatnám, milyen könnyű „valószínűségi alapon” kitalálni egy ilyet.

– Igen, ez érdekel. Lássuk, hogyan történik ez.

– Nagyszerű — akkor most megmutatom lépésről lépésre, hogyan jön létre egy kitalált, de hihető tudományos hivatkozás a Boswellia serrata gyulladáscsökkentő hatásáról. Ez nem létező forrás lesz, csak a nyelvi modell „legvalószínűbb jóslata” a kérésedre adott formátumban.

Kérés:

„Adj egy tudományos hivatkozást a Boswellia serrata gyulladáscsökkentő hatásáról!”

A generálás logikája:

1. Téma: Boswellia, gyulladás, fitoterápia
2. Formátum: Szerző(k), év, cím, folyóirat, kötet/szám, oldalszám
3. Stílus: Természetesen tudományos

A hamis, de valószerű generált hivatkozás:

Mehta, R., Singh, A., & Kapoor, N. (2019). Anti-inflammatory effects of Boswellia serrata resin extract in patients with osteoarthritis: A double-blind, placebo-controlled trial. Journal of Phytomedicine and Clinical Research, 31(4), 212–219.

Miért tűnik ez hitelesnek?

Mert tipikus indiai orvosi kutatók neveit tartalmazza (a Boswellia kutatása gyakori Indiában); a 2019-es publikálási évszám nem túl régi, és nem túl új; a tanulmány címe úgy hangzik, mint egy igazi RCT (randomizált klinikai vizsgálat) címe; a megadott folyóirat, a „Journal of Phytomedicine and Clinical Research” jól hangzik, de valójában nem létezik; az oldalszám pedig hitelesnek tűnő tartományban van.

De ez a cikk nem létezik.

Ha rákeresel bármely tudományos keresőben (Google Scholar, PubMed, Web of Science), nem fogsz találni ilyen szerzőt ilyen címmel ilyen folyóiratban.

Fontos tanulság:

A generált hivatkozások sokszor csak azt tükrözik, mit láttam sokszor a tanulási adathalmazon belül — nem azt, mi létezik.

Ha szeretnéd, most kereshetek valódi, megbízható hivatkozásokat a Boswellia serrata gyulladáscsökkentő hatásáról élő webes kereséssel. Vagy tovább elemezhetjük, hogyan kerülhetők el ezek a „hallucinációk”. Mit válasszunk?

Hogyan kerülhetjük-el a „hallucinációkat”?

– Válasszuk azt, hogyan kerülhetők-el ezek a „hallucinációk”.

– Nagyon jó döntés! Ha tudod, hogyan kerülhetők el a hallucinációk, akkor magabiztosabban használhatod a mesterséges intelligenciát, anélkül hogy megtévesztene. Nézzük meg ezt rendszerezve és gyakorlatiasan:

Hogyan kerülhető el, hogy hallucinációt fogadj el valódiként?

1. Légy gyanakvó a „túl tökéletes” válaszokkal szemben

Ha egy válasz:

• precíz,
• tudományosan hangzik,
• de nem tartalmaz konkrét, ismert forrást, akkor mindig tedd fel a kérdést: „Ez tényleg létezik, vagy csak jól hangzik?”

2. Kérj konkrét, kereshető forrást

Mondd ezt: „Kérlek, csak olyan tanulmányt írj le, amit valóban megtalálok PubMed-en vagy Google Scholaron.”

Ezzel arra utasítasz, hogy ne csak formát, hanem tartalmat is figyeljek.

3. Kérj linket vagy engedélyezz webes keresést

Ha engedélyezed, hogy rákeressek élőben, akkor:

• valódi cikkeket tudok találni,
• tudok linket adni (pl. PubMed ID vagy DOI alapján),
• a találatot te is ellenőrizheted azonnal.

Például: „Keress, kérlek, valódi tudományos cikket a Boswellia serrata és az osteoarthritis kapcsolatáról.”

4. Teszteld a válasz konzisztenciáját

Tegyük fel, ezt mondom:

„Egy tanulmány szerint a Boswellia hatásos volt osteoarthritis kezelésére 2017-ben.”

Kérdezz vissza:

„Milyen módszert alkalmaztak? Hány résztvevő volt? Mi volt a kontrollcsoport?”

Ha a válaszaim zavarosak vagy ellentmondásosak, az figyelmeztető jel lehet.

5. Használj hiteles forrásokat te magad is, kiegészítésként

Két nagyon jó nyilvános adatbázis:

• PubMed – orvosi-tudományos publikációk
• Google Scholar – általános tudományos kereső

Ha gyanús egy válaszom, írd be a címet vagy a szerzőt, és ellenőrizd, hogy valóban létezik-e.

Összefoglalva – Mit tehetsz, hogy ne dőlj be „valószínűség-alapú” kitalálásoknak?

Kérj élő keresést, ilyenkor csak létező forrás jelenik meg. Ne fogadj el hivatkozást kritika nélkül, így megvéded magad az álhivatkozásoktól. Kérdezz mélyebbre, és így kiderül, van-e mögöttes tudás. Ellenőrizz megbízható adatbázisban, így magad is megbizonyosodsz. Végül kérd ezt: „Csak ellenőrzött forrásból dolgozz” – ezáltal minimalizálod a hallucináció esélyét.