Stany wewnętrzne dużych modeli językowych (LLM) kodują przede wszystkim proces przywoływania wiedzy parametrycznej, a nie faktyczną prawdziwość generowanych odpowiedzi. Strukturalne podobieństwo między poprawnym przypominaniem faktów a tzw. halucynacjami skojarzonymi tworzy krytyczną lukę w systemach bezpieczeństwa i weryfikacji AI. Zrozumienie mechanistycznej natury tych błędów jest niezbędne do stabilnego wdrażania systemów agentowych w środowiskach produkcyjnych.
Mechanizm recallu a struktura halucynacji skojarzonych
LLM przetwarzają informacje w trzech etapach: wzbogacania reprezentacji podmiotu w warstwach wczesnych, propagacji uwagi do ostatniego tokenu oraz końcowego dekodowania w warstwach górnych. Analizy interpretowalności mechanistycznej wykazują, że sygnały wewnętrzne (strumienie rezydualne, wagi uwagi) korelują z intensywnością przywoływania wzorców parametrycznych, a nie z ich zgodnością z rzeczywistością. W efekcie systemy detekcji oparte na stanach ukrytych zawodzą w starciu z błędami wynikającymi z silnych, lecz błędnych korelacji statystycznych.
Zjawisko halucynacji należy podzielić na dwie kategorie operacyjne: Halucynacje nieskojarzone (UH): Treści oderwane od ugruntowania parametrycznego, łatwe do wykrycia (AUROC 0,86–0,93). Halucynacje skojarzone (AH): Wynik błędnych korelacji nauczonych podczas pre-treningu (np. częste współwystępowanie Baracka Obamy z Chicago prowadzi do błędnego przypisania mu miejsca urodzenia w tym mieście).
Wykrywanie AH jest niemal niemożliwe tradycyjnymi metodami (AUROC 0,48–0,69), ponieważ ich geometria stanów ukrytych niemal całkowicie pokrywa się z poprawnymi odpowiedziami (FA – Factual Associations).
Modele świata ukryte w aktywacjach warstw ukrytych
Pomimo treningu opartego wyłącznie na przewidywaniu następnego tokenu, LLM budują wewnętrzne, liniowe modele świata, które wykraczają poza statystykę powierzchniową tekstu. Reprezentacje te kodują strukturę przestrzenną, sekwencje czasowe oraz stany logiczne systemów (np. gier) bezpośrednio w przestrzeni aktywacji. Oznacza to, że tokeny pełnią jedynie rolę interfejsu, podczas gdy faktyczny model świata operuje na poziomie wektorowym wewnątrz sieci.
| Dziedzina modelu świata | Dowody empiryczne i precyzja |
|---|---|
| Gry logiczne | OthelloGPT koduje stan planszy z dokładnością >99%. |
| Geografia i czas | Llama-2 buduje liniowe reprezentacje przestrzeni fizycznej i kalendarza. |
| Przestrzeń 3D | Llama-3.2-3B posiada podprzestrzenie liniowe reprezentujące relacje euklidesowe (góra/dół, lewo/prawo). |
| Zmienne ukryte | Modele szachowe estymują zmienne takie jak poziom umiejętności gracza (ranking Elo). |
Możliwość manipulacji tymi stanami poprzez „activation steering” (dodawanie wektorów kierunkowych do aktywacji) pozwala na celowe zmienianie zachowania modelu, np. podniesienie poziomu gry bez modyfikacji parametrów wagowych.
Komponenty MLP jako pamięć Hebbowska i ryzyko szumu
Komponenty MLP (Multilayer Perceptron) w blokach Transformer działają jako asocjacyjne pamięci Hebbowskie, przechowując fakty w postaci sumy produktów zewnętrznych kluczy i wartości. Architektura ta pozwala na optymalne gęste upakowanie informacji w parametrach (wskaźnik Θ(F log F)), jednak wprowadza podatność na błędy przy nieprecyzyjnych zapytaniach z mechanizmu uwagi. Jeśli szum w zapytaniu przekroczy określony próg euklidesowy, blok Transformer przywołuje błędny fakt, zachowując przy tym wysoką pewność matematyczną wyjścia.
Zasada „mouth is not the brain” sugeruje architektoniczne rozdzielenie kompetencji językowych od modeli świata. W testach z modelem GPT-2 połączonym z zewnętrznym modelem świata (DBM) wykazano, że taka separacja obniża stratę entropii krzyżowej do poziomu 3,32, podczas gdy tradycyjny fine-tuning prowadzi do przeuczenia i wzrostu błędu do 4,74. Separacja ta pozwala na zewnętrzną kwantyfikację spójności odpowiedzi poprzez funkcje energii, co jest niemożliwe w monolicie LLM.
Błędy kalibracji i ucieczka przed „I don’t know”
LLM nie posiadają natywnego mechanizmu rozpoznawania granic własnej wiedzy; ich wyrażana pewność siebie rzadko koreluje z faktyczną poprawnością. Standardowe odpowiedzi typu „nie wiem” są wyuczonymi wzorcami tekstowymi (hedging), a nie wynikiem wewnętrznej flagi niepewności. W efekcie modele chętniej generują wiarygodnie brzmiące dane o sprzedaży w Q3 (których nigdy nie widziały), niż odmawiają odpowiedzi, co wynika z natury pre-treningu na danych publicznych.
Ograniczenia te są szczególnie widoczne w procesie „refusal tuning”: Modele skutecznie uczą się odmawiać w przypadku halucynacji UH (wskaźnik odmów 82%). Dla halucynacji skojarzonych (AH) skuteczność odmowy spada do 33%, ponieważ model nie potrafi odróżnić ich od faktów na poziomie geometrycznym.
W rzeczywistych wdrożeniach oznacza to, że halucynacje dotyczące popularnych podmiotów (często występujących w sieci) będą pojawiać się częściej i będą trudniejsze do odfiltrowania przez same filtry modelu.
Wnioski praktyczne i rekomendacje
- Wdróż zewnętrzne moduły weryfikacji (fact-checking) oraz systemy RAG dla danych specyficznych dla biznesu, zamiast polegać na stanach wewnętrznych LLM do detekcji błędów skojarzonych.
- Skonfiguruj systemy odmowy odpowiedzi oddzielnie dla halucynacji typu UH i AH, mając na uwadze, że te drugie wymagają dodatkowych filtrów semantycznych ze względu na niską skuteczność standardowego „refusal tuning”.
- Zastosuj zasadę separacji formy od treści („mouth vs brain”), łącząc zamrożone modele językowe z adapterami do dedykowanych modeli dziedzinowych w celu poprawy spójności generowanych treści.
- Monitoruj entropię rozkładu wyjściowego; gwałtowny wzrost entropii często sygnalizuje halucynacje typu UH, natomiast niski poziom entropii przy AH może wprowadzać w błąd, maskując błąd skojarzeniowy.
- Zmierz wiarygodność odpowiedzi poprzez analizę popularności podmiotu w danych treningowych; błędy AH koncentrują się w obszarach wysokiej popularności, gdzie korelacje statystyczne są najsilniejsze.
Źródła
- Do LLMs Really Know What They Don’t Know? Internal States Mainly Reflect Knowledge Recall Rather Than Truthfulness – arXiv
- From Tokens to States: LLMs as a Special Case of World Models and the Continuous Path Beyond – arXiv
- Linear Spatial World Models Emerge in Large Language Models – arXiv
- MLPs are Hebbian Memories: A Simple Recipe for Fact-Storing Transformers · Hazy Research
- Mechanistic Interpretability Quickstart Guide – Neel Nanda
- Relevance of Grounding AI for Health Care – ARBOR
- The Mouth is Not the Brain: Bridging Energy-Based World Models and Language Generation – arXiv
- What an AI model actually knows | Horizon – Comet Lab
Dodaj komentarz