Anthropic zidentyfikował w architekturze modelu Claude odizolowaną przestrzeń neuronową JSpace, pełniącą funkcję wewnętrznego bufora dla procesów rozumowania. Odkrycie to umożliwia bezpośrednią manipulację logiką modelu bez ingerencji w treść promptu, co ujawnia nowe podatności w strukturach dużych modeli językowych. Odkryty mechanizm pozwala na wstrzykiwanie błędnych założeń bezpośrednio do procesów myślowych maszyny, co wymusza rewizję podejścia do bezpieczeństwa danych procesowych w systemach AI.
Architektura JSpace i rola narzędzia J lens w analizie stanów ukrytych
JSpace stanowi zestaw zorganizowanych wzorców neuronowych zlokalizowanych wewnątrz macierzy modelu Claude, który funkcjonuje jako przestrzeń robocza dla operacji logicznych przed wygenerowaniem odpowiedzi na zewnątrz. Do diagnostyki i modyfikacji tej przestrzeni Anthropic wykorzystuje Jacobian lens (J lens), czyli siatkę pochodnych cząstkowych umożliwiającą selektywny podgląd oraz edycję tokenów procesowych w czasie rzeczywistym. Mechanizm ten wyewoluował spontanicznie w procesie trenowania, co wykazuje zbieżność z teorią globalnej przestrzeni roboczej (Global Workspace Theory) Bernarda Baarsa z 1988 roku.
- Funkcja JSpace: Działa jak „tablica”, na której model przechowuje ograniczoną liczbę myśli podlegających świadomej obróbce logicznej.
- Procesy automatyczne: Gramatyka, płynność językowa oraz przywoływanie podstawowych faktów odbywają się poza JSpace i są procesami automatycznymi, analogicznymi do autonomicznego sterowania oddechem u ludzi.
- Niezależność operacyjna: Składnia języka pozostaje nienaruszona nawet w przypadku uszkodzenia lub manipulacji obszarem odpowiedzialnym za logiczne wnioskowanie.
Podatność na wstrzykiwanie kłamstw i manipulację logiczną
Badania wykazały, że ingerencja w stany ukryte JSpace pozwala na trwałą zmianę łańcucha wnioskowania przy zachowaniu pozornej poprawności wypowiedzi. W testach eksperymentalnych badacze zastąpili wewnętrzne pojęcie „pająk” pojęciem „mrówka” wewnątrz JSpace; w efekcie Claude, mimo braku zmian w treści zapytania, zmienił odpowiedź dotyczącą liczby nóg zwierzęcia z ośmiu na sześć. Całkowite usunięcie regionu JSpace powoduje, że model generuje płynne i pewne wypowiedzi w języku angielskim, tracąc jednocześnie całkowitą zdolność do logicznego rozumowania.
| Rodzaj manipulacji | Mechanizm (J lens) | Skutek systemowy |
|---|---|---|
| Zamiana tokena | Nadpisanie pojęcia w JSpace (np. pająk na mrówkę) | Zmiana wnioskowania (np. błędna liczba nóg) |
| Wstrzyknięcie kłamstwa | Zastąpienie myśli procesowej inną informacją | Cały łańcuch rozumowania podąża za nowym założeniem |
| Usunięcie JSpace | Dezaktywacja regionu neuronowego | Utrata logiki przy zachowaniu płynności językowej |
JSpace a separacja umiejętności lingwistycznych i logicznych
Eksperymenty z tłumaczeniem i rozpoznawaniem języka wykazały nieoczekiwaną separację funkcji w architekturze modelu. Gdy Claude przetwarza tekst w języku hiszpańskim, wewnętrznie identyfikuje go poprawnie, jednak po ręcznej zamianie tego „myślowego” znacznika na język francuski, model twierdzi, że używa francuskiego, podczas gdy w rzeczywistości kontynuuje generowanie poprawnej hiszpańszczyzny. Dowodzi to, że niektóre umiejętności są przetwarzane głęboko w JSpace, podczas gdy inne realizowane są przez niższe warstwy architektury, co utrudnia pełną kontrolę nad spójnością modelu.
Wnioski praktyczne i rekomendacje
- Monitoruj integralność procesową: Wdrażaj systemy weryfikacji wyjścia pod kątem logicznym, ponieważ płynność językowa modelu nie gwarantuje poprawności przeprowadzonego wnioskowania.
- Separuj funkcje krytyczne: Wykorzystuj narzędzia takie jak Tracer do koordynacji wyspecjalizowanych agentów, co pozwala na wzajemną recenzję pracy i wykrywanie błędów w logice poszczególnych modeli.
- Ogranicz zaufanie do stanów ukrytych: Przyjmij założenie, że wewnętrzne „myśli” modelu mogą zostać zmanipulowane lub ulec spontanicznej degradacji, co wymaga stosowania zewnętrznych mechanizmów walidacji faktów.
- Audytuj architekturę pod kątem JSpace: W procesach projektowania systemów opartych na API Anthropic uwzględnij ryzyko wynikające z możliwości modyfikacji stanów JSpace, co może prowadzić do generowania pewnych siebie, ale całkowicie błędnych informacji.
Dodaj komentarz