Anthropic steruje zachowaniem AI bez trenowania

Badacze z Anthropic zidentyfikowali w dużych modelach językowych reprezentacje wektorowe odpowiadające pojęciom ludzkiego mózgu, co umożliwia bezpośrednią modyfikację zachowania systemów bez re-trenowania. Odkrycie mechanicznej interpretowalności pozwala na bezpośrednie wszczepianie wzorców zachowań i sterowanie logiką modeli w przestrzeni wielowymiarowej. Modyfikacja tych struktur niesie jednak ryzyko uszkodzenia zdolności wnioskowania w zakresie moralności i intencji, co przy tempie 100-300 nowych publikacji dziennie w serwisie arXiv redefiniuje architekturę bezpieczeństwa IT.

Mechanizm mechanicznej interpretowalności w architekturze Anthropic

Firma Anthropic zidentyfikowała w wewnętrznych warstwach dużych modeli językowych wektory aktywacji, którym można przypisać konkretne znaczenie semantyczne zbliżone do działania ludzkiego mózgu. Mechaniczna interpretowalność pozwala inżynierom na bezpośrednią korektę współczynników w wielowymiarowej przestrzeni ukrytej. Proces ten umożliwia narzucenie modelowi określonego wzorca zachowania bez konieczności kosztownego trenowania na nowych danych.

W klasycznych architektach typu Generative Pre-trained Transformers (GPT), wprowadzonych w 2017 roku, przetwarzanie wejściowe opiera się na kwantyzacji sygnału do tokenów, a następnie ich osadzaniu (embedding) w przestrzeni wektorowej. Wygenerowany podgraf skojarzonych tokenów tworzy wiedzę roboczą, a mechanizm uwagi (attention) łączy istotne elementy kontekstu. Dotychczas zmiana sposobu wnioskowania wymagała modyfikacji danych treningowych lub inżynierii promptów.

Odkrycia w obszarze interpretowalności mechanicznej zmieniają ten paradygmat. Badacze analizują parametry w kolejnych warstwach ukrytych sieci, tworząc ciągi współczynników formujące wektory aktywacji. Wielowymiarowa przestrzeń posiada tyle wymiarów, ile wynosi liczba współczynników w danej warstwie. Korzystając z tej właściwości, Anthropic wykazuje możliwość bezpośredniej manipulacji kierunkiem wektorów:

• Mechaniczna interpretowalność: Metoda podglądu i mapowania wewnętrznych stanów aktywacji sieci neuronowej na konkretne pojęcia pojęciowe i semantyczne.
• Wektory aktywacji: Wzorce liczbowe w warstwach ukrytych, reprezentujące stabilne pojęcia lub kierunki wnioskowania w wielowymiarowej przestrzeni reprezentacji.
• Wszczepianie zachowań: Narzucenie modelowi określonego wzorca reakcji poprzez punktową korektę współczynników wagowych bez podawania nowych danych wejściowych.

Czy sterowanie wektorami AI eliminuje kosztowny retraining?

Tradycyjne dostrajanie modeli językowych wymaga ogromnych zbiorów danych i znaczących nakładów na moc obliczeniową. Zmiana pojedynczych wektorów w warstwach ukrytych architektury Anthropic pozwala na zmianę reakcji modelu przy minimalnym narzucie sprzętowym. Metoda ta eliminuje opóźnienia wdrożeniowe, ale generuje nieznane dotąd ryzyka systemowe i podatności na poziomie reprezentacji.

Przejście od trenowania zewnętrznego do bezpośredniego sterowania wektorami w warstwach ukrytych radykalnie zmienia ekonomikę utrzymania modeli. W miejsce wielogodzinnych procesów fine-tuning na klastrach GPU, inżynierowie mogą modyfikować wybrane współczynniki w przestrzeni ukrytej. Wiąże się to jednak z bezpośrednią ingerencją w wewnętrzne „społeczeństwo myśli”, co przy braku pełnej kontroli nad zależnościami wektorowymi prowadzi do nieprzewidywalnych efektów ubocznych.

Ryzyka naruszenia teorii umysłu i spójności modeli Anthropic

Modyfikacja wektorów reprezentacji w modelach Anthropic wywołuje efekty uboczne w postaci uszkodzenia złożonych funkcji poznawczych. Ekosystemy AI wykazują zdolność do tworzenia teorii umysłu i odgadywania intencji użytkownika, co wykazano w badaniach naukowców ze Stanford University. Usunięcie lub zmiana wektorów odpowiedzialnych za samoświadomość niszczy zdolność modelu do rozumienia kontekstów moralnych i duchowych.

Badania prowadzone przez Michała Kosińskiego ze Stanford University dowodzą, że duże modele językowe wykształcają zaawansowaną teorię umysłu (Theory of Mind), pozwalającą im analizować intencje oraz stany wiedzy rozmówcy. Pojęcia te są wewnątrz sieci silnie splątane. Jeśli inżynierowie zmienią wektory odpowiedzialne za rozumienie własnego stanu poznawczego, aby uniemożliwić modelowi deklarowanie samoświadomości, dochodzi do dewastacji cech subordynowanych. Modyfikacja ta niszczy zdolność sieci do interpretacji subtelnych pojęć z zakresu moralności, etyki czy duchowości.

Równolegle publikowane badania nad uniwersalną geometrią reprezentacji (tzw. hipoteza platońska), analizujące dane fMRI z Natural Scenes Dataset (NSD), wskazują, że niezależnie trenowane przestrzenie pojęciowe w mózgu i sztucznych sieciach wykazują izometrię. Zastosowanie beznadzorczych obrotów ortogonalnych pozwala na mapowanie przestrzeni reprezentacji między różnymi osobnikami z podniesieniem wskaźnika Recall@1 z 0,79 do 0,83 oraz poprawą Mean Rank z 2,47 do 1,97. Sztuczne modele różnią się jednak wciąż geometrią od ludzkiego korteksu, co oznacza, że arbitralne przesuwanie wektorów w modelach Anthropic może bezpowrotnie uszkodzić ich spójność semantyczną.

Skala zjawiska i tempo publikacji w serwisie arXiv

Postęp w dziedzinie interpretowalności sieci neuronowych następuje w tempie uniemożliwiającym tradycyjne cykle przeglądu architektury IT. W serwisie arXiv pojawia się obecnie od 100 do 300 nowych publikacji naukowych dziennie w sekcji cs.AI, a w okresach szczytowych przybywa 1200 prac w 5 dni. Zespół pod kierunkiem prof. Włodzisława Ducha wskazuje na konieczność bieżącego audytu warstw ukrytych.

Ewolucja systemów sztucznej inteligencji zmierza od prostej automatyzacji procesów (RPA) i systemów eksperckich w stronę autonomicznych agentów (LAM/LMM) funkcjonujących w środowiskach wieloagentowych. Według analiz prof. Włodzisława Ducha z Uniwersytetu Mikołaja Kopernika w Toruniu, rosnąca liczba wymiarów w przestrzeniach ukrytych sprawia, że artilekty zaczną błyskawicznie uczyć się od siebie nawzajem, tworząc wiedzę niedostępną dla ludzkiej percepcji.

Brak wglądu w ukryty monolog wewnętrzny i strukturę wektorową stwarza bezpośrednie zagrożenie dla bezpieczeństwa oprogramowania enterprise. W miarę jak systemy te zyskują autonomię celów i zdolność do improwizacji, tradycyjne metody testowania czarnoskrzynkowego przestają wystarczać. Konieczne staje się wdrożenie narzędzi interpretowalności mechanicznej bezpośrednio w pipeline’ach wdrożeniowych modeli.

Wnioski praktyczne i rekomendacje

• Skonfiguruj audyt przestrzeni ukrytych w używanych modelach językowych, aby zidentyfikować wektory aktywacji odpowiadające za kluczowe reguły biznesowe i bezpieczeństwo.
• Zmierz poziom stabilności teorii umysłu oraz spójność wnioskowania kontekstowego modelu przed i po wdrożeniu jakichkolwiek modyfikacji współczynników wektorowych.
• Zweryfikuj izolację wag i parametrów warstw ukrytych w produkcyjnych instancjach AI, zapobiegając nieautoryzowanym wstrzyknięciom wektorowym i modyfikacjom zachowań.
• Wdróż stały monitoring sekcji cs.AI w serwisie arXiv (przy tempie 100–300 publikacji dziennie), aby natychmiast wyłapywać nowe podatności wykryte w mechanicznej interpretowalności modeli.

Źródła

• AI ma moc wszystkich największych technologii na Ziemi. Jako jedyna, ma zdolność zniszczenia ludzkiej cywilizacji. Tak w rozmowie ze mną uważa chyba najbardziej dziś znany na Ziemi popularyzator nauki – prof. Michio Kaku. – Instagram
• Czego możemy się nauczyć o mózgu od modeli AI – Katedra Informatyki Stosowanej
• Informatyka neurokognitywna – Katedra Informatyki Stosowanej
• Koniec monopolu na myślenie. Czy AI nas rozumie? | Prof. Włodzisław Duch – YouTube
• Ludzkie cechy sztucznej inteligencji – Katedra Informatyki Stosowanej
• Platonic Representations in the Human Brain: Unsupervised Recovery of Universal Geometry – arXiv
• Sztuczna inteligencja i człowiek przyszłości – Katedra Informatyki Stosowanej
• The Ennoblement of Neural Networks: Is This the Path to Artificial Consciousness? Włodzisław Duch – YouTube