Tom Zahavy o granicach LLM: dlaczego AI nie potrafi odkrywać i co to oznacza dla CTO

Brak zdolności do abdukcji, czyli stawiania nowatorskich hipotez bez wcześniejszych danych, stanowi fundamentalną barierę dla obecnych modeli językowych (LLM). Badacz Google DeepMind, Tom Zahavy, dowodzi, że AI świetnie radzi sobie z indukcją i dedukcją, ale nie potrafi wykonać „skoku” (The Jump) do nowych aksjomatów, co wymusza zmianę modelu współpracy na systemy typu „centaur”.

Mechanizm „skoku” i bariery poznawcze modeli językowych

Problem polega na braku mechanizmu abdukcji w obecnych architekturach LLM, co uniemożliwia im generowanie nowych zasad wyjaśniających zjawiska bez bezpośredniego ugruntowania w danych. Podczas gdy dedukcja pozwala na logiczne wyprowadzenie wniosków z reguł, a indukcja na statystyczne uogólnianie wzorców, abdukcja jest „skokiem” tworzącym nową hipotezę tam, gdzie dane są niewystarczające. Zahavy argumentuje, że LLM są statystycznymi silnikami kompresji, co czyni je niezdolnymi do odkrywania fundamentalnie nowych koncepcji, takich jak ogólna teoria względności, która powstała przy niemal zerowej ilości danych doświadczalnych.

Skala zjawiska jest widoczna w benchmarkach: w teście ARC-AGI-3, wymagającym od systemu samodzielnego zdefiniowania problemu, modele klasy frontier osiągają skuteczność poniżej 1%, podczas gdy ludzie rozwiązują niemal 100% zagadek. Zahavy przywołuje przykład Einsteina, który odrzucił model Newtona (dokładny do 10⁻⁹), wprowadzając koncept zakrzywienia czasoprzestrzeni nie jako wynik kompresji danych, lecz jako nową strukturę logiczną. Współczesne sukcesy AI, jak AlphaEvolve, są w tej optyce jedynie optymalizacją wewnątrz zadanych przez człowieka ram (np. redukcja mnożeń macierzy), a nie aktem odkrycia.

Koszty i ograniczenia planowania agentowego

Planowanie agentowe przy użyciu LLM wykazuje marginalny przyrost skuteczności w stosunku do bezpośredniego generowania odpowiedzi, generując jednocześnie drastycznie wyższe koszty infrastrukturalne. Badania nad systemem PyPDDLEngine wykazały, że podejście agentowe osiąga 66,7% sukcesów, co jest wynikiem zaledwie o 3 punkty procentowe lepszym od metody bezpośredniej (63,7%), przy jednoczesnym 5,7-krotnym wzroście kosztu tokenów na rozwiązanie. Klasyczne planery symboliczne, jak Fast Downward, nadal deklasują LLM, osiągając 85,3% skuteczności.

Głównym ryzykiem jest brak zewnętrznego ugruntowania sygnałów zwrotnych — w planowaniu PDDL agent sam ocenia swoje postępy, co prowadzi do błędnych decyzji o „nierozwiązywalności” problemów, które metoda bezpośrednia potrafi rozwiązać. Inaczej niż w inżynierii oprogramowania, gdzie kompilator daje obiektywny feedback, w planowaniu logicznym LLM polega na autorefleksji, która bez zewnętrznej weryfikacji jest niewiarygodna. Dla architektów IT oznacza to, że zastępowanie klasycznych planerów agentami LLM w krytycznych systemach logistycznych jest obecnie nieuzasadnione ekonomicznie i technicznie.

Funkcjonalna afantazja i limity symulacji przestrzennej

Modele klasy frontier wykazują „funkcjonalną afantazję”, czyli głęboką niezdolność do interpretacji sygnałów wizualno-przestrzennych niezbędnych do przeprowadzania symulacji w „oku umysłu”. Nawet po wyposażeniu LLM w zewnętrzne narzędzia do renderowania i rotacji 3D, ich skuteczność w zadaniach rotacji mentalnej osiąga maksymalnie 62,5%, co stanowi ogromną lukę względem wyników ludzkich na poziomie 79,16%. Systemy te traktują sekwencje obrazów jako izolowane klatki, nie potrafiąc przewidzieć stanu obiektu po prostej transformacji, takiej jak obrót o 30 stopni.

Deficyt ten wynika z braku trzech prymitywów: (1) czułości na głębię, (2) percepcji ruchu jako ciągłości oraz (3) zdolności do kontemplacyjnej uwagi nad obrazem. Zamiast analizować geometrię, LLM domyślnie przechodzą w tryb rozumowania symboliczno-asocjacyjnego, próbując opisać obiekt słowami zamiast manipulować jego strukturą. Specjalizowane modele, jak VGGT, osiągają lepsze wyniki (51,25%), co sugeruje, że problemem nie jest architektura Transformer, lecz brak odpowiednich danych treningowych ugruntowanych w fizyce świata.

Nowa architektura: Pętla abdukcji i przestrzeń konwencji

Propozycja architektoniczna Zahavy’ego, zwana pętlą abdukcji (Abduction Loop), przesuwa punkt ciężkości z fizycznego ucieleśnienia na ugruntowanie reprezentacyjne poprzez transformacje eksponujące strukturę. Kluczowym elementem jest wykorzystanie „przestrzeni konwencji” (convention space) — zbioru motywów graficznych, które w nauce ewoluowały pod presją matematyczną, a nie estetyczną (np. diagramy Feynmana, sieci tensorowe). Taka przestrzeń pozwala na identyfikację izomorfizmów między dziedzinami, które nie dzielą wspólnego słownictwa, rozwiązując trudny problem wyszukiwania powiązań strukturalnych.

Mechanizm pętli abdukcji składa się z sześciu etapów: 1. Konstrukcja reprezentacji: budowa wielu widoków modelu źródłowego. 2. Ekstrakcja motywów: segmentacja widoków na klasy topologiczne i klasy symetrii. 3. Kanonizacja: osadzenie motywów w przestrzeni konwencji. 4. Wyszukiwanie między-dziedzinowe: znajdowanie strukturalnych „bliźniaków” w literaturze. 5. Generowanie hipotez: formułowanie jawnych korespondencji matematycznych. 6. Weryfikacja adwersarialna: bezlitosne próby obalenia hipotezy przez dedukcję.

Podejście to zostało zoperacjonalizowane w benchmarku DAB-30, który wymusza na systemie przejście pełnej pętli — od rozpoznania motywu po weryfikację adwersarialną, z domyślną opcją odmowy odpowiedzi (abstention) w przypadku braku dowodów.

Porównanie podejść do planowania i odkryć

Wnioski praktyczne i rekomendacje

• Wdróż model współpracy typu „centaur”, w którym LLM odpowiada za syntezę literatury (indukcja) i weryfikację formalną (dedukcja), ale to człowiek stawia hipotezy (abdukcja) i definiuje problemy.
• Zweryfikuj zasadność stosowania agentów LLM w zadaniach planowania długofalowego; jeśli system nie otrzymuje obiektywnego sygnału zwrotnego z zewnątrz (np. błąd kompilacji), zysk z agentowości jest marginalny względem 5,7-krotnego wzrostu kosztów.
• Zmierz ryzyko „funkcjonalnej afantazji” w swoich projektach Vision-AI; obecne modele nie rozumieją fizyki ruchu i głębi, więc zadania wymagające symulacji przestrzennej powinny być delegowane do dedykowanych silników geometrycznych (np. PyVista), a nie realizowane natywnie przez LLM.
• Skonfiguruj procesy R&D w oparciu o architekturę Abduction Loop, wykorzystując modele do mapowania izomorfizmów między domenami poprzez „przestrzeń konwencji”, co pozwala na znajdowanie rozwiązań technicznych w literaturze innych branż bez dzielenia wspólnej terminologii.
• Monitoruj rynek „World Models”, w który inwestowane są miliardy dolarów (np. World Labs, AMI Labs); to tam, poprzez ugruntowanie w fizycznej symulacji, a nie w skali parametrów, spodziewany jest przełom w autonomii odkryć naukowych.

Źródła

• Abduction Without a Body? Representational Grounding and the Abduction Loop for Scientific Hypothesis Generation – arXiv
• Agentic LLM Planning via Step-Wise PDDL Simulation: An Empirical Characterisation – arXiv
• It Can Reason, But It Cannot Discover A Google DeepMind researcher uses Einstein’s diagram of discovery to locate the one thing LLMs can’t do — where does the abductive leap come from? – Pebblous
• LLMs Can’t Jump: Why AI Masters the Proof but Misses the Premise – Uday
• Limits of Spatial Imagery Reasoning in Frontier LLM Models – arXiv
• Planning in the Dark: LLM-Symbolic Planning Pipeline Without Experts
• Position: LLMs can’t jump | OpenReview
• The article takes the premise of Tom Zahavy’s 2026 LLMs Can’t Jump position paper seriously: current LLMs are strong at induction and increasingly capable at deduction, but may lack the grounded abductive reasoning involved in proposing genuinely new scientific explanations. Zahavy is a Google DeepMind researcher, and the paper was accepted to the ICML 2026 Position Track – Facebook