Globalne modele sztucznej inteligencji generują niewidzialny koszt dla użytkowników nieanglojęzycznych, wynikający z nieefektywnej tokenizacji, co znacząco ogranicza dostępność i ekonomiczną opłacalność technologii AI. Indie, poprzez innowacyjne podejście Frugal AI, rozwijają lokalne, zoptymalizowane rozwiązania, które stanowią wzór dla krajów Globalnego Południa, promując suwerenność danych i tworząc nowe możliwości rynkowe.
Problem 'podatku tokenizacji’ i jego konsekwencje
Modele dużych języków (LLM) przetwarzają tekst, dzieląc go na tokeny. Ze względu na dominację języka angielskiego w danych treningowych, tokenizacja dla języków indyjskich jest znacznie mniej efektywna. Badania Sarvam AI wskazują, że zapytania w językach indyjskich mogą kosztować nawet pięciokrotnie więcej niż ich angielskie odpowiedniki. Ta dysproporcja, nazywana 'podatkiem tokenizacji’, sprawia, że interakcje z AI są droższe dla osób, które najmniej mogą sobie na to pozwolić, utrudniając dostęp do kluczowych usług.
Strategia Indii: Frugal AI i suwerenność technologiczna
Indie nie dążą do konkurowania z gigantami technologicznymi w zakresie mocy obliczeniowej. Zamiast tego, przyjęły filozofię projektowania opartą na ograniczeniach, tworząc modele, które są efektywne i ekonomicznie opłacalne w lokalnych kontekstach.
Sarvam AI: Optymalizacja na poziomie tokenizacji i fine-tuning
- Rozwiązanie problemu tokenizacji: Sarvam AI opracowało lepsze tokenizery dla języków indyjskich, znacząco redukując koszty interakcji. To kluczowe dla ekonomicznej wykonalności zastosowań AI, takich jak medyczne triaże głosowe na obszarach wiejskich.
- OpenHathi: Projekt open-source, który adaptuje istniejące LLM do obsługi języków indyjskich. Zamiast trenować modele od podstaw, Sarvam AI skupia się na dodawaniu możliwości językowych i tworzeniu mniejszych, domenowo-specyficznych modeli (np. dla finansów, medycyny), które są tańsze i bardziej wydajne.
- Model flagowy: LLM trenowany na wielu językach indyjskich, zdolny do obsługi triażu medycznego, tutorów edukacyjnych oraz zapytań w trybie code-mixed (mieszanie języków w jednym zdaniu).
Krutrim: AI zoptymalizowane pod ograniczoną infrastrukturę
Krutrim, założony przez Bhavisha Aggarwala, skupia się na modelach zoptymalizowanych do działania bez superkomputerów. Projektuje AI z myślą o ograniczeniach infrastrukturalnych Indii, umożliwiając działanie potężnych systemów na skromnym sprzęcie w szkołach, urzędach czy małych firmach.
AI4Bharat: Fundamenty dla dostępności
Inicjatywa AI4Bharat z IIT Madras tworzy lekkie systemy zaprojektowane dla smartfonów niskiej klasy i sieci o niskiej przepustowości, co jest kluczowe dla dostarczania użytecznej AI do milionów ludzi w zróżnicowanym krajobrazie językowym Indii, często z niestabilnym dostępem do internetu.
Blueprint dla Globalnego Południa: Zasady i transfer technologii
Indyjskie podejście stanowi konkretny plan dla krajów Globalnego Południa, które borykają się z podobnymi wyzwaniami:
- Ograniczona infrastruktura obliczeniowa.
- Populacje posługujące się głównie językami innymi niż angielski.
- Niski dochód na mieszkańca, uniemożliwiający drogie połączenia API.
- Krucha łączność internetowa.
Metoda OpenHathi – wykorzystanie otwartych modeli bazowych i dostosowywanie ich do lokalnych języków i zastosowań – jest bezpośrednio transferowalna. Rozwiązanie problemu tokenizacji dla języka hindi ma zastosowanie do każdego języka nieużywającego alfabetu łacińskiego. Optymalizacja infrastruktury Krutrim jest przydatna wszędzie tam, gdzie centra danych są rzadkością.
Suwerenność danych i ekonomiczna niezależność
Koncepcja Sovereign AI, promowana przez twórców Sarvam AI, wykracza poza nacjonalizm. To kwestia kontroli nad modelami AI, własności danych treningowych i osadzonego kontekstu kulturowego. Korzystanie z lokalnych modeli oznacza, że dane pozostają w jurysdykcji kraju, wiedza medyczna odzwierciedla lokalne praktyki, a struktura kosztów jest dostosowana do lokalnej ekonomii. To buduje strukturalną niezależność w technologii, która będzie coraz bardziej pośredniczyć w dostępie do opieki zdrowotnej, edukacji i usług finansowych.
Frugalność jako przewaga konkurencyjna i tworzenie nowych ról
Podejście Frugal AI nie jest gorszą wersją zachodnich modeli, lecz inną, często lepszą dla zamierzonych użytkowników. Modele te są projektowane do działania w rzeczywistych warunkach, w których żyje większość światowej populacji. Dzięki temu, że AI staje się przystępna cenowo, możliwe jest jej wdrożenie w klinikach zdrowia czy wiejskich szkołach, co z kolei tworzy nowe kategorie pracy, takie jak administratorzy systemów AI w szpitalach, trenerzy interfejsów głosowych dla języków regionalnych czy kuratorzy treści edukacyjnych w językach lokalnych. To kontrastuje z zachodnim modelem, gdzie AI często prowadzi do zwiększenia produktywności już wykwalifikowanych pracowników w bogatych gospodarkach.
Materiał opracowany przez redakcję BitBiz na podstawie doniesień rynkowych.
Dodaj komentarz