Przejdź do treści

Nowości i prawo

Inkling 2 Mini: mały model do uruchomienia lokalnie i co z tego ma użytkownik

Inkling 2 Mini to model o rozmiarze około 20 GB, który uruchomisz lokalnie bez wysyłania danych do chmury. Sprawdź, jak go dostroić i co zyskasz w praktyce.

Co to jest Inkling 2 Mini i dlaczego waży tyle, że zmieści się na twoim dysku?

Inkling 2 Mini to model, który mieści się w jednym pliku o rozmiarze około 20 GB, więc uruchomisz go na własnym komputerze, bez wysyłania danych do chmury. Producent udostępnia go na licencji Apache 2.0 z otwartymi wagami, czyli plikami, które pobierasz i masz u siebie. Możesz go więc dostroić do swoich potrzeb albo wdrożyć w firmie bez pytania nikogo o zgodę.

Skąd ta oszczędność miejsca? Model nie przelicza wszystkich swoich warstw za każdym razem. Część środkowych warstw przechodzi przez ten sam układ trzy razy, zamiast mieć osobną warstwę na każdy przebieg. Karta modelu na Hugging Face podaje, że każde dodatkowe przejście przez te warstwy dokłada około 1,0B efektywnych aktywnych parametrów na token, a przy trzech przebiegach daje to 5,4B. Brzmi technicznie, ale przekłada się na prostą rzecz: mniej pamięci do zajęcia przy podobnej jakości odpowiedzi.

Do uruchomienia potrzebujesz odpowiednio dużo pamięci operacyjnej, czyli RAM, w której komputer trzyma dane w trakcie pracy. Producent wspiera komputery Apple z co najmniej 32 GB pamięci oraz inne karty graficzne, gdzie zaleca co najmniej 32 GB pamięci VRAM, czyli tej na samej karcie. Na komputerach Apple wystarczy Ollama albo Exo Labs. Na kartach NVIDIA, czyli sprzęcie do liczenia modeli, masz do wyboru SGLang, vLLM, Unsloth, NVIDIA Dynamo lub Tokenspeed.

Co z tego masz praktycznie? Model przyjmuje tekst i obrazy, a zwraca tekst, więc nadaje się do analizy dokumentów połączonej z rozmową. Obsługuje okno kontekstu do 1 mln tokenów, czyli może trzymać w pamięci bardzo długi materiał. Wersja 4-bitowa waży około 17,6 GB, a wersja o wyższej precyzji zajmuje odpowiednio więcej miejsca na dysku.

Młoda kobieta pisze na klawiaturze laptopa w biurze
Fot. StartupStockPhotos

Czy twój komputer udźwignie ten model i jak go uruchomić bez chmury?

Zanim klikniesz pobieranie, sprawdź, ile masz wolnej pamięci operacyjnej, czyli RAM-u. To od niej zależy, czy model w ogóle wystartuje na twoim sprzęcie. W wersji skwantyzowanej, czyli takiej, gdzie część precyzji poświęcono na rzecz mniejszego rozmiaru pliku, potrzebujesz co najmniej 18 GB pamięci.

Plik w formacie gguf, czyli pojedynczy plik z wagami modelu do uruchomienia lokalnie, pobierzesz jednym kliknięciem. Na Macu z układem Apple Silicon wystarczy Ollama albo Exo Labs. Na kartach NVIDIA wybierasz SGLang, vLLM, Unsloth, NVIDIA Dynamo lub Tokenspeed. To nazwy programów, które wczytują model i udostępniają go twoim aplikacjom.

Producent zaleca co najmniej 32 GB pamięci na Apple Silicon oraz tyle samo pamięci karty graficznej na innych układach. Te wymagania bierz z zapasem: system i inne programy też zabierają pamięć. Jeśli masz mniej, zejdź do mocniej skwantyzowanej wersji, która waży mniej i zmieści się w wolniejszym sprzęcie.

Zanim zaufasz modelowi w kodzie, ustaw limit generowania odpowiedzi. Producent przyznaje, że model bywa powtarzalny w rozumowaniu, szczególnie przy debugowaniu, i radzi potwierdzać działania niszczące. W praktyce oznacza to, że agent nie powinien sam kasować plików ani nadpisywać gałęzi w repozytorium.

Model przyjmuje tekst i obrazy, a zwraca tekst, więc sprawdzi się przy analizie dokumentów i rozmowie o nich. Zanim wrzucisz mu firmowe pliki, zadaj sobie pytanie, czy dane mogą opuścić twoje biurko. Lokalne uruchomienie oznacza, że zostają na dysku, ale wtedy odpowiadasz za kopie zapasowe i aktualizacje sam.

Do czego realnie nadaje się ten model po polsku i gdzie lepiej zostać przy ChatGPT?

Inkling 2 Mini przyjmuje tekst i obrazy, a oddaje tekst, więc sprawdzi się tam, gdzie musisz przejrzeć skan umowy albo zrzut ekranu i od razu dostać pisemne streszczenie. Producent wskazuje trzy zastosowania: asystenci do kodowania, chatboty i systemy, które najpierw zaglądają do twoich dokumentów, zanim odpowiedzą.

Po polsku model działa, choć karta modelu mówi o angielskim jako głównym języku i ogólnym wsparciu dla innych. Jeśli twoja praca to polskie pisma, zamów najpierw krótki test na własnym tekście i sprawdź, czy trzyma terminologię. Przy tłumaczeniach technicznych liczy się też obsługa języków programowania, którą producent wymienia obok języków naturalnych.

Zanim oddasz mu dłuższe zadanie, ustaw limit długości odpowiedzi. Producent sam przyznaje, że model wpada w powtarzanie rozumowania, zwłaszcza przy szukaniu błędów w kodzie, i radzi ograniczać liczbę tur oraz potwierdzać każdą operację, która coś kasuje. To nie wada, którą obejdziesz promptem raz na zawsze, raczej coś, co ustawiasz na starcie.

W rozmowie z wieloma ograniczeniami naraz wypada słabiej niż Qwen3.8-27B. Jeśli potrzebujesz czatu, który pamięta kontekst przez wiele tur i trzyma kilka warunków jednocześnie, ten model nie jest pierwszym wyborem. Do jednego, dobrze opisanego zadania z dokumentem w tle wystarczy.

Najprostszy sposób, żeby to sprawdzić: wrzuć mu stronę ze swojego projektu i poproś o listę poprawek. Porównaj wynik z tym, co dostajesz z ChatGPT przy tym samym tekście, i zobacz, gdzie musisz dopisywać wyjaśnienia.

Ile kosztuje używanie Inkling 2 Mini, gdy nie chcesz go stawiać u siebie?

Gdy nie chcesz stawiać modelu na własnym komputerze, możesz korzystać z niego przez internet. Thinking Machines udostępnia go w chmurze i pobiera opłatę za zużycie tokenów, zarówno tych wprowadzanych, jak i generowanych w odpowiedzi, a osobną stawkę stosuje do fragmentów tekstu odtwarzanych z pamięci podręcznej. Token to kawałek tekstu, mniej więcej fragment słowa, więc przy dłuższych dokumentach liczba rośnie szybciej, niż się wydaje.

Zestaw te stawki z lokalnym wariantem, bo różnica nie kończy się na cenie za token:

Opcja Co płacisz Co dostajesz
Chmura Thinking Machines 0,15 USD za 1 mln tokenów wejściowych, 0,50 USD za 1 mln wyjściowych Nic nie instalujesz, płacisz za zużycie
Wersja 4-bitowa u siebie koszt sprzętu, który już masz Model działa offline, dane nie wychodzą z komputera
Wersja 8-bitowa u siebie koszt sprzętu, który już masz Więcej pamięci zajętej, lepsza jakość odpowiedzi

Artificial Analysis policzyło koszt całego zadania z indeksu inteligencji i wyszło 0,59 dolara przy 9 minutach pracy. To wygodny punkt odniesienia: nie płacisz za sam model, tylko za efekt, a ten sam efekt u siebie kosztuje tyle, ile prąd i sprzęt, który już stoi na biurku. Przy okazjonalnym użyciu chmura wychodzi taniej, bo nie dokładasz nic do rachunku za prąd.

Jeśli pracujesz z danymi, których nie chcesz wysyłać poza firmę, chmura odpada niezależnie od ceny. Wtedy zostaje wersja lokalna, a oszczędność liczysz w godzinach, nie w dolarach. Przy dużej liczbie zapytań dziennie opłaca się policzyć własny próg: pomnóż stawkę za token przez szacowany ruch i porównaj z kosztem sprzętu, który i tak masz.

Jak wypada w porównaniu z większymi modelami i co z tego wynika dla ciebie?

Na papierze mniejszy model zwykle przegrywa z większym. Tutaj wychodzi inaczej: według Artificial Analysis Inkling 2 Mini dorównuje Qwen3.8 27B w indeksie inteligencji, choć zużywa przy tym znacznie mniej aktywnych parametrów. To efekt pętli, w której środkowe warstwy przechodzą przez obliczenia kilka razy.

W praktyce liczy się nie liczba parametrów, a koszt i czas odpowiedzi. Z analizy Artificial Analysis wynika, że na zadanie z tego samego indeksu model jest około sześć razy tańszy i około cztery razy szybszy od Qwen3.8 27B. Płacisz mniej i krócej czekasz na wynik, a przy codziennej pracy to różnica, którą zauważysz od razu.

Są jednak zadania, w których mniejszy model odstaje. W wieloturowej rozmowie i przy instrukcjach z wieloma warunkami wypada słabiej od Qwen3.8 27B, co pokazują wyniki benchmarku MultiChallenge i ComplexConstraints. Jeśli budujesz chatbota, który ma pamiętać całą rozmowę i trzymać się kilku reguł naraz, sprawdź to na własnych przykładach, zanim postawisz na nim cały projekt.

Do zadań łączących analizę dokumentów ze zdjęciami i rozmową wystarczy. Model przyjmuje tekst i obrazy, a zwraca tekst, więc dokument ze skanem i pytanie o niego obsłuży w jednym przebiegu. Przy debugowaniu kodu bywa powtarzalny, dlatego ustaw limit długości odpowiedzi i potwierdzanie kroków, które coś zmieniają.

Decyzja sprowadza się do tego, co robisz najczęściej. Długie dokumenty, duża baza kodu i praca z obrazami to jego teren. Rozbudowany czat z wieloma ograniczeniami lepiej zostaw większemu modelowi albo połącz oba: mniejszy do szybkich zadań, większy tam, gdzie liczy się precyzja.

Jak przetestować go własnym promptem i na co uważać przy dłuższej pracy?

Zacznij od jednego pytania, które znasz ze swojej pracy, i wklej je bez upiększania. Jeśli odpowiedź brzmi sensownie, poproś o to samo jeszcze raz, ale każ zażądać od siebie źródła albo kroku, którego brakuje. Powtarzalność w rozumowaniu wyjdzie właśnie przy drugim podejściu, a nie przy pierwszym.

Producent sam przyznaje, że model bywa powtarzalny w rozumowaniu, szczególnie przy debugowaniu, czyli szukaniu błędu w kodzie. Z tego samego źródła pochodzi rada: ustaw limit generowania i potwierdzaj każdą akcję, która coś kasuje albo nadpisuje. Przy dłuższej pracy z kodem to nie przesada, tylko zabezpieczenie przed pętlą, w której model w kółko proponuje to samo.

Nie jest to też najmocniejszy mały model do wieloturowej rozmowy ani do poleceń z wieloma warunkami naraz. W takich zadaniach przegrywa z Qwen3.8-27B, co pokazują wyniki w dossier. Praktyczny wniosek jest prosty: rozbij złożone zlecenie na kilka mniejszych i sprawdzaj wynik po każdym kroku, zamiast liczyć, że jeden długi prompt utrzyma wszystkie ograniczenia.

Przy dłuższym dokumencie dorzuć do promptu jedno zdanie o formatowaniu odpowiedzi, na przykład „podaj trzy najważniejsze wnioski, każdy w jednym akapicie”. Inkling 2 Mini przyjmuje tekst i obrazy, więc możesz wrzucić skan strony razem z pytaniem. Gdy odpowiedź zacznie się zapętlać, przerwij ją i poproś o krótszą wersję tego samego fragmentu.

Najczęściej zadawane pytania

Czy Inkling 2 Mini działa po polsku?

Tak, model obsługuje angielski i inne języki, więc polski też jest w zasięgu. Producent pisze o ogólnym wsparciu wielojęzycznym, bez osobnej gwarancji jakości dla polskiego. Przy dłuższych tekstach sprawdź wynik na własnym przykładzie, zanim wstawisz go do aplikacji dla klientów.

Czy mogę dostroić Inkling 2 Mini do własnych danych?

Tak, licencja Apache 2.0 i otwarte wagi pozwalają na własne wdrożenia i dostrajanie. W praktyce dostrajanie wymaga jednak sprzętu i czasu, więc najpierw sprawdź, czy wystarczy ci gotowy model z dobrze napisanym promptem. Dopiero gdy odpowiedzi są zbyt ogólne, sięgnij po dostrajanie na własnych przykładach.

Co zrobić, gdy model zaczyna się zapętlać przy debugowaniu?

Ustaw limit generowania i przerwij odpowiedź, gdy wraca do tych samych zdań. Producent przyznaje, że model bywa powtarzalny w rozumowaniu, szczególnie przy debugowaniu, i sam zaleca limity oraz potwierdzanie działań niszczących. Przy pracy z kodem uruchamiaj agenta w odizolowanym środowisku i wymagaj potwierdzenia przed usunięciem plików.

Ceny, limity i funkcje narzędzi AI zmieniają się często. Przed zakupem planu sprawdź aktualne warunki u producenta.