Yuqa AI - własny LLM dopasowany do Twojego sprzętu

„LLM on-premise" brzmi jak projekt na osobną serwerownię i budżet centrum danych. W praktyce dobrze zaprojektowana platforma AI dla kilkusetosobowego zespołu pracuje na pojedynczym serwerze z jedną kartą GPU. Sztuka nie polega bowiem na kupieniu największego żelaza, tylko na dobraniu modeli do zadań - i na tej właśnie filozofii zbudowaliśmy Yuqę. Poniżej: reguły kciuka dla VRAM, rola kwantyzacji i architektura trzech modeli, które razem mieszczą się tam, gdzie konkurencja z trudem upycha jeden.

Ile VRAM naprawdę potrzebuje model językowy

Zacznijmy od arytmetyki, bo ona rozstrzyga cztery piąte każdej dyskusji o sprzęcie. Pamięć karty graficznej potrzebna do uruchomienia modelu zależy od liczby jego parametrów i od precyzji, z jaką zapisano wagi:

Do tego dochodzi narzut, o którym milczy większość internetowych kalkulacji: KV cache, pamięć podręczna rozmowy, rosnąca wraz z długością kontekstu i liczbą równoczesnych użytkowników. W środowisku produkcyjnym trzeba doliczyć 30-50% zapasu VRAM ponad sam model. I to właśnie ten narzut, nie wagi, najczęściej zaskakuje przy pierwszym wdrożeniu pod realnym obciążeniem.

Kwantyzacja - czyli zapis wag modelu na mniejszej liczbie bitów - jest najważniejszą technologią w całej tej układance. Współczesne metody (GGUF/Q4_K_M, AWQ, GPTQ) tną zapotrzebowanie na pamięć czterokrotnie, oddając w zamian kilka procent jakości na benchmarkach. W zastosowaniach firmowych - odpowiedzi z bazy wiedzy, podpowiedzi, streszczenia - tej różnicy w praktyce nie widać.

Filozofia Yuqa: trzy modele zamiast jednego wielkiego

Typowy błąd projektowy w AI on-premise wygląda tak: bierzemy jeden, możliwie największy model „do wszystkiego". Efekt - każda odpowiedź, nawet trywialna, kosztuje tyle samo pamięci i czasu, a użytkownik czeka na podpowiedź, która powinna przyjść natychmiast.

W Yuqa pracują trzy modele, każdy dobrany rozmiarem do swojej roboty, wszystkie zbudowane na polskim Bieliku:

• Rapid (1,5 mld parametrów) - sprinter. Podpowiedzi w czasie rzeczywistym podczas rozmowy z klientem, dopasowanie produktów do tego, co właśnie padło. Musi odpowiadać poniżej sekundy - i odpowiada, bo model tej wielkości po kwantyzacji zajmuje około 1 GB VRAM i generuje tekst błyskawicznie.
• Synte (4,5 mld) - środek stawki. Codzienny czat z bazą wiedzy, streszczenia rozmów, redagowanie odpowiedzi. Kompromis między jakością a szybkością dla dziewięciu dziesiątych codziennych zadań.
• Badacz (7 mld) - analityk. Dłuższe analizy, trudniejsze pytania, obszerniejszy kontekst. Wolniejszy - ale pracuje tam, gdzie użytkownik i tak czyta odpowiedź dłużej, niż ona powstaje.

Policzmy pamięć w INT4: ~1 GB + ~3 GB + ~4,5 GB daje około 8,5 GB na wszystkie trzy modele. Dołóżmy model transkrypcji mowy dla EVA, KV cache i zapas na równoczesnych użytkowników - i wniosek nasuwa się sam: cała platforma mieści się z zapasem na pojedynczej karcie klasy 24 GB. Czyli na serwerze, który kupuje się lub wynajmuje w budżecie średniej firmy, nie operatora chmury.

Router dobiera silnik do zapytania automatycznie - użytkownik nie wybiera modelu, po prostu pyta. Nad całością czuwa dwuwarstwowy Guard, filtrujący treść przed modelem i po nim (architektura opisana tu).

„Dopasowany do Twojego sprzętu" - co to znaczy w praktyce

Ten sam zestaw modeli skaluje się w obie strony, bo rozmiary i kwantyzację dobieramy do posiadanego żelaza:

• Serwer z kartą 16 GB? Modele wjadą w mocniejszej kwantyzacji, z mniejszym buforem równoczesności - dla zespołu do stu osób wciąż komfortowo.
• Karta 24 GB - typowy punkt startu? Konfiguracja standardowa: trzy modele, EVA i zapas na kilkudziesięciu równoczesnych użytkowników.
• Dwie karty albo 48 GB? Wyższa precyzja Badacza, dłuższe konteksty, większa równoczesność - bez zmiany architektury.
• Żadnego GPU? Wdrażamy na wynajętym serwerze dedykowanym, do którego dostęp macie tylko Wy - dane nadal nie dotykają współdzielonej chmury.

Dokładną specyfikację dobieramy na etapie pilotażu, do liczby użytkowników i modułów. Zasada pozostaje jednak stała: to oprogramowanie dopasowuje się do sprzętu, nie odwrotnie.

Pytania, które zada wasz zespół bezpieczeństwa (i dobre odpowiedzi)

1. Czy coś wychodzi na zewnątrz? Nie - inferencja, transkrypcja i baza wiedzy działają lokalnie; system pracuje także w sieci odciętej od internetu. Modele nie wysyłają telemetrii.
2. Skąd pewność, że model nie „zapamięta" danych klientów? Modele działają w trybie inferencji: odpowiadają, niczego się z rozmów nie doucza. Na dokładkę EVA maskuje dane osobowe, zanim treść rozmowy trafi do modelu podpowiedzi.
3. Co z aktualizacjami? Modele i baza wiedzy są wersjonowane; aktualizacje wjeżdżają w oknie serwisowym, bez wysyłania czegokolwiek poza organizację.
4. Jak to audytować? Wagi modeli są otwarte (Bielik), pipeline udokumentowany, a system prowadzi ślad audytowy zdarzeń.

Rachunek dla działu IT

Koszt platformy on-premise składa się z dwóch pozycji: serwer (jednorazowo albo wynajem dedyka) i licencja per użytkownik - w Yuqa od 79 zł za osobę miesięcznie, do 500 użytkowników. Opłat za tokeny nie ma; intensywność użycia nie zmienia rachunku o złotówkę. Zestawcie to z chmurowym planem enterprise dla tej samej liczby osób w horyzoncie 24 miesięcy - doliczając po stronie chmury koszt analiz transferów i DPIA, których przy on-premise w tej części po prostu nie ma. W wielu konfiguracjach szala przechyla się na stronę lokalnego wdrożenia szybciej, niż podpowiada intuicja „chmura jest tania na start".