Zamiast kolejnego abonamentu AI - własny serwer GPU i płatność za token

Policzyłem, ile płacimy za abonamenty AI w zespole. ChatGPT Plus, Claude Pro i Gemini (dziś pod nazwą Google AI Pro) kosztują po około 20 dolarów miesięcznie każdy, każdy z własnym limitem zapytań na dobę. Trzy osobne konta, trzy osobne limity, żadnego wpływu na to, ile faktycznie zużywamy.

Własny serwer zamiast kolejnej subskrypcji

Na serwerze, który nazwaliśmy gpun50 - zbudowanym z kart graficznych po byłej koparce kryptowalut - postawiłem własny silnik vLLM. Qwen2.5-7B serwuje teraz zapytania przez api.cyberplaneta.pl za 2 złote netto za milion tokenów, bez abonamentu. Płacisz tyle, ile faktycznie zużyjesz, a miesięczny limit wydatków ustawiasz sam w panelu klienta.

Nie poszło gładko. Przy teście długiego kontekstu karta 10 GB nie mieściła nawet jednego zapytania na 16 tysięcy tokenów, dopóki nie zmieniłem formatu pamięci podręcznej na mniej dokładny. Po aktualizacji sterownika dwukrotnie traciłem połowę kart na rzecz innego sterownika systemowego, zanim doszedłem do stabilnej wersji.

Co dokładnie oferujemy

Usługa nie kończy się na jednym modelu tekstowym. W ofercie cyberplaneta.pl są trzy sposoby rozliczenia:

• API tokenów - 2 zł netto za milion tokenów, pakiety 10 mln za 20 zł albo 50 mln za 100 zł, API zgodne z OpenAI (wystarczy zmienić adres i klucz w swojej aplikacji)
• GPU na godziny - RTX 3080 od 0,72 zł/h za kartę, RTX 4000 Ada (20 GB) od 2 zł/h albo w pakiecie za 1,20 zł/h
• Abonament miesięczny - karta tylko dla Ciebie, 24 godziny na dobę, od 299 zł/mies. za RTX 3080 do 590 zł/mies. za RTX 4000 Ada

Do wyboru modele pod konkretne zadanie: Qwen2.5-7B do tekstu i function callingu, Qwen2-VL do czytania skanów i faktur, Whisper do transkrypcji mowy. Karta przychodzi z gotowym środowiskiem - Ollama, vLLM, PyTorch z CUDA, Jupyter, Stable Diffusion, Open WebUI, Docker - więc nie trzeba tracić czasu na konfigurację sterowników.

Dane i zapytania nie opuszczają polskiej serwerowni i nigdy nie są używane do trenowania modeli - ani naszych, ani cudzych. Karta w pakiecie tokenów jest dedykowana wyłącznie zapytaniom klientów usługi, nie dzielimy jej masowo jak tani, publiczny provider.

Dla kogo to ma sens

To nie jest zamiennik Claude czy ChatGPT do pisania i rozumowania - mniejszy model, inne zadania. Ale przy chatbotach na własnych danych, dostrajaniu modeli, przetwarzaniu wsadowym opisów produktów czy transkrypcji dziesiątek nagrań dziennie różnica w koszcie na milion tokenów przestaje być teoretyczna.