Jak uruchomić swój pierwszy model AI na serwerze GPU

1. Połącz się z serwerem i sprawdź kartę

Zaloguj się przez SSH i uruchom nvidia-smi, aby potwierdzić, że karta i sterownik działają poprawnie.

2. Wybierz narzędzie do uruchamiania modeli

Do najprostszych zastosowań (np. lokalny model językowy) dobrze sprawdza się Ollama; do obsługi wielu zapytań równolegle — vLLM.

3. Zainstaluj i uruchom wybrane narzędzie

Postępuj według oficjalnej dokumentacji narzędzia — większość z nich oferuje gotowy skrypt instalacyjny dla Linuksa.

4. Wyślij pierwsze zapytanie

Po uruchomieniu usługi model odpowiada lokalnie na serwerze — możesz przetestować go z poziomu terminala lub przez API, w zależności od wybranego narzędzia.

Wskazówka: Duże modele językowe zajmują dużo pamięci VRAM — jeśli model nie chce się załadować, sprawdź w dokumentacji jego wymagania pamięciowe względem Twojej karty.