Jak zbudować wydajną maszynę do transkrypcji AI

Dowiedz się, jak we własnym zakresie stworzyć wysokowydajny zestaw do transkrypcji.

W obecnym ekosystemie – zdominowanym przez postępy w dziedzinie sztucznej inteligencji – firmy technologiczne coraz śmielej integrują AI ze swoimi procesami. Niektórzy decydują się na outsourcing zadań, wysyłając dane bezpośrednio do organizacji takich jak OpenAI. Inni wolą budować we własnej przestrzeni wydajne jednostki, które poradzą sobie z tymi obciążeniami, niezależnie od ich charakteru.

W tym artykule skupiamy się na tym drugim podejściu. Sprawdzimy, jak zbudować własną, wydajną maszynę do transkrypcji, którą w przyszłości będzie można wykorzystać także do innych celów, takich jak trenowanie lub dostrajanie modeli.

Gwiazda tego zestawu

Nasz wybór padł na kartę Asus TUF 5090 32GB OC Edition. Postawiliśmy na serię Asus TUF ze względu na jej uznaną niezawodność i trwałość. Nawet wybierając ponownie, wciąż wybralibyśmy ten model, zamiast wariantów, o których wyższości pod kątem szybkości dyskutuje się w sieci. Ta wersja kosztuje około 3900 USD, czyli znacznie mniej niż większość innych wariantów, a rzeczywista różnica prędkości podczas procesów inferencji (inference) jest znikoma. Nie warto wydawać dodatkowych 500–1000 USD dla marginalnego wzrostu wydajności o 1-3%!

Dlaczego wydajny komputer AI jest potrzebny dla 3CX?

Funkcja Onboard AI w 3CX pozwala firmom uruchamiać modele transkrypcji lokalnie, co znacząco zwiększa prywatność danych i zapewnia lepszą kontrolę nad mocą obliczeniową. Jeśli Twoja firma potrzebuje transkrypcji wykonywanej niemal w czasie rzeczywistym i obsługuje dużą liczbę połączeń, będziesz potrzebować tak wydajnej maszyny, jak ta opisana poniżej.

Podzespoły zestawu

• Karta graficzna: ASUS TUF Gaming GeForce RTX 5090 OC Edition 32GB GDDR7 (Nvidia RTX 5090, PCIe 5.0) – 4140 $
• Szybki dysk SSD (systemowy/główny): Samsung 9100 PRO NVMe M.2 4TB (PCIe 5.0, odczyt 14800MB/s) – 620 $
• Procesor: Intel® Core™ Ultra 9 Desktop Processor 285K (24 rdzenie, do 5.7 GHz) – 568 $
• Pamięć RAM: 1 x 48GB (2x24GB) DDR5 6000Mhz Corsair Dominator Titanium RGB Intel XMP (CMP48GX5M2B6000C30) – 1420 $
• Zasilacz: CORSAIR HX1200i (2025) 1200W zgodny z ATX 3.1 i PCIe 5.1 (W pełni modularny, Platinum) – 259 $
• Płyta główna: ASUS TUF Gaming Z890-PRO WiFi (Intel LGA 1851, ATX, PCIe 5.0, DDR5, WiFi 7) – 315 $
• Chłodzenie procesora: Noctua NH-D15 G2 chromax.black (Premium Dual Tower) – 189 $

Suma: 7 511 $

Być może patrząc na tę cenę, myślisz teraz: „Hej, dlaczego nie kupić po prostu DGX Spark od Nvidii? Jest tańszy”. To jednak błędny trop!

Choć DGX Spark i podobne rozwiązania typu „wszystko w jednym” są reklamowane jako błyskawiczne – i trzeba przyznać, że stoi za nimi świetny marketing – są one od 3 do 6 razy wolniejsze w transkrypcji połączeń niż zestaw, który właśnie zbudowaliśmy. DGX Spark i zbliżone systemy nie posiadają dedykowanej pamięci GPU, lecz współdzielą pamięć RAM z resztą systemu. Choć pozwala to na dostęp do większej ilości pamięci niż zazwyczaj, w efekcie całe rozwiązanie jest wolniejsze.

Optymalizacja kosztów poprzez zmianę specyfikacji

W przypadku tego konkretnego zestawu trzeba przyznać, że niektóre elementy zostały dobrane z dużą nawiązką. Przykładowo, ilość pamięci RAM można zmniejszyć do 16 GB, ponieważ do zadań związanych z inferencją będziemy używać pamięci VRAM karty graficznej, a nie standardowego RAM-u. Dodatkowo, jeśli chcesz zaoszczędzić kolejne 100 USD, możesz zamienić dysk 9100 PRO NVMe na serię 970-990 PRO od Samsunga. Nieco słabszy procesor, jak Core Ultra 5 245K / 250K, również spełni swoje zadanie.

Prawda jest taka, że dopóki w zestawie znajduje się karta 5090, reszta podzespołów (z wyjątkiem zasilacza) może mieć znacznie niższą specyfikację. Na takim „odchudzeniu” konfiguracji serwera możesz zaoszczędzić około 1000 USD.

Zdjęcie zestawu

Powyższe zdjęcie przedstawia porównanie kart Asus TUF 4080 RTX 16GB OC oraz Asus TUF 5090 RTX 32GB OC. Obie te karty ważą blisko 3 kg i są niemal wielkości przedramienia. Jeśli planujesz zakup wysokiej klasy karty graficznej Nvidia z serii RTX do budowy własnej maszyny, koniecznie sprawdź, czy Twoja obudowa ją pomieści. W przypadku tak potężnych układów GPU ilość miejsca wewnątrz obudowy niemal zawsze stanowi wyzwanie.

Wydajność?

Wydajność transkrypcji takiej maszyny może wynosić od 32x do 64x prędkości czasu rzeczywistego. Oznacza to, że jeśli nagranie trwa 32-64 sekundy, jego transkrypcja zajmie około 1-2 sekund (plus czas potrzebny na załadowanie modelu i inne czynniki).

Pamiętaj oczywiście o drugim etapie analizy AI gotowego tekstu, co może zająć kilka dodatkowych sekund w zależności od długości transkrypcji. Stacja może obsłużyć od 32 do 64 tysięcy tokenów kontekstu, co w przybliżeniu przekłada się na 4 godziny rozmowy. Dzięki temu nawet najdłuższe, 3-godzinne połączenia w 3CX zostaną przeanalizowane z uwzględnieniem pełnego kontekstu rozmowy.

Poniżej znajdują się szczegółowe wyniki testów wydajności z naszych wewnętrznych benchmarków:

Podsumowanie

Zbudowaliśmy wysokowydajną stację roboczą do zadań AI. Dla organizacji korzystających z systemu telefonicznego 3CX i funkcji Onboard AI, ten zestaw stanowi szczyt lokalnych możliwości obliczeniowych. Pozwala zachować balans między kosztami a szybkością i dokładnością transkrypcji, dbając jednocześnie o to, by dane pozostały bezpieczne wewnątrz Twojej sieci.

Gotowy na sprawdzenie, jak szybko możesz transkrybować swoje rozmowy?