Juice Factory AI to europejska platforma infrastruktury AI do inferencji LLM, modeli multimodalnych, RAG i przetwarzania wsadowego. Platforma działa w centrach danych UE z naciskiem na bezpieczeństwo danych, niskie opóźnienia i pełną kontrolę nad modelami i danymi.
| Typ | VRAM | Konfiguracja |
|---|---|---|
| B200 | 80-192 GB | 8×GPU, 2×CPU (128 rdzeni), 2 TB RAM |
| Klasa NVIDIA RTX 6000 | 96 GB | 4×GPU, 1×CPU (64 rdzeni), 512 GB RAM |
| Klasa AMD MI300 | 192 GB | 8×GPU, 2×CPU (128 rdzeni), 2 TB RAM |
Kubernetes do orkiestracji, Docker do izolacji
CUDA 12.x, ROCm 6.x dla AMD
vLLM, TensorRT-LLM, Text-Gen WebUI, TGI
Automatyczne pobieranie, kwantyzacja (INT8, FP16), cachowanie
Security By Default
Lokalizacja danych: Wszystkie dane i przetwarzanie odbywają się w UE. Żadne dane nie opuszczają UE.
Kontrola dostępu: Klucze API, tokeny JWT, dostęp oparty na rolach, wsparcie MFA
Segmentacja sieci: Izolowane sieci na klienta, brak wspólnej infrastruktury
Polityka logów: Brak przechowywania danych domyślnie. Klient wybiera własną politykę retencji.
Security By Default
Przy każdym żądaniu wnioskowania dane podążają ściśle zdefiniowanym przepływem:
Ta mapa przepływu danych jest udokumentowana i wersjonowana, co umożliwia przegląd każdego kroku podczas audytów bezpieczeństwa i zgodności.
Aby zapewnić, że żadne dane wnioskowania nie są przechowywane ani używane do treningu, wdrożyliśmy:
Kod wnioskowania nie ma dostępu do zapisu do baz danych i przechowywania zawartości klienta. Brama API i platforma logowania są skonfigurowane tak, aby nie logować ciał żądań lub odpowiedzi.
Przestrzenie nazw specyficzne dla klienta i wyraźne rozdzielenie między testem, stagingiem a produkcją, aby uniknąć przypadkowego trafiania logowania debugowania do produkcji.
Formaty logów zawierają tylko metadane techniczne. Brak pól dla promptów lub wyników w trybie standardowym.
Wszystkie dane logów podlegają retencji czasowej, w której dane są automatycznie usuwane po X dniach zgodnie z polityką klienta lub platformy.
Zmiany w polityce logowania, konfiguracji i bazie kodu są logowane, co umożliwia zarówno wewnętrzne, jak i zewnętrzne audyty (np. do certyfikacji ISO/SOC).
Platforma jest zbudowana dla niskiego opóźnienia i wysokiej przepustowości:
Wiele LLM może działać jednocześnie na tej samej infrastrukturze. Pooling zasobów pozwala modelom dzielić sprzęt gdy dostępna jest pojemność, ale każdy klient ma izolowane wykonania. Scheduler priorytetyzuje żądania o niskim opóźnieniu nad zadaniami wsadowymi.
REST API i gRPC do dostępu programowego. Webhooks dla powiadomień o zdarzeniach. SSO przez OIDC dla łatwej integracji z istniejącymi systemami tożsamości. SDK dla Python, JavaScript i Go.
Cennik oparty na tokenach z jasną kontrolą kosztów. Płacisz za wygenerowany token, z różnymi cenami dla różnych rozmiarów modeli. Bez lock-in, skaluj w górę i w dół według potrzeb. Rabaty wolumenowe dla długoterminowych zobowiązań.
Firma e-commerce uruchamia model 7B dla odpowiedzi w czasie rzeczywistym w swoim czacie. Średnie opóźnienie <50ms, 99,9% uptime.
Firma konsultingowa indeksuje wewnętrzne dokumenty i wykonuje zapytania RAG względem modelu 13B. Bezpieczne, żadne dane nie opuszczają UE.
Agencja mediowa generuje tysiące opisów produktów dziennie z modelem 70B. Uruchomienia wsadowe w nocy.
Wszystkie dane pozostają w UE. Żadne dane nie są logowane ani przechowywane bez Twojej zgody. Izolowane sieci na klienta.
Wszystkie otwarte modele (Llama, Mistral, itp.) i niestandardowe modele fine-tuned. Pomagamy z wdrożeniem.
Pierwszy token <10ms, kolejne <1ms. Zadania wsadowe skalują się według potrzeb.
REST API, gRPC, webhooks. SDK dla Python, JS, Go. Pełna dokumentacja OpenAPI.
Cennik oparty na tokenach. Skontaktuj się z nami po dokładne ceny w oparciu o Twoje potrzeby.