Juice Factory AI je evropská platforma AI infrastruktury pro LLM inferenci, multimodální modely, RAG a dávkové zpracování. Platforma běží v EU datacentrech se zaměřením na bezpečnost dat, nízkou latenci a plnou kontrolu nad modely a daty.
| Typ | VRAM | Konfigurace |
|---|---|---|
| B200 | 80-192 GB | 8×GPU, 2×CPU (128 jader), 2 TB RAM |
| Třída NVIDIA RTX 6000 | 96 GB | 4×GPU, 1×CPU (64 jader), 512 GB RAM |
| Třída AMD MI300 | 192 GB | 8×GPU, 2×CPU (128 jader), 2 TB RAM |
Kubernetes pro orchestraci, Docker pro izolaci
CUDA 12.x, ROCm 6.x pro AMD
vLLM, TensorRT-LLM, Text-Gen WebUI, TGI
Automatické stahování, kvantizace (INT8, FP16), cachování
Security By Default
Umístění dat: Všechna data a zpracování probíhá v rámci EU. Žádná data neopouštějí EU.
Řízení přístupu: API klíče, JWT tokeny, přístup na základě rolí, podpora MFA
Síťová segmentace: Izolované sítě pro zákazníka, žádná sdílená infrastruktura
Politika logů: Žádné ukládání dat standardně. Zákazník si volí vlastní retenční politiku.
Security By Default
Při každém požadavku na inferenci data následují přísně definovaný tok:
Tato mapa toku dat je dokumentována a verzována, což umožňuje revizi každého kroku při bezpečnostních a compliance auditech.
Abychom zajistili, že žádná inferenční data nejsou ukládána ani používána pro trénování, implementovali jsme:
Inferenční kód nemá přístup k zápisu do databází a úložiště zákaznického obsahu. API gateway a logovací platforma jsou nakonfigurovány tak, aby nezaznamenávaly těla požadavků nebo odpovědí.
Zákaznicky specifické jmenné prostory a jasné oddělení mezi testem, stagingem a produkcí, aby se zabránilo náhodnému ukládání debug logování do produkce.
Formáty logů obsahují pouze technická metadata. Žádná pole pro prompty nebo výstupy ve standardním režimu.
Všechna logovací data podléhají časově omezené retenci, kde jsou data automaticky mazána po X dnech podle politiky zákazníka nebo platformy.
Změny v logovací politice, konfiguraci a kódové bázi jsou zaznamenávány, což umožňuje jak interní, tak externí audity (např. pro ISO/SOC certifikace).
Platforma je postavena pro nízkou latenci a vysokou propustnost:
Více LLM může běžet současně na stejné infrastruktuře. Sdružování zdrojů umožňuje modelům sdílet hardware, když je k dispozici kapacita, ale každý zákazník má izolované exekuce. Plánovač prioritizuje nízkolatencí požadavky před dávkovými úlohami.
REST API a gRPC pro programový přístup. Webhooky pro oznámení událostí. SSO přes OIDC pro snadnou integraci se stávajícími systémy identit. SDK pro Python, JavaScript a Go.
Ceny založené na tokenech s jasnou kontrolou nákladů. Platíte za vygenerovaný token, s různými cenami pro různé velikosti modelů. Žádné uzamčení, škálujte nahoru a dolů podle potřeby. Objemové slevy pro dlouhodobé závazky.
E-commerce společnost provozuje 7B model pro odpovědi v reálném čase ve svém chatu. Průměrná latence <50ms, 99,9% dostupnost.
Poradenská firma indexuje interní dokumenty a provádí RAG dotazy proti 13B modelu. Bezpečné, žádná data neopouštějí EU.
Mediální agentura generuje tisíce popisů produktů denně s 70B modelem. Dávková spuštění v noci.
Všechna data zůstávají v EU. Žádná data nejsou logována ani ukládána bez vašeho souhlasu. Izolované sítě pro zákazníka.
Všechny otevřené modely (Llama, Mistral, atd.) a vlastní fine-tuned modely. Pomáháme s nasazením.
První token <10ms, následující <1ms. Dávkové úlohy se škálují podle potřeby.
REST API, gRPC, webhooky. SDK pro Python, JS, Go. Plná dokumentace OpenAPI.
Ceny založené na tokenech. Kontaktujte nás pro přesné ceny na základě vašich potřeb.