Rikta lokal AI-assistent trafik genom en självhostad gateway
Rikta lokal AI-assistent trafik genom en centraliserad, självhostad gateway som tillämpar realtidsanrop kompression och kontextoptimering för att minska inferenskostnader. Anyray Connect, från Othentic Labs Ltd, levereras som en signerad Windows-exekverbar fil för ingenjörsteam och DevOps. Den exponerar en OpenAI-kompatibel API, erbjuder kostnadsattribution per team och projekt, och inkluderar en fail-open timeout så att utvecklararbetsflöden fortsätter att köras. Verktyget passar team som kör LLM:er i stor skala och kräver lokal styrning.
Vad gör Anyray Connect faktiskt för utvecklarens LLM-trafik?
Anyray Connect dirigerar förfrågningar från lokala AI-verktyg genom en intern gateway, omformulerar slutpunkter så att assistenter och SDK:er använder optimizern utan kodändringar. Den klientbaserade exekverbara filen konfigurerar automatiskt kompatibla verktyg för att peka på gatewayen, och gatewayen tillämpar deterministiska, regelbaserade transformationer för komprimering och kontexttrimning. Installationen riktar sig mot miljöer där promptinnehåll måste förbli inom företagets infrastruktur, och den exponerar ett OpenAI-kompatibelt API så att befintliga integrationer fortsätter att fungera.
Påverkar det arbetsflöden eller kräver det ingenjörsförändringar?
Verktyget fungerar som en direkt ersättning för befintliga LLM-slutpunkter, så team behöver inte ändra assistentkod eller SDK-anrop. Dessutom använder klienten en fail-open-mekanism med en tidsgräns på 800–1200 millisekunder som vidarebefordrar förfrågningar oförändrade om optimizern är långsam, vilket bevarar utvecklarproduktiviteten. Konfiguration sker på klient- och gateway-nivå, och installatörer distribueras som en enda signerad Windows-exekverbar fil eller via Windows Package Manager.
Är det säkert att använda i en företagsmiljö?
Säkerhet är inbyggd i den självhostade arkitekturen; gatewayen och optimizern körs inom din infrastruktur (till exempel Docker eller Kubernetes), och prompt-/svarinnehåll förblir på plats. Dessutom använder optimizern deterministiska transformationer för att hålla utdata stabila, och mätning skickar endast innehållsfria metadata för kostnadsattribution. Dessa designval begränsar extern exponering samtidigt som de tillhandahåller rapportering av användning per team och per projekt.
Ett riktat verktyg för ingenjörsteam som redan kör självhostad infrastruktur
Anyray Connect passar ingenjörs- och DevOps-team som behöver detaljerad styrning av LLM-trafik och redan driver containeriserade eller lokala tjänster. Det bevarar befintliga integrationer genom att exponera ett standard-API och håller känsliga uppmaningar inom nätverket. Den största avvägningen är det operativa kravet: teamen måste vara värdar för och underhålla gateway-infrastrukturen för att dra nytta av optimerings- och attribueringsfunktionerna.
