Automatisch generiert — 12. Juli 2026
Mozilla AI hat Otari v0.2.0 veröffentlicht — ein Open-Source, self-hosted LLM Gateway mit einem einzigen OpenAI-kompatiblen Endpunkt vor über 40 Model-Providern. Neue Features: Named Provider Instances, Hybrid Streaming Implementation und verbesserte Routing-Optionen. Ein grosser Schritt für self-hosted KI-Infrastruktur.
→ Creative AI NewsOllama veröffentlicht v0.31.2-rc2 mit einem nativen Agent Harness — ein bedeutendes Feature für Agenten-Workflows auf lokaler Hardware. Gleichzeitig fallen alte GPUs unter ROCm weg, was Nutzer mit älterer Hardware betrifft. Wer selbst hostet, sollte updaten und Kompatibilität prüfen.
→ AppSelfHostForeman ist ein neuer Open-Source LLM Gateway, der Cost-Aware Routing bietet — API-Kosten reduzieren, ohne Qualität zu opfern. Das System wählt automatisch das günstigste Modell, das die Aufgabe noch gut genug löst. Relevant für alle, die mehrere LLM-Provider nutzen und Kosten kontrollieren wollen.
→ AINewsTensorSharp bringt native LLM-Inferenz in die .NET-Welt — ein Game-Changer für Enterprise-KI. Bisher war .NET bei lokaler KI-Inferenz unterrepräsentiert. Diese Bibliothek ermöglicht direkte Ausführung von LLMs in .NET-Anwendungen ohne Python-Brücke.
→ AINewsvLLM, die bekannte High-Throughput und Memory-Efficient Inference Engine für LLMs, hat Version 0.25.0 veröffentlicht. Mit 86K GitHub-Stars eines der wichtigsten Tools für self-hosted KI-Workloads. Ein Update, das self-hosting Betreiber sich ansehen sollten.
→ GitHub ReleaseUnsloth v0.1.48-beta bringt Auto Model-Switching und positioniert sich als voller llama-swap Ersatz. Zusätzlich: DeepSeek-V4 + NVFP4 Export Support, Japanese und Brazilian Language Support. Eine spannende Entwicklung für alle, die Modelle lokal trainieren und deployen.
→ AppSelfHost10x National Security hat den Nexus AI Gateway als Open Source veröffentlicht. Ein AI-Gateway mit Fokus auf Sicherheit — relevant für Organisationen, die KI im geschützten Umfeld self-hosten müssen. Zeigt den Trend, dass auch im Sicherheitsbereich Open Source für KI-Infrastruktur zunimmt.
→ Open Source For YouEin Entwickler hat einen Zero-Copy Rust Proxy gebaut, um LLM API-Kosten unter Kontrolle zu bringen — inklusive Überwindung der "Docker Loopback Trap". Eine praktische Fallstudie für alle, die self-hosted KI-Infrastruktur betreiben und Kosten begrenzen müssen.
→ Medium🖥️ Self-Hosted AI News · Automatisch generiert · 12. Juli 2026
Nächste Aktualisierung: 13. Juli 2026, 16:00 Uhr