Aguru AI Anleitung
Aguru AI ist eine On-Premises-Softwarelösung, die umfassende Überwachungs-, Sicherheits- und Optimierungstools für LLM-basierte Anwendungen mit Funktionen wie Verhaltensverfolgung, Anomalieerkennung und Leistungsoptimierung bietet.
Mehr anzeigenWie verwendet man Aguru AI
Aguru Safeguard-Paket herunterladen: Melden Sie sich auf der Aguru-Website an, um das vollständige Paket herunterzuladen. Frühe Anwender können kostenlosen Zugang erhalten.
Software installieren: Installieren Sie Aguru Safeguard lokal auf Ihrem System, um Datenprivatsphäre und Sicherheit zu gewährleisten.
Infrastruktur konfigurieren: Befolgen Sie die Anweisungen in der README.md, um Ihre Infrastruktur so zu konfigurieren, dass der LLM-Verkehr über einen Reverse-Proxy geleitet wird. Es sind keine Änderungen am Anwendungscode erforderlich.
Schnittstelle aufrufen: Navigieren Sie zu http://localhost:5000, um auf die Aguru Safeguard-Schnittstelle zuzugreifen.
LLM-Verkehr überwachen: Sobald die Einrichtung abgeschlossen ist, beginnt Aguru Safeguard automatisch mit der Überwachung Ihres LLM-Verkehrs und der Erkennung von Anomalien.
Alarme einrichten: Konfigurieren Sie Alarme, die an Ihr bevorzugtes Alarmsystem (wie Splunk oder DataDog) weitergeleitet werden, um potenzielle Anomalien zu überwachen.
Playground verwenden: Experimentieren Sie mit spezifischen Eingabeaufforderungen im Playground, um zu beobachten, wie das System Anomalien erkennt, und nutzen Sie die Erkenntnisse zur Verbesserung Ihrer KI-Anwendungen.
Optional: LLM-Router aktivieren: Falls gewünscht, aktivieren Sie die LLM-Router-Funktion, um Eingabeaufforderungen automatisch an die kosteneffektivsten Modelle weiterzuleiten und dabei die optimale Leistung aufrechtzuerhalten.
Aguru AI FAQs
Aguru Safeguard ist eine lokale Software, die das Verhalten, die Leistung und die Sicherheit von LLM überwacht. Sie bietet umsetzbare Einblicke in kritische Aspekte des LLM-Betriebs und stellt sicher, dass die Daten durch lokale Installation privat und sicher bleiben.
Beliebte Artikel
Midjourney führt Pinterest-ähnliche Moodboards nach Patchwork-Veröffentlichung ein
Dec 17, 2024
Google startet Whisk: Revolutionärer KI-Bildgenerator kombiniert drei Bilder zu einem
Dec 17, 2024
Google enthüllt KI-Bildgenerator der nächsten Generation Imagen 3
Dec 17, 2024
Google stellt Gemini Gems und Imagen 3 für verbesserte Kreativität vor
Dec 17, 2024
Mehr anzeigen