Aguru AI Введение

Aguru AI работает через настройку обратного прокси, который мониторит трафик LLM и предоставляет реальные данные без необходимости вносить изменения в существующий код приложения. Система включает несколько ключевых компонентов: модуль защиты, который мониторит поведение LLM и обнаруживает аномалии, такие как галлюцинации, токсичные комментарии и инъекции запросов; LLM Router, который оптимизирует выбор модели на основе показателей стоимости и производительности; и среда Песочницы для тестирования и уточнения запросов. Пользователи могут получить доступ к этим функциям через локальный интерфейс по адресу http://localhost:5000 после установки, при этом все мониторинг и анализ происходят локально для обеспечения конфиденциальности данных.