Aguru AI 사용법
Aguru AI는 행동 추적, 이상 감지 및 성능 최적화와 같은 기능을 갖춘 LLM 기반 애플리케이션을 위한 포괄적인 모니터링, 보안 및 최적화 도구를 제공하는 온프레미스 소프트웨어 솔루션입니다.
더 보기Aguru AI 사용 방법
Aguru Safeguard 패키지 다운로드: Aguru 웹사이트에 가입하여 전체 패키지를 다운로드합니다. 초기 사용자는 무료로 접근할 수 있습니다.
소프트웨어 설치: 데이터 프라이버시와 보안을 보장하기 위해 Aguru Safeguard를 로컬 시스템에 설치합니다.
인프라 구성: README.md 지침을 따라 LLM 트래픽을 리버스 프록시를 통해 라우팅하도록 인프라를 구성합니다. 애플리케이션 코드에 대한 수정은 필요하지 않습니다.
인터페이스 접근: http://localhost:5000으로 이동하여 Aguru Safeguard 인터페이스에 접근합니다.
LLM 트래픽 모니터링: 설정이 완료되면 Aguru Safeguard가 자동으로 LLM 트래픽을 모니터링하고 이상 현상을 감지하기 시작합니다.
알림 설정: 잠재적인 이상 현상을 모니터링하기 위해 선호하는 알림 시스템(Splunk 또는 DataDog 등)으로 전달될 알림을 구성합니다.
플레이그라운드 사용: 플레이그라운드에서 특정 프롬프트로 실험하여 시스템이 이상 현상을 감지하는 방법을 관찰하고 통찰력을 사용하여 AI 애플리케이션을 향상시킵니다.
선택 사항: LLM 라우터 활성화: 원하는 경우, 최적의 성능을 유지하면서 가장 비용 효율적인 모델로 프롬프트를 자동으로 유도하는 LLM 라우터 기능을 활성화합니다.
Aguru AI 자주 묻는 질문
Aguru Safeguard는 LLM의 행동, 성능 및 보안을 모니터링하는 온프레미스 소프트웨어입니다. 이는 LLM 운영의 중요한 측면에 대한 실행 가능한 통찰력을 제공하며, 로컬 설치를 통해 데이터가 개인적이고 안전하게 유지되도록 보장합니다.
더 보기