OpenLIT 사용법

OpenLIT 설치: TypeScript/JavaScript 프로젝트의 경우 npm('npm i openlit')을 사용하거나 Python 프로젝트의 경우 pip('pip install openlit')을 사용하여 OpenLIT을 설치합니다.

OpenLIT 초기화: 'openlit.init()'을 코드에 추가하여 LLM 애플리케이션에서 관찰 가능성 데이터를 수집하기 시작합니다. 초기화 중에 OTLP 엔드포인트 및 애플리케이션 이름과 같은 옵션을 구성할 수 있습니다.

OpenLIT 백엔드 배포: 빠른 설정을 위해 Docker Compose('docker-compose up -d')를 사용하거나 Kubernetes 배포를 위해 Helm 차트를 사용하여 OpenLIT 백엔드를 배포합니다. 이를 통해 UI 및 필요한 백엔드 서비스가 설정됩니다.

비밀 관리 구성: OpenLIT Vault를 사용하여 API 키 및 기타 민감한 자격 증명을 안전하게 저장하고 관리합니다. UI 또는 SDK를 통해 Vault에 접근하여 비밀을 저장/검색합니다.

프롬프트 관리 설정: UI의 프롬프트 허브를 사용하여 프롬프트를 생성, 버전 관리 및 관리합니다. 동적 콘텐츠를 위해 {{variableName}} 구문으로 프롬프트에 변수를 사용할 수 있습니다.

애플리케이션 모니터링: OpenLIT 대시보드에 접근하여 추적, 메트릭, 비용 및 예외를 확인합니다. LLM 성능을 분석하고 오류를 추적하며 GPU 사용량을 모니터링할 수 있습니다.

OpenGround로 LLM 테스트: OpenGround 플레이그라운드를 사용하여 성능, 비용 및 기타 메트릭을 기준으로 다양한 LLM 공급자를 나란히 비교하고 실험합니다.

평가 설정: hallucination, bias 및 toxicity 감지를 위한 평가를 구성하여 LLM 출력 품질을 평가합니다.

데이터 내보내기: 선택적으로 OpenLIT의 관찰 가능성 데이터를 Prometheus, Grafana 또는 기타 OpenTelemetry 호환 플랫폼과 같은 외부 도구로 전송하기 위해 연결을 구성합니다.