Relari: Testing and Simulation Stack for GenAI Systems 사용법

지속적 평가 설치: 다음 명령어를 실행하여 Relari의 오픈 소스 평가 프레임워크 '지속적 평가'를 설치합니다: git clone https://github.com/relari-ai/continuous-eval.git && cd continuous-eval poetry install --all-extras

합성 데이터 생성: Relari.ai에서 무료 계정을 생성하고 클라우드 플랫폼을 사용하여 특정 사용 사례(예: RAG, 에이전트, 코파일럿)를 위한 사용자 상호작용을 시뮬레이션하는 맞춤형 합성 데이터 세트를 생성합니다.

평가 파이프라인 정의: 지속적 평가를 사용하여 GenAI 애플리케이션의 각 구성 요소를 별도로 테스트하는 평가 파이프라인을 설정하여 시스템의 특정 부분에 문제를 정확히 지적할 수 있도록 합니다.

평가 메트릭 선택: Relari의 30개 이상의 오픈 소스 메트릭 중에서 선택하거나 텍스트 생성, 코드 생성, 검색, 분류 및 애플리케이션과 관련된 기타 LLM 작업을 평가하기 위한 맞춤형 메트릭을 생성합니다.

평가 실행: 합성 데이터 세트에서 평가 파이프라인을 실행하여 GenAI 애플리케이션을 스트레스 테스트하고 개선이 필요한 영역을 식별합니다.

결과 분석: 구성 요소 수준의 메트릭과 전체 시스템 성능을 검토하여 문제가 발생하는 위치를 이해하고 개선 사항의 우선 순위를 정합니다.

프롬프트 최적화: Relari의 자동 프롬프트 최적화기를 사용하여 평가 결과를 기반으로 LLM 프롬프트를 체계적으로 개선합니다.

반복 및 개선: 평가 통찰력을 바탕으로 GenAI 애플리케이션에 대한 목표 개선을 수행한 후, 진행 상황을 측정하기 위해 평가를 다시 실행합니다.

운영 중 모니터링: Relari의 런타임 모니터링 기능을 활용하여 운영 환경에서 GenAI 애플리케이션의 성능을 지속적으로 평가하고 개선합니다.