Arch 사용법
Arch는 Envoy Proxy에 기반한 지능형 Layer 7 게이트웨이로, 안전한 처리, 강력한 가시성 및 API와의 프롬프트 통합을 제공하여 빠르고 강력하며 개인화된 AI 에이전트를 구축할 수 있도록 합니다.
더 보기Arch 사용 방법
필수 구성 요소 설치: 시스템에 Docker(v24), Docker Compose(v2.29), Python(v3.10) 및 Poetry(v1.8.3)가 설치되어 있는지 확인하십시오. Poetry는 로컬 개발에 필요합니다.
Python 가상 환경 생성: 다음 명령을 사용하여 새 Python 가상 환경을 생성하고 활성화합니다: python -m venv venv && source venv/bin/activate (또는 Windows에서는 venv\Scripts\activate)
Arch CLI 설치: pip를 사용하여 Arch 게이트웨이 CLI 도구를 설치합니다: pip install archgw
구성 파일 생성: LLM 공급자, 프롬프트 대상, 엔드포인트 및 시스템 프롬프트 및 매개변수와 같은 기타 설정을 정의하는 구성 파일(예: arch_config.yaml)을 생성합니다.
LLM 공급자 구성: 구성 파일에서 적절한 액세스 키 및 모델 설정으로 LLM 공급자(예: OpenAI)를 설정합니다.
프롬프트 대상 정의: 구성 파일에서 프롬프트 대상을 구성하고 각 대상 기능에 대한 엔드포인트, 매개변수 및 설명을 지정합니다.
엔드포인트 설정: 구성 파일에서 애플리케이션 엔드포인트를 정의하고 연결 설정 및 시간 초과를 포함합니다.
클라이언트 초기화: 애플리케이션 코드에서 Arch 게이트웨이를 가리키는 OpenAI 클라이언트 인스턴스를 생성합니다(예: base_url='http://127.0.0.1:12000/v1')
API 호출 수행: 구성된 클라이언트를 사용하여 Arch를 통해 API 호출을 수행하며, Arch는 라우팅, 보안 및 가시성을 처리합니다.
성능 모니터링: Arch의 내장 가시성 기능을 사용하여 LLM 상호작용에 대한 메트릭, 추적 및 로그를 모니터링합니다.
Arch 자주 묻는 질문
Arch는 API를 사용하여 LLM 애플리케이션을 보호하고 관찰하며 개인화하기 위해 설계된 지능형 Layer 7 게이트웨이입니다. Envoy Proxy를 기반으로 구축되었으며, 안전한 처리, 강력한 관찰 가능성 및 API와의 프롬프트 통합을 위해 목적에 맞게 설계된 LLM을 사용합니다.
더 보기