Arch 소개
Arch는 Envoy Proxy에 기반한 지능형 Layer 7 게이트웨이로, 안전한 처리, 강력한 가시성 및 API와의 프롬프트 통합을 제공하여 빠르고 강력하며 개인화된 AI 에이전트를 구축할 수 있도록 합니다.
더 보기Arch이란?
Arch는 프롬프트 처리 및 API 통합과 관련된 중요한 작업을 처리하기 위해 목적에 맞게 설계된 LLM을 갖춘 오픈 소스 지능형 프롬프트 게이트웨이입니다. Envoy Proxy의 핵심 기여자들에 의해 구축된 이 시스템은 프롬프트를 전통적인 HTTP 요청과 동일한 기능을 요구하는 미세한 사용자 요청으로 취급합니다. 이 플랫폼은 에이전트, 어시스턴트 및 공동 조종사와 같은 LLM 애플리케이션을 보호하고 관찰하며 개인화하도록 설계되었으며, 이를 백엔드 API와 통합합니다.
Arch은 어떻게 작동하나요?
Arch는 여러 주요 메커니즘을 통해 프롬프트 처리에서 차별화되지 않은 작업을 처리합니다. 이는 탈옥 시도를 감지하고 거부하기 위해 특수화된 LLM을 사용하고, 사용자 요청을 이행하기 위해 백엔드 API를 지능적으로 호출하며, 업스트림 LLM 간의 프롬프트 라우팅을 관리합니다. 이 시스템은 애플리케이션 서버와 함께 실행되며, 인그레스 및 이그레스 트래픽을 처리하기 위해 Envoy의 HTTP 관리 기능을 활용합니다. 기능/API 호출 및 매개변수 추출을 위한 목적에 맞게 설계된 LLM을 포함하며, 프롬프트 가드 기능을 통해 프롬프트 가드레일을 중앙 집중화합니다. 이 플랫폼은 포괄적인 요청 추적을 위한 W3C Trace Context 표준을 구현하고 스마트 재시도 및 자동 전환과 같은 기능으로 강력한 트래픽 관리를 제공합니다.
Arch의 이점
Arch를 사용하면 AI 애플리케이션 개발에 여러 가지 이점이 있습니다. 중앙 집중식 프롬프트 가드레일을 제공하여 프롬프트 보안을 위한 사용자 정의 코드를 작성할 필요가 없습니다. 이 플랫폼은 빠르고 비용 효율적이며 정확한 프롬프트 기반 작업을 통해 성능을 개선하며, 탄력적인 업스트림 연결 및 스마트 트래픽 관리를 통해 지속적인 가용성을 보장합니다. 조직은 지연 시간, 토큰 사용량 및 오류 비율을 모니터링하기 위한 표준화된 메트릭으로 포괄적인 가시성을 누릴 수 있습니다. 또한 Envoy Proxy와의 통합은 입증된 확장성과 신뢰성을 제공하여 개발자가 안전하고 고성능의 AI 애플리케이션을 쉽게 구축하고 유지할 수 있도록 합니다.
더 보기