Arch 기능
Arch는 Envoy Proxy에 기반한 지능형 Layer 7 게이트웨이로, 안전한 처리, 강력한 가시성 및 API와의 프롬프트 통합을 제공하여 빠르고 강력하며 개인화된 AI 에이전트를 구축할 수 있도록 합니다.
더 보기Arch의 주요 기능
Arch는 AI/LLM 애플리케이션을 처리하기 위해 설계된 지능형 Layer 7 게이트웨이로, Envoy Proxy를 기반으로 합니다. 이 플랫폼은 탈옥 탐지, API 통합, LLM 라우팅 및 가시성 기능을 포함한 포괄적인 프롬프트 관리 기능을 제공합니다. 이 플랫폼은 기능 호출, 매개변수 추출 및 안전한 프롬프트 처리를 위한 중요한 작업을 처리하기 위해 목적에 맞게 설계된 LLM을 사용하며, 표준 기반 모니터링 및 트래픽 관리 기능을 제공합니다.
내장 기능 호출: 에이전틱 및 RAG 애플리케이션 구축을 위한 프롬프트에서의 빠르고 비용 효율적인 API 호출 및 매개변수 추출을 처리하기 위해 목적에 맞게 설계된 LLM으로 엔지니어링됨
프롬프트 보안: 프롬프트 가드레일을 중앙 집중화하고 사용자 정의 코드 구현 없이 자동 탈옥 시도 탐지를 제공합니다
고급 트래픽 관리: 지속적인 가용성을 보장하기 위해 스마트 재시도, 자동 장애 조치 및 탄력적인 업스트림 연결로 LLM 호출을 관리
기업급 가시성: 완전한 요청 추적을 위한 W3C Trace Context 표준을 구현하고 지연 시간, 토큰 사용량 및 오류 비율 모니터링을 위한 포괄적인 메트릭을 제공합니다
Arch의 사용 사례
AI 기반 날씨 예측: 자연어 처리를 통해 지능형 날씨 예측을 제공하기 위해 날씨 서비스와 통합
보험 에이전트 자동화: 고객 문의를 처리하고 보험 관련 작업을 수행할 수 있는 자동화된 보험 에이전트 구축
네트워크 관리 보조: 운영자가 트래픽 흐름을 이해하고 자연어 상호작용을 통해 네트워크 작업을 관리하는 데 도움을 주는 네트워킹 공동 조종사 생성
기업 API 통합: 보안 및 가시성을 유지하면서 기존 기업 API와 AI 기능을 원활하게 연결
장점
신뢰할 수 있는 성능을 위한 검증된 Envoy Proxy 기술 기반
내장된 탈옥 탐지 기능을 갖춘 포괄적인 보안 기능
기업 준비가 된 표준 기반 가시성
단점
Arch Linux와의 이름 혼동으로 인한 잠재적인 검색 가시성 문제
설정을 위한 Docker 및 특정 기술적 전제 조건 필요
신규 프로젝트로서 제한된 문서 및 커뮤니티 리소스
더 보기