Arch의 핵심 기능은 무엇인가요?

Arch의 핵심 기능은 다음과 같습니다: 1) HTTP 관리 및 확장을 위한 Envoy 기반, 2) 빠른 Agentic 및 RAG 앱을 위한 함수 호출, 3) 탈옥 시도를 방지하기 위한 프롬프트 가드, 4) LLM 호출을 위한 트래픽 관리, 5) W3C Trace Context 표준을 사용하는 표준 기반 관찰 가능성.

Arch 설치를 위한 전제 조건은 무엇인가요?

Arch를 설치하려면 다음이 필요합니다: 1) Docker 시스템 (v24), 2) Docker compose (v2.29), 3) Python (v3.10), 4) Poetry (v1.8.3), 그리고 외부 LLM을 사용하는 경우 LLM 제공자의 API 키.

Arch는 보안을 어떻게 처리하나요?

Arch는 탈옥 시도를 방지하기 위해 프롬프트 가드레일을 중앙 집중화하고 코드 작성을 요구하지 않고 안전한 사용자 상호작용을 보장합니다. 탈옥 시도를 감지하는 데 있어 낮은 지연 시간과 낮은 오탐률로 최첨단 성능을 제공하는 Arch-Guard 컬렉션이 포함되어 있습니다.

개발자는 Arch에 대한 지원을 어떻게 받을 수 있나요?

개발자는 Arch의 Discord 서버에 가입하여 지원을 받을 수 있으며, 팀이 적극적으로 모니터링하고 지원을 제공합니다. 또한 docs.archgw.com에서 문서를 참조하여 자세한 안내를 받을 수 있습니다.

Arch는 어떤 종류의 관찰 가능성 기능을 제공하나요?

Arch는 애플리케이션 전반에 걸쳐 완전한 요청 추적을 위해 W3C Trace Context 표준을 사용하여 포괄적인 관찰 가능성 기능을 제공합니다. AI 애플리케이션 성능을 최적화하는 데 도움이 되는 지연 시간, 토큰 사용량 및 오류율을 모니터링하는 메트릭을 제공합니다.

Arch

WebsiteContact for PricingAI Chatbot Prompts

Arch는 Envoy Proxy에 기반한 지능형 Layer 7 게이트웨이로, 안전한 처리, 강력한 가시성 및 API와의 프롬프트 통합을 제공하여 빠르고 강력하며 개인화된 AI 에이전트를 구축할 수 있도록 합니다.

소셜 및 이메일:

웹사이트 방문

https://github.com/katanemo/arch?ref=aipure&utm_source=aipure

개요
분석
공식 게시물
동영상
대안

제품 정보

업데이트됨:15/11/2024

Arch이란 무엇인가요

Arch는 프롬프트 처리 및 API 통합과 관련된 중요한 작업을 처리하기 위해 목적에 맞게 설계된 LLM을 갖춘 오픈 소스 지능형 프롬프트 게이트웨이입니다. Envoy Proxy의 핵심 기여자들에 의해 구축된 이 시스템은 프롬프트를 전통적인 HTTP 요청과 동일한 기능을 요구하는 미세한 사용자 요청으로 취급합니다. 이 플랫폼은 에이전트, 어시스턴트 및 공동 조종사와 같은 LLM 애플리케이션을 보호하고 관찰하며 개인화하도록 설계되었으며, 이를 백엔드 API와 통합합니다.

Arch의 주요 기능

Arch는 AI/LLM 애플리케이션을 처리하기 위해 설계된 지능형 Layer 7 게이트웨이로, Envoy Proxy를 기반으로 합니다. 이 플랫폼은 탈옥 탐지, API 통합, LLM 라우팅 및 가시성 기능을 포함한 포괄적인 프롬프트 관리 기능을 제공합니다. 이 플랫폼은 기능 호출, 매개변수 추출 및 안전한 프롬프트 처리를 위한 중요한 작업을 처리하기 위해 목적에 맞게 설계된 LLM을 사용하며, 표준 기반 모니터링 및 트래픽 관리 기능을 제공합니다.

내장 기능 호출: 에이전틱 및 RAG 애플리케이션 구축을 위한 프롬프트에서의 빠르고 비용 효율적인 API 호출 및 매개변수 추출을 처리하기 위해 목적에 맞게 설계된 LLM으로 엔지니어링됨

프롬프트 보안: 프롬프트 가드레일을 중앙 집중화하고 사용자 정의 코드 구현 없이 자동 탈옥 시도 탐지를 제공합니다

고급 트래픽 관리: 지속적인 가용성을 보장하기 위해 스마트 재시도, 자동 장애 조치 및 탄력적인 업스트림 연결로 LLM 호출을 관리

기업급 가시성: 완전한 요청 추적을 위한 W3C Trace Context 표준을 구현하고 지연 시간, 토큰 사용량 및 오류 비율 모니터링을 위한 포괄적인 메트릭을 제공합니다

Arch의 사용 사례

AI 기반 날씨 예측: 자연어 처리를 통해 지능형 날씨 예측을 제공하기 위해 날씨 서비스와 통합

보험 에이전트 자동화: 고객 문의를 처리하고 보험 관련 작업을 수행할 수 있는 자동화된 보험 에이전트 구축

네트워크 관리 보조: 운영자가 트래픽 흐름을 이해하고 자연어 상호작용을 통해 네트워크 작업을 관리하는 데 도움을 주는 네트워킹 공동 조종사 생성

기업 API 통합: 보안 및 가시성을 유지하면서 기존 기업 API와 AI 기능을 원활하게 연결

장점

신뢰할 수 있는 성능을 위한 검증된 Envoy Proxy 기술 기반

내장된 탈옥 탐지 기능을 갖춘 포괄적인 보안 기능

기업 준비가 된 표준 기반 가시성

단점

Arch Linux와의 이름 혼동으로 인한 잠재적인 검색 가시성 문제

설정을 위한 Docker 및 특정 기술적 전제 조건 필요

신규 프로젝트로서 제한된 문서 및 커뮤니티 리소스

Arch 사용 방법

필수 구성 요소 설치: 시스템에 Docker(v24), Docker Compose(v2.29), Python(v3.10) 및 Poetry(v1.8.3)가 설치되어 있는지 확인하십시오. Poetry는 로컬 개발에 필요합니다.

Python 가상 환경 생성: 다음 명령을 사용하여 새 Python 가상 환경을 생성하고 활성화합니다: python -m venv venv && source venv/bin/activate (또는 Windows에서는 venv\Scripts\activate)

Arch CLI 설치: pip를 사용하여 Arch 게이트웨이 CLI 도구를 설치합니다: pip install archgw

구성 파일 생성: LLM 공급자, 프롬프트 대상, 엔드포인트 및 시스템 프롬프트 및 매개변수와 같은 기타 설정을 정의하는 구성 파일(예: arch_config.yaml)을 생성합니다.

LLM 공급자 구성: 구성 파일에서 적절한 액세스 키 및 모델 설정으로 LLM 공급자(예: OpenAI)를 설정합니다.

프롬프트 대상 정의: 구성 파일에서 프롬프트 대상을 구성하고 각 대상 기능에 대한 엔드포인트, 매개변수 및 설명을 지정합니다.

엔드포인트 설정: 구성 파일에서 애플리케이션 엔드포인트를 정의하고 연결 설정 및 시간 초과를 포함합니다.

클라이언트 초기화: 애플리케이션 코드에서 Arch 게이트웨이를 가리키는 OpenAI 클라이언트 인스턴스를 생성합니다(예: base_url='http://127.0.0.1:12000/v1')

API 호출 수행: 구성된 클라이언트를 사용하여 Arch를 통해 API 호출을 수행하며, Arch는 라우팅, 보안 및 가시성을 처리합니다.

성능 모니터링: Arch의 내장 가시성 기능을 사용하여 LLM 상호작용에 대한 메트릭, 추적 및 로그를 모니터링합니다.

Arch 자주 묻는 질문

Arch는 API를 사용하여 LLM 애플리케이션을 보호하고 관찰하며 개인화하기 위해 설계된 지능형 Layer 7 게이트웨이입니다. Envoy Proxy를 기반으로 구축되었으며, 안전한 처리, 강력한 관찰 가능성 및 API와의 프롬프트 통합을 위해 목적에 맞게 설계된 LLM을 사용합니다.