Arch
Arch, hızlı, sağlam ve kişiselleştirilmiş AI ajanları oluşturmak için API'lerle promptların güvenli işlenmesi, sağlam gözlemlenebilirlik ve sorunsuz entegrasyon sağlayan Envoy Proxy üzerine inşa edilmiş akıllı bir Katman 7 geçididir.
Web Sitesini Ziyaret Et
https://github.com/katanemo/arch?ref=aipure&utm_source=aipure
Ürün Bilgisi
Güncellendi:15/11/2024
Arch nedir
Arch, kritik görevleri prompt işleme ve API entegrasyonu ile ilgili olarak yönetmek için özel olarak tasarlanmış LLM'lerle mühendislik edilmiş açık kaynaklı bir akıllı prompt geçididir. Envoy proxy'nin ana katkıcıları tarafından inşa edilen bu platform, promptları geleneksel HTTP istekleriyle aynı yeteneklere sahip, incelikli kullanıcı talepleri olarak ele alır. Platform, arka uç API'leri ile entegre ederken, ajanlar, asistanlar ve pilotlar gibi LLM uygulamalarını korumak, gözlemlemek ve kişiselleştirmek için tasarlanmıştır.
Arch'in Temel Özellikleri
Arch, AI/LLM uygulamalarını yönetmek için tasarlanmış akıllı bir Layer 7 geçidi olup, Envoy Proxy üzerine inşa edilmiştir. Jailbreak tespiti, API entegrasyonu, LLM yönlendirmesi ve gözlemlenebilirlik özellikleri dahil olmak üzere kapsamlı bir istem yönetimi yeteneği sunar. Platform, işlev çağrısı, parametre çıkarımı ve güvenli istem işleme gibi kritik görevleri yerine getirmek için özel olarak tasarlanmış LLM'leri kullanırken, standartlara dayalı izleme ve trafik yönetimi özellikleri sunar.
Yerleşik Fonksiyon Çağrısı: Ajanik ve RAG uygulamaları oluşturmak için hızlı, maliyet etkin API çağrısı ve istemlerden parametre çıkarımı yapmak üzere özel olarak tasarlanmış LLM'lerle mühendislik yapılmıştır
İstem Güvenliği: İstem koruma çerçevelerini merkezileştirir ve özel kod uygulaması gerektirmeden otomatik jailbreak denemesi tespiti sağlar
Gelişmiş Trafik Yönetimi: Kesintisiz kullanılabilirliği sağlamak için akıllı yeniden denemeler, otomatik devreye alma ve dayanıklı yukarı akış bağlantıları ile LLM çağrılarını yönetir
Kurumsal Düzeyde Gözlemlenebilirlik: Tam istek izleme için W3C Trace Context standardını uygular ve gecikme, token kullanımı ve hata oranlarını izlemek için kapsamlı metrikler sağlar
Arch'in Kullanım Alanları
AI Destekli Hava Tahmini: Doğal dil işleme aracılığıyla akıllı hava tahmini sağlamak için hava hizmetleriyle entegrasyon
Sigorta Ajanı Otomasyonu: Müşteri sorgularını yönetebilen ve sigorta ile ilgili görevleri işleyebilen otomatik sigorta ajanları oluşturma
Ağ Yönetimi Asistanı: Operatörlerin trafik akışını anlamalarına ve doğal dil etkileşimleri aracılığıyla ağ operasyonlarını yönetmelerine yardımcı olan ağ eş pilotları oluşturma
Kurumsal API Entegrasyonu: Güvenlik ve gözlemlenebilirliği korurken AI yeteneklerini mevcut kurumsal API'lerle kesintisiz bir şekilde bağlama
Artıları
Güvenilir performans için kanıtlanmış Envoy Proxy teknolojisi üzerine inşa edilmiştir
Yerleşik jailbreak tespiti ile kapsamlı güvenlik özellikleri
Kurumsal hazır hale getiren standartlara dayalı gözlemlenebilirlik
Eksileri
Arch Linux ile isim karışıklığı nedeniyle potansiyel arama görünürlüğü sorunları
Kurulum için Docker ve belirli teknik ön koşullar gerektirir
Daha yeni bir proje olarak sınırlı belgeler ve topluluk kaynakları
Arch Nasıl Kullanılır
Gereksinimleri Yükleyin: Sisteminizde Docker (v24), Docker compose (v2.29), Python (v3.10) ve Poetry (v1.8.3) yüklü olduğundan emin olun. Yerel geliştirme için Poetry gereklidir.
Python Sanal Ortamı Oluşturun: Yeni bir Python sanal ortamı oluşturun ve etkinleştirin: python -m venv venv && source venv/bin/activate (veya Windows'ta venv\Scripts\activate)
Arch CLI'yi Yükleyin: Arch geçidi CLI aracını pip kullanarak yükleyin: pip install archgw
Yapılandırma Dosyası Oluşturun: LLM sağlayıcılarınızı, prompt hedeflerinizi, uç noktalarınızı ve sistem promptları ve parametreler gibi diğer ayarları tanımlayan bir yapılandırma dosyası oluşturun (örneğin, arch_config.yaml)
LLM Sağlayıcılarını Yapılandırın: Yapılandırma dosyasında, uygun erişim anahtarları ve model ayarları ile LLM sağlayıcılarınızı (örneğin, OpenAI) ayarlayın.
Prompt Hedeflerini Tanımlayın: Yapılandırma dosyasında, her hedef işlev için uç noktaları, parametreleri ve açıklamaları belirterek prompt hedeflerini yapılandırın.
Uç Noktaları Ayarlayın: Yapılandırma dosyasında, bağlantı ayarları ve zaman aşımını içeren uygulama uç noktalarınızı tanımlayın.
İstemciyi Başlatın: Uygulama kodunuzda Arch geçidine işaret eden bir OpenAI istemci örneği oluşturun (örneğin, base_url='http://127.0.0.1:12000/v1')
API Çağrıları Yapın: Yapılandırılmış istemciyi kullanarak Arch aracılığıyla API çağrıları yapın, bu da yönlendirme, güvenlik ve gözlemlenebilirliği yönetecektir.
Performansı İzleyin: LLM etkileşimleriniz için metrikleri, izleri ve günlükleri izlemek üzere Arch'ın yerleşik gözlemlenebilirlik özelliklerini kullanın.
Arch SSS
Arch, API'lerle LLM uygulamalarını korumak, gözlemlemek ve kişiselleştirmek için tasarlanmış akıllı bir Katman 7 geçididir. Envoy Proxy üzerine inşa edilmiştir ve güvenli işlem, sağlam gözlemlenebilirlik ve API'lerle istemlerin sorunsuz entegrasyonu için özel olarak tasarlanmış LLM'lerle mühendislik yapılmıştır.
Resmi Gönderiler
Yükleniyor...Arch Videosu
Popüler Makaleler
Apple Final Cut Pro 11'i Piyasaya Sürdü: Mac, iPad ve iPhone için Yapay Zeka Destekli Video Düzenleme
Nov 14, 2024
AI Perplexity Platformunu Devrimleştirmek İçin Reklamları Tanıtıyor
Nov 13, 2024
X, Sektör Devleriyle Rekabet İçin Yapay Zeka Sohbet Robotu Grok'un Ücretsiz Sürümünü Piyasaya Sürmeyi Planlıyor
Nov 12, 2024
En İyi Yapay Zeka Görsel Üreticileri: Flux 1.1 Pro Ultra, Midjourney, Recraft V3 ve Ideogram ile Karşılaştırıldığında En İyisi mi
Nov 12, 2024
Arch Web Sitesi Analitiği
Arch Trafik ve Sıralamaları
515.6M
Aylık Ziyaretler
#68
Küresel Sıralama
#6
Kategori Sıralaması
Trafik Trendleri: Jun 2024-Oct 2024
Arch Kullanıcı İçgörüleri
00:06:42
Ort. Ziyaret Süresi
5.81
Ziyaret Başına Sayfa Sayısı
37.2%
Kullanıcı Hemen Çıkma Oranı
Arch'in En Çok Kullanıldığı Bölgeler
US: 19.02%
CN: 11.99%
IN: 9.2%
RU: 5.25%
DE: 3.63%
Others: 50.9%