Arch
Arch, hızlı, sağlam ve kişiselleştirilmiş AI ajanları oluşturmak için API'lerle promptların güvenli işlenmesi, sağlam gözlemlenebilirlik ve sorunsuz entegrasyon sağlayan Envoy Proxy üzerine inşa edilmiş akıllı bir Katman 7 geçididir.
https://github.com/katanemo/arch?ref=aipure&utm_source=aipure
Ürün Bilgisi
Güncellendi:Dec 16, 2024
Arch Nedir
Arch, kritik görevleri prompt işleme ve API entegrasyonu ile ilgili olarak yönetmek için özel olarak tasarlanmış LLM'lerle mühendislik edilmiş açık kaynaklı bir akıllı prompt geçididir. Envoy proxy'nin ana katkıcıları tarafından inşa edilen bu platform, promptları geleneksel HTTP istekleriyle aynı yeteneklere sahip, incelikli kullanıcı talepleri olarak ele alır. Platform, arka uç API'leri ile entegre ederken, ajanlar, asistanlar ve pilotlar gibi LLM uygulamalarını korumak, gözlemlemek ve kişiselleştirmek için tasarlanmıştır.
Arch Temel Özellikleri
Arch, AI/LLM uygulamalarını yönetmek için tasarlanmış akıllı bir Layer 7 geçidi olup, Envoy Proxy üzerine inşa edilmiştir. Jailbreak tespiti, API entegrasyonu, LLM yönlendirmesi ve gözlemlenebilirlik özellikleri dahil olmak üzere kapsamlı bir istem yönetimi yeteneği sunar. Platform, işlev çağrısı, parametre çıkarımı ve güvenli istem işleme gibi kritik görevleri yerine getirmek için özel olarak tasarlanmış LLM'leri kullanırken, standartlara dayalı izleme ve trafik yönetimi özellikleri sunar.
Yerleşik Fonksiyon Çağrısı: Ajanik ve RAG uygulamaları oluşturmak için hızlı, maliyet etkin API çağrısı ve istemlerden parametre çıkarımı yapmak üzere özel olarak tasarlanmış LLM'lerle mühendislik yapılmıştır
İstem Güvenliği: İstem koruma çerçevelerini merkezileştirir ve özel kod uygulaması gerektirmeden otomatik jailbreak denemesi tespiti sağlar
Gelişmiş Trafik Yönetimi: Kesintisiz kullanılabilirliği sağlamak için akıllı yeniden denemeler, otomatik devreye alma ve dayanıklı yukarı akış bağlantıları ile LLM çağrılarını yönetir
Kurumsal Düzeyde Gözlemlenebilirlik: Tam istek izleme için W3C Trace Context standardını uygular ve gecikme, token kullanımı ve hata oranlarını izlemek için kapsamlı metrikler sağlar
Arch Kullanım Alanları
AI Destekli Hava Tahmini: Doğal dil işleme aracılığıyla akıllı hava tahmini sağlamak için hava hizmetleriyle entegrasyon
Sigorta Ajanı Otomasyonu: Müşteri sorgularını yönetebilen ve sigorta ile ilgili görevleri işleyebilen otomatik sigorta ajanları oluşturma
Ağ Yönetimi Asistanı: Operatörlerin trafik akışını anlamalarına ve doğal dil etkileşimleri aracılığıyla ağ operasyonlarını yönetmelerine yardımcı olan ağ eş pilotları oluşturma
Kurumsal API Entegrasyonu: Güvenlik ve gözlemlenebilirliği korurken AI yeteneklerini mevcut kurumsal API'lerle kesintisiz bir şekilde bağlama
Artıları
Güvenilir performans için kanıtlanmış Envoy Proxy teknolojisi üzerine inşa edilmiştir
Yerleşik jailbreak tespiti ile kapsamlı güvenlik özellikleri
Kurumsal hazır hale getiren standartlara dayalı gözlemlenebilirlik
Eksileri
Arch Linux ile isim karışıklığı nedeniyle potansiyel arama görünürlüğü sorunları
Kurulum için Docker ve belirli teknik ön koşullar gerektirir
Daha yeni bir proje olarak sınırlı belgeler ve topluluk kaynakları
Arch Nasıl Kullanılır
Gereksinimleri Yükleyin: Sisteminizde Docker (v24), Docker compose (v2.29), Python (v3.10) ve Poetry (v1.8.3) yüklü olduğundan emin olun. Yerel geliştirme için Poetry gereklidir.
Python Sanal Ortamı Oluşturun: Yeni bir Python sanal ortamı oluşturun ve etkinleştirin: python -m venv venv && source venv/bin/activate (veya Windows'ta venv\Scripts\activate)
Arch CLI'yi Yükleyin: Arch geçidi CLI aracını pip kullanarak yükleyin: pip install archgw
Yapılandırma Dosyası Oluşturun: LLM sağlayıcılarınızı, prompt hedeflerinizi, uç noktalarınızı ve sistem promptları ve parametreler gibi diğer ayarları tanımlayan bir yapılandırma dosyası oluşturun (örneğin, arch_config.yaml)
LLM Sağlayıcılarını Yapılandırın: Yapılandırma dosyasında, uygun erişim anahtarları ve model ayarları ile LLM sağlayıcılarınızı (örneğin, OpenAI) ayarlayın.
Prompt Hedeflerini Tanımlayın: Yapılandırma dosyasında, her hedef işlev için uç noktaları, parametreleri ve açıklamaları belirterek prompt hedeflerini yapılandırın.
Uç Noktaları Ayarlayın: Yapılandırma dosyasında, bağlantı ayarları ve zaman aşımını içeren uygulama uç noktalarınızı tanımlayın.
İstemciyi Başlatın: Uygulama kodunuzda Arch geçidine işaret eden bir OpenAI istemci örneği oluşturun (örneğin, base_url='http://127.0.0.1:12000/v1')
API Çağrıları Yapın: Yapılandırılmış istemciyi kullanarak Arch aracılığıyla API çağrıları yapın, bu da yönlendirme, güvenlik ve gözlemlenebilirliği yönetecektir.
Performansı İzleyin: LLM etkileşimleriniz için metrikleri, izleri ve günlükleri izlemek üzere Arch'ın yerleşik gözlemlenebilirlik özelliklerini kullanın.
Arch SSS
Arch, API'lerle LLM uygulamalarını korumak, gözlemlemek ve kişiselleştirmek için tasarlanmış akıllı bir Katman 7 geçididir. Envoy Proxy üzerine inşa edilmiştir ve güvenli işlem, sağlam gözlemlenebilirlik ve API'lerle istemlerin sorunsuz entegrasyonu için özel olarak tasarlanmış LLM'lerle mühendislik yapılmıştır.
Resmi Gönderiler
Yükleniyor...Arch Videosu
Popüler Makaleler
OpenAI'ın 12 Günü İçerik Güncellemesi 2024
Dec 18, 2024
MidJourney, Patchwork Yayınından Sonra Pinterest Benzeri Mood Boardları Başlattı
Dec 17, 2024
Google Whisk'i Piyasaya Sürdü: Devrim Niteliğinde Yapay Zeka Görüntü Üreteci Üç Görseli Birleştiriyor
Dec 17, 2024
Google Yeni Nesil Yapay Zeka Görsel Üreticisi Imagen 3'ü Tanıttı
Dec 17, 2024
Arch Benzer En Yeni Yapay Zeka Araçları
2000+ ChatGPT Mega-Prompts Bundle
ChatGPT, Claude ve Gemini gibi AI sohbet botlarının tam potansiyelini açığa çıkarmak için tasarlanmış 8 kategori (Pazarlama, İş, Tek Girişimci, Yazım, Verimlilik, Eğitim, SEO ve Satış) genelinde 2.000'den fazla el yapımı mega-istemden oluşan kapsamlı bir koleksiyon.
Folderr
Folderr, kullanıcıların sınırsız dosya yükleyerek, birden fazla dil modeli ile entegre olarak ve kullanıcı dostu bir arayüz aracılığıyla iş akışlarını otomatikleştirerek özel AI asistanları oluşturmalarını sağlayan kapsamlı bir AI platformudur.
Peache.ai
Peache.ai, kullanıcıların çeşitli AI kişilikleri ile flörtöz, esprili ve cesur sohbetler yapmalarını sağlayan bir AI karakter sohbet oyun alanıdır.
TalkPersona
TalkPersona, sanal bir konuşan yüz ile doğal ses ve dudak senkronizasyonu yetenekleri aracılığıyla gerçek zamanlı insan benzeri konuşma sağlayan AI destekli bir video sohbet botudur.
Arch Gibi Popüler Yapay Zeka Araçları
ChatGPT
ChatGPT, OpenAI tarafından geliştirilen, insan benzeri sohbetler gerçekleştirmek ve geniş bir görev yelpazesine yardımcı olmak için doğal dil işleme kullanan gelişmiş bir yapay zeka destekli sohbet robotudur.
DuckDuckGo AI Chat
DuckDuckGo AI Chat, kullanıcı gizliliğini korurken GPT-3.5, Claude ve diğer popüler AI sohbet robotlarına erişmenin ücretsiz, anonim bir yoludur.
Gemini - Google Vids AI
Gemini, metin, resim, video, ses ve kod arasında sorunsuz bir şekilde anlayabilen ve akıl yürütebilen Google'ın en gelişmiş ve yetenekli çok modlu AI model ailesidir ve çeşitli AI uygulamaları ve hizmetlerini güçlendirmektedir.
Character.ai
Character.ai, kullanıcıların eğlence, öğrenme ve yaratıcı amaçlar için çeşitli AI karakterleri oluşturmasına, özelleştirmesine ve etkileşimde bulunmasına olanak tanıyan yenilikçi bir AI sohbet botu platformudur.