Arch Как использовать
Arch - это интеллектуальный шлюз уровня 7, построенный на Envoy Proxy, который обеспечивает безопасную обработку, надежную наблюдаемость и бесшовную интеграцию подсказок с API для создания быстрых, надежных и персонализированных агентов ИИ.
Посмотреть большеДополнительная информация
Как использовать Arch
Установите предварительные требования: Убедитесь, что у вас установлены Docker (v24), Docker compose (v2.29), Python (v3.10) и Poetry (v1.8.3) на вашей системе. Poetry необходим для локальной разработки.
Создайте виртуальную среду Python: Создайте и активируйте новую виртуальную среду Python, используя: python -m venv venv && source venv/bin/activate (или venv\Scripts\activate на Windows)
Установите Arch CLI: Установите инструмент командной строки Arch gateway с помощью pip: pip install archgw
Создайте файл конфигурации: Создайте файл конфигурации (например, arch_config.yaml), определяющий ваших поставщиков LLM, цели подсказок, конечные точки и другие настройки, такие как системные подсказки и параметры
Настройте поставщиков LLM: В файле конфигурации настройте ваших поставщиков LLM (например, OpenAI) с соответствующими ключами доступа и настройками модели
Определите цели подсказок: Настройте цели подсказок в файле конфигурации, указав конечные точки, параметры и описания для каждой целевой функции
Настройте конечные точки: Определите конечные точки вашего приложения в файле конфигурации, включая настройки подключения и таймауты
Инициализируйте клиент: Создайте экземпляр клиента OpenAI, указывающий на шлюз Arch (например, base_url='http://127.0.0.1:12000/v1') в вашем коде приложения
Сделайте API-вызовы: Используйте настроенный клиент для выполнения API-вызовов через Arch, который будет обрабатывать маршрутизацию, безопасность и наблюдаемость
Мониторинг производительности: Используйте встроенные функции наблюдаемости Arch для мониторинга метрик, трассировок и журналов для ваших взаимодействий с LLM
Часто задаваемые вопросы о Arch
Arch является интеллектуальным шлюзом уровня 7, разработанным для защиты, наблюдения и персонализации приложений LLM с помощью API. Он построен на Envoy Proxy и спроектирован с использованием специализированных LLM для безопасной обработки, надежного наблюдения и бесшовной интеграции подсказок с API.
Популярные статьи
Модель S2V-01 от Hailuo AI: Революция в обеспечении постоянства персонажей при создании видео
Jan 13, 2025
Как использовать Hypernatural AI для быстрого создания видео | Новый учебник 2025
Jan 10, 2025
Новые подарочные коды CrushOn AI NSFW Chatbot в январе 2025 года и как их активировать
Jan 9, 2025
Бесплатные купоны Merlin AI в январе 2025 года и как их активировать | AIPURE
Jan 9, 2025
Показать больше