OpenLIT 使用方法

安裝 OpenLIT: 使用 npm ('npm i openlit') 安裝 OpenLIT 以適用於 TypeScript/JavaScript 專案，或使用 pip ('pip install openlit') 安裝 OpenLIT 以適用於 Python 專案

初始化 OpenLIT: 在代碼中添加 'openlit.init()' 以開始從 LLM 應用程序收集可觀察性數據。您可以在初始化期間配置 OTLP 端點和應用程序名稱等選項

部署 OpenLIT 後端: 使用 Docker Compose ('docker-compose up -d') 快速設置或使用 Helm 圖表進行 Kubernetes 部署來部署 OpenLIT 後端。這將設置 UI 和所需的後端服務

配置密鑰管理: 使用 OpenLIT Vault 安全地存儲和管理 API 金鑰和其他敏感憑證。通過 UI 或 SDK 訪問 Vault 以存儲/檢索密鑰

設置提示管理: 使用 UI 中的 Prompt Hub 創建、版本化和管理您的提示。您可以在提示中使用 {{variableName}} 語法來生成動態內容

監控應用程序: 訪問 OpenLIT 選項卡以查看追蹤、指標、成本和異常。您可以分析 LLM 性能、追蹤錯誤並監控 GPU 使用情況

使用 OpenGround 測試 LLMs: 使用 OpenGround 遊樂場來實驗並比較不同 LLM 提供商的性能、成本和其他指標

設置評估: 使用 evals 模塊配置幻覺、偏見和毒性檢測的評估，以評估 LLM 輸出的質量

導出數據: 可選地配置連接以將 OpenLIT 的可觀察性數據發送到外部工具，如 Prometheus、Grafana 或其他 OpenTelemetry 兼容平台