OpenLIT 使用方法

OpenLIT 是一个开源的、OpenTelemetry 原生的可观测性工具,专为 GenAI 和 LLM 应用程序设计,只需一行代码集成即可提供全面的监控、提示管理和评估功能。
查看更多

如何使用 OpenLIT

安装 OpenLIT: 使用 npm ('npm i openlit') 为 TypeScript/JavaScript 项目安装 OpenLIT,或使用 pip ('pip install openlit') 为 Python 项目安装 OpenLIT
初始化 OpenLIT: 在代码中添加 'openlit.init()' 以开始从您的 LLM 应用程序收集可观测性数据。您可以在初始化时配置 OTLP 端点和应用程序名称等选项
部署 OpenLIT 后端: 使用 Docker Compose ('docker-compose up -d') 快速设置或使用 Helm 图表进行 Kubernetes 部署来部署 OpenLIT 后端。这将设置 UI 和所需的后端服务
配置密钥管理: 使用 OpenLIT Vault 安全地存储和管理 API 密钥和其他敏感凭据。通过 UI 或 SDK 访问 Vault 以存储/检索密钥
设置提示管理: 使用 UI 中的 Prompt Hub 创建、版本化和管理您的提示。您可以在提示中使用 {{variableName}} 语法来生成动态内容
监控应用程序: 访问 OpenLIT 仪表板以查看跟踪、指标、成本和异常。您可以分析 LLM 性能、跟踪错误和监控 GPU 使用情况
使用 OpenGround 测试 LLMs: 使用 OpenGround 沙箱实验并比较不同 LLM 提供商的性能、成本和其他指标
设置评估: 使用 evals 模块配置幻觉、偏见和毒性检测评估,以评估 LLM 输出的质量
导出数据: 可选地配置连接以将 OpenLIT 的可观测性数据发送到外部工具,如 Prometheus、Grafana 或其他 OpenTelemetry 兼容平台

OpenLIT 常见问题

OpenLIT 是一个开源的 AI 工程平台,简化了 AI 开发工作流程,特别是生成式 AI 和大语言模型 (LLM)。它提供了可观察性、提示管理以及通过 OpenTelemetry 本地支持的秘密处理功能。

OpenLIT 月度流量趋势

OpenLIT 上个月收到了 5.9k 次访问,显示出 -4.6% 的轻微下降。根据我们的分析,这一趋势与人工智能工具领域的典型市场动态相符。
查看历史流量

与 OpenLIT 类似的最新 AI 工具

Hapticlabs
Hapticlabs
Hapticlabs是一个无代码工具包,使设计师、开发者和研究人员能够轻松地在设备上设计、原型设计和部署沉浸式触觉交互,无需编码。
Deployo.ai
Deployo.ai
Deployo.ai 是一个全面的 AI 部署平台,支持无缝模型部署、监控和扩展,并内置了道德 AI 框架和跨云兼容性。
CloudSoul
CloudSoul
CloudSoul 是一个 AI 驱动的 SaaS 平台,通过自然语言对话使用户能够即时部署和管理云基础设施,使 AWS 资源管理更加便捷和高效。
Devozy.ai
Devozy.ai
Devozy.ai是一个AI驱动的开发者自助服务平台,将敏捷项目管理、DevSecOps、多云基础设施管理和IT服务管理结合到一个统一的解决方案中,以加速软件交付。