何時應該使用麵包屑？

Breadcrumb 是一個開源工具，旨在追蹤和監控大型語言模型 (LLM) 的交互，類似於 Plausible，但專門爲 AI 代理構建。它爲開發人員提供了一種全面的方式來實時追蹤、分析和了解他們的 AI 模型是如何運行的。作爲一個自託管解決方案，它使用戶可以完全控制他們的數據，同時保持 AI 運營的透明度。

Breadcrumb 的主要功能

Breadcrumb 是一個可自行託管、TypeScript 原生的 LLM 追蹤工具，可協助開發人員監控和分析其 AI 代理互動。它提供 AI 呼叫的即時追蹤，包括提示、回應、Token 使用量、延遲和成本，且整合簡單，只需最少的程式碼變更。該工具提供透明的監控，同時將資料保留在您自己的基礎架構中。

簡單整合: 只需三行程式碼即可實現，無需複雜的組態檔案或裝飾器進行設定

全面追蹤: 捕獲有關每次 AI 互動的詳細資訊，包括提示、回應、Token 數量、延遲和相關成本

成本監控: 提供每個追蹤的 Token 使用量和成本的詳細分類，有助於在影響預算之前識別昂貴的操作

開放原始碼架構: 完全開放原始碼的解決方案，可以部署在各種平台上，如 Railway、Fly 或自訂伺服器，並完全控制基礎架構

Breadcrumb 的使用案例

AI 開發偵錯: 透過提供每次呼叫的詳細追蹤，協助開發人員在開發過程中追蹤和偵錯 AI 互動

成本優化: 透過即時追蹤 Token 使用量和成本，使團隊能夠監控和優化 AI 相關的費用

效能監控: 允許追蹤 AI 服務效能和延遲，以維持服務品質並識別瓶頸

優點

易於實作，只需最少的程式碼變更

透過自行託管選項完全控制資料

透明的成本和效能監控

缺點

需要自行託管基礎架構設定

開箱即用僅限於 Vercel AI SDK 整合

如何使用 Breadcrumb

安裝 SDK: 在您的項目中安裝 Breadcrumb SDK 包 (@breadcrumb-sdk/core 和 @breadcrumb-sdk/ai-sdk)

初始化 Breadcrumb: 導入並使用您的 API 密鑰和基本 URL 初始化核心 SDK：import { init } from \'@breadcrumb-sdk/core\'; const bc = init({ apiKey, baseUrl });

初始化 AI SDK 集成: 導入並初始化 AI SDK 集成：import { initAiSdk } from \'@breadcrumb-sdk/ai-sdk\'; const { telemetry } = initAiSdk(bc);

將遙測添加到 AI 調用: 使用 experimental_telemetry 參數將遙測助手傳遞給您的 AI 函數調用：generateText({ experimental_telemetry: telemetry(\'your-trace-name\') })

查看追蹤: 訪問 app.breadcrumb.sh 上的追蹤儀表板，以查看所有 AI 調用的提示詳細信息、響應、延遲、Token 使用量和成本

可選：自託管: 如果您想自託管，請使用 Railway、Fly.io 或您自己的服務器等平台在您自己的基礎設施上部署 Breadcrumb

Breadcrumb 常見問題

麵包屑導航連結通常位於網頁頂部，向使用者顯示其在網站層次結構中的目前位置。它們以「首頁」開始，並顯示通過類別到目前頁面的路徑，幫助使用者了解他們在哪裡以及如何導航回先前的層級。

与 Breadcrumb 类似的最新 AI 工具

Aguru AI

Free TrialMonitor & Log Management Large Language Models (LLMs)

Aguru AI 是一個本地部署的軟件解決方案，為基於 LLM 的應用提供全面的監控、安全和優化工具，包括行為跟蹤、異常檢測和性能優化等功能。

Jorpex

FreemiumAI Web Scraper Monitor & Log Management

Jorpex 是一個全面的標案通知平台，從歐洲各國聚合並即時交付標案警報到 Slack，幫助企業永不錯過機會。

Prompt Inspector

FreemiumMonitor & Log Management Prompts

Prompt Inspector is an AI-powered analysis tool that helps developers and businesses optimize their LLM interactions through comprehensive prompt analysis, user behavior insights, and ethical content filtering.