Paritok

1) 選擇您的部署模式（自行託管或託管 GPU）: Paritok 是您的編碼代理和您的 LLM API 之間的中間層。您可以 (a) 在您自己的硬體上自行託管開源網關 + 4B 壓縮模型，或者 (b) 使用 Paritok 的託管 GPU 端點（帶有使用儀表板），這樣您就不需要 GPU。

2) 將 Paritok 放置在您的代理和 LLM 提供商之間: Paritok 作為網關/代理工作：您的代理將常規聊天/消息 + 工具模式 + 工具結果發送給 Paritok，Paritok 將其壓縮，然後將壓縮後的請求轉發給您的上游模型提供商（與 Anthropic/OpenAI 兼容的上游）。來自上游模型的輸出保持不變。

3) 使用一個環境變數將您的代理指向 Paritok 網關: 將您的代理提供商基礎 URL 設置為 Paritok 網關。Anthropic 兼容代理的示例顯示：`export ANTHROPIC_BASE_URL=http://127.0.0.1:8080`。在此之後，代理發送的工具/文件/歷史記錄將自動通過 Paritok 路由。

4) 啟用語義工具模式過濾（對於工具繁重的代理來說是最大的勝利）: 如果您的代理發送許多工具（通常為 40-70+），請配置 Paritok 的工具發現，以僅保留少數相關工具模式的完整內容並存根其餘部分。使用：`tool_discovery.strategy: embedding`。這可以顯著縮小每輪工具模式塊（例如，在示例中，每輪約 29K → 約 8K 代幣）。

5) 讓 Paritok 將文件讀取和工具輸出壓縮為帶標籤的段: Paritok 專為編碼代理流量（文件讀取、工具結果、日誌）而設計。將您想要壓縮的內容包裝在段標籤中，以便壓縮器知道它是什麼。示例模式：`[SEG id=1 kind=file_read] ... [/SEG]`（工具結果/日誌輸出類似）。Paritok 的 4B 模型壓縮這些段，同時保留標識符、路徑和錯誤。

6) 直接使用開源 Paritok 4B 壓縮模型（可選，本地/離線壓縮）: 如果您想在 Python 中自行運行壓縮器模型，請加載基礎模型和 Paritok 適配器，然後從帶標籤的段生成壓縮文本。來源示例：import torch; from peft import PeftModel; from transformers import AutoModelForCausalLM, AutoTokenizer; BASE_MODEL=`Qwen/Qwen3-4B-Instruct-2507`; ADAPTER=`paritok/paritok-4b-v1`; 加載分詞器+基礎模型，使用 `PeftModel.from_pretrained` 附加適配器，然後通過聊天模板和模型傳遞包含 `[SEG ...]` 內容的消息。

7) 依賴非破壞性壓縮和按需恢復: Paritok 在傳輸過程中是有損的，但可恢復：它會標記所有壓縮的內容，並在需要時支持拉回確切的原始字節（例如，通過 `read_original(ref)` 式檢索）。這意味著您可以保持請求較小，同時仍然能夠在本地恢復完整保真度，而無需花費額外的 LLM 輪次。

8) 當達到預算時，通過總結過時的歷史記錄來運行更長的會話: 隨著對話的增長，一旦達到您設定的上下文預算，Paritok 就可以總結較舊的輪次，同時保持最近的輪次不變。這有助於防止上下文視窗溢出，並增加在壓縮之前適合的輪次數量。

9) 驗證節省並迭代您的設置: 測量跨輪次的代幣減少（隨著歷史記錄的增長，節省會增加）。工具繁重的設置（70+ 工具）和上下文飽和的會話通常會看到更高的節省。如果使用託管 GPU，請使用 Paritok 儀表板跟踪代幣/成本節省，並確認流量正在通過託管 GPU 服務器。

10) 與常見的編碼代理環境一起使用: Paritok 旨在與使用標準消息格式的流行編碼代理工具和框架兼容（例如 Claude Code、Cursor、Codex、OpenHands 和與 OpenAI 兼容的上游）。一旦基礎 URL 指向 Paritok，您現有的代理工作流程應繼續工作，同時發送更少的輸入上下文。