Paritok

1) 选择您的部署模式（自托管或托管 GPU）: Paritok 是您的编码代理和 LLM API 之间的中间层。您可以选择 (a) 在您自己的硬件上自托管开源网关 + 4B 压缩模型，或者 (b) 使用 Paritok 的托管 GPU 端点（带有使用情况仪表板），这样您就不需要 GPU。

2) 将 Paritok 放在您的代理和 LLM 提供商之间: Paritok 作为网关/代理工作：您的代理将常规聊天/消息 + 工具模式 + 工具结果发送给 Paritok，Paritok 压缩它们，然后将压缩后的请求转发给您的上游模型提供商（与 Anthropic/OpenAI 兼容的上游）。来自上游模型的输出保持不变。

3) 使用一个环境变量将您的代理指向 Paritok 网关: 将您的代理的提供商基本 URL 设置为 Paritok 网关。Anthropic 兼容代理的示例显示为：`export ANTHROPIC_BASE_URL=http://127.0.0.1:8080`。在此之后，代理发送的工具/文件/历史记录将自动通过 Paritok 路由。

4) 启用语义工具模式过滤（对工具密集型代理来说是最大的优势）: 如果您的代理发送许多工具（通常是 40-70+），请配置 Paritok 的工具发现，以仅保留少数相关的工具模式，并将其余的进行存根。使用：`tool_discovery.strategy: embedding`。这可以大幅缩小每个轮次的工具模式块（例如，在示例中从约 29K 减少到约 8K 令牌）。

5) 让 Paritok 将文件读取和工具输出压缩为标记段: Paritok 专为编码代理流量（文件读取、工具结果、日志）设计。将您要压缩的内容包装在段标签中，以便压缩器知道它是什么。示例模式：`[SEG id=1 kind=file_read] ... [/SEG]`（工具结果/日志输出类似）。Paritok 的 4B 模型压缩这些段，同时保留标识符、路径和错误。

6) 直接使用开源 Paritok 4B 压缩模型（可选，本地/离线压缩）: 如果您想在 Python 中自己运行压缩器模型，请加载基础模型和 Paritok 适配器，然后从您的标记段生成压缩文本。来自源代码的示例：import torch; from peft import PeftModel; from transformers import AutoModelForCausalLM, AutoTokenizer; BASE_MODEL=`Qwen/Qwen3-4B-Instruct-2507`; ADAPTER=`paritok/paritok-4b-v1`; 加载 tokenizer+base，使用 `PeftModel.from_pretrained` 附加适配器，然后通过聊天模板和模型传递包含 `[SEG ...]` 内容的消息。

7) 依靠非破坏性压缩和按需恢复: Paritok 在传输过程中是有损的，但可恢复：它标记所有压缩的内容，并支持在需要时（例如，通过 `read_original(ref)` 样式的检索）拉回精确的原始字节。这意味着您可以保持请求小巧，同时仍然能够在本地恢复完整保真度，而无需花费额外的 LLM 轮次。

8) 当达到预算时，通过总结陈旧历史记录来运行更长的会话: 随着对话的增长，一旦达到您设置的上下文预算，Paritok 就可以总结旧的轮次，同时保持最近的轮次不变。这有助于防止上下文窗口溢出，并增加在压缩之前适合的轮次数量。

9) 验证节省并迭代您的设置: 测量每个轮次的令牌减少量（随着历史记录的增长，节省会累积）。工具密集型设置（70 多个工具）和上下文饱和的会话通常会看到更高的节省。如果使用托管 GPU，请使用 Paritok 仪表板跟踪令牌/成本节省，并确认流量正在通过托管 GPU 服务器。

10) 与常见的编码代理环境一起使用: Paritok 旨在与使用标准消息格式的流行编码代理工具和框架兼容（例如 Claude Code、Cursor、Codex、OpenHands 和与 OpenAI 兼容的上游）。一旦基本 URL 指向 Paritok，您现有的代理工作流应该会继续工作，同时发送更少的输入上下文。