Freesolo Flash

1) 获取访问权限 + 安装工具: 在 https://freesolo.co 创建一个帐户并获取 Freesolo API 密钥。为您的平台安装 Freesolo Flash 训练包/CLI（CLI 被描述为用于排队 Freesolo 后端训练作业的瘦客户端）。

2) 准备一个训练存储库（或从现有代码/数据存储库开始）: Flash 旨在由编码代理（Claude Code、Cursor、Codex 等）驱动。将您的代理指向 Flash 训练包和将包含您的数据集和环境代码的源存储库（或新存储库）。

3) 定义您的任务数据（SFT 提示/答案对）: 对于监督微调 (SFT)，创建提示/答案对的数据集（例如，JSONL）。使用公共 SDK 接口在本地加载和验证它：`from freesolo.datasets import load_dataset` 然后 `dataset = load_dataset("support.jsonl")` 并检查 `len(dataset.examples)`。

4) （可选但推荐）定义评估/评分环境: 创建一个 Python 环境模块，该模块公开 `load_environment()` 并返回 `EnvironmentSingleTurn` 或 `EnvironmentMultiTurn`。使用公共 SDK 接口在本地加载它：`from freesolo.environments import load_environment` 然后 `environment = load_environment("freesolo/environment.py:load_environment")`。单轮环境通过 `start_episode()` 构建情节；多轮环境拥有自己的 `start_episode()`，并且应该在那里包含任何特定于任务的初始系统消息。

5) 选择训练方法：SFT vs RL vs 在线蒸馏: 根据您可以提供的内容进行选择：(a) 当您已经有提示/答案示例时使用 SFT；(b) 当您可以用奖励/环境评分输出但无法手写完美答案时使用 RL（例如 GRPO）；(c) 当更大的教师模型可以逐个 token 评估您的模型的完成度时使用在线蒸馏（GLM 5.2 被提及为默认的托管教师），因此您不需要答案或奖励函数。

6) 为 Flash 编写一个简短的 TOML 配置: 创建一个 TOML 配置，选择 (1) 支持的基础模型，(2) 任务/训练模式（SFT、RL/GRPO 或蒸馏），以及 (3) 指向您的数据集和/或环境模块的指针。Flash 在基础模型之上训练一个 LoRA 适配器（小型附加权重）。

7) 运行单个 Flash 命令以开始训练: 运行 Flash CLI 命令，该命令使用您的 TOML 配置排队托管训练作业。在任何运行之前，Flash 会返回一个固定报价和预计到达时间；确认后继续（文档将其描述为：它打印报价和预计到达时间，然后您说“开始”）。

8) （可选）在最终训练之前使用代理驱动的优化器循环: 如果使用 Freesolo 代理工作流程，请运行基于存储库的循环：`draft` 从源存储库创建初始训练合同（返回 `targetRepoUrl`），然后 `optimize` 生成存储库级别的训练文件并运行有界策略发现实验（具有并发性和时间限制），然后 `training` 运行优化器选择的 SFT/RL 脚本/配置组合。

9) 监控作业进度和完成情况: 使用 CLI 轮询工作流程来监视作业：`poll` 列出最近的组织作业，并可以监视选定的作业直到它完成。当作业完成时，它会打印一个简短的摘要，包括作业 ID、存储库、提交和更改的文件；完整详细信息可在 Freesolo 网页平台 https://freesolo.co 上获取。

10) 检索您的输出（LoRA 适配器 + 导出的权重）: 训练完成后，您将获得一个可部署的结果：生成 LoRA 适配器，并将权重以标准格式导出到您的存储库中，以便您可以下载并在任何地方提供它们。

11) 使用托管服务部署（可选）: 运行 `flash deploy` 以向托管服务注册适配器。部署后，您可以使用您的 Freesolo 密钥通过 `flash chat` 或任何与 OpenAI 兼容的客户端调用模型（Flash 在与 OpenAI 兼容的端点后面提供服务；无需托管）。

12) 随着生产数据的演变，廉价地迭代和重新训练: Flash 定位为在生产数据上重复进行后训练（特别是对于低于 10B 的模型）。通过更新您的数据集/环境、调整 TOML 配置、重新运行作业以获取新的预先报价/预计到达时间以及重新部署更新的适配器来迭代。