Clicky
Clicky 是一个开源的 AI 驱动的桌面伴侣，它位于您的 macOS 菜单栏中，能够看到您的屏幕、响应语音命令，并通过实时指向 UI 元素来提供交互式视觉指导。
https://github.com/farzaa/clicky?ref=producthunt&utm_source=aipure
产品信息
更新于：2026年04月16日
什么是 Clicky
Clicky 是一个实验性的 AI 教学助手，旨在充当一个交互式的实时伴侣，直接位于您在 macOS 上的光标旁边。Clicky 由开发人员 Farza 构建并作为开源软件发布，它作为一个菜单栏应用程序运行，该应用程序结合了屏幕捕获、语音交互和视觉反馈，以模拟拥有一个坐在您旁边的真人导师的体验。该应用程序利用 Claude AI 进行智能响应，AssemblyAI 进行实时语音转录，以及 ElevenLabs 进行自然文本到语音的输出。与作为单独窗口运行的传统 AI 助手不同，Clicky 无缝集成到您的工作流程中，而不会分散注意力，仅在需要时通过一键通热键（Control + Option）出现。该项目在 GitHub 上获得了超过 3,700 颗星，并激发了社区构建的 Windows 版本，展示了其在使 AI 辅助学习更易于访问和直观方面的影响。
Clicky 的主要功能
Clicky 是一款适用于 macOS 的开源 AI 驱动桌面助手，它充当您菜单栏中的交互式教学助手。它使用视觉 AI (Claude) 来查看您的屏幕，使用语音转录 (AssemblyAI) 进行一键通输入，并使用文本到语音 (ElevenLabs) 进行音频响应。该应用程序可以使用光标覆盖在多个监视器上物理指向 UI 元素，让人感觉就像有一个真正的导师坐在您旁边。它以非侵入方式运行，不会窃取焦点，捕获屏幕截图，同时过滤掉自己的窗口，并通过 Cloudflare Worker 代理路由所有 API 调用，以确保凭据安全。
屏幕感知 AI 视觉: 使用 ScreenCaptureKit 实时捕获和分析您的屏幕，过滤掉 Clicky 自己的窗口，以便根据您在多个监视器上实际处理的内容提供上下文帮助。
一键通语音界面: 使用 Control+Option 热键激活，通过 AssemblyAI 流式传输语音输入，从而实现免提交互，同时保持对工作的关注，而不会中断您的工作流程。
视觉光标指向: 显示一个蓝色光标覆盖，可以根据 Claude 的响应物理指向屏幕上的特定 UI 元素，坐标嵌入为 [POINT:x,y:label:screenN] 标签，以实现精确的视觉指导。
菜单栏集成: 完全位于 macOS 状态栏中，带有一个自定义浮动面板，使用非激活的 NSPanel 窗口，不会窃取焦点，从而可以无缝集成到现有工作流程中。
主动辅导模式: 可选模式，可监视您的活动并在自然的暂停点自动提供逐步指导，充当主动的指导者，而不仅仅是响应查询。
安全 API 代理架构: 通过 Cloudflare Worker 代理路由所有 API 调用，该代理在服务器端保存凭据，确保 API 密钥永远不会在应用程序二进制文件中发布并保持安全。
Clicky 的使用场景
软件学习与入门: 通过观看用户的屏幕并提供针对特定按钮和功能的上下文指导以及视觉指针，帮助用户学习像 DaVinci Resolve、Adobe Creative Suite 或开发工具等复杂的应用程序。
技术支持与故障排除: 充当按需技术助手，可以查看错误消息、系统配置和应用程序状态，以提供实时调试帮助和逐步解决方案。
工作流程优化: 通过理解屏幕上正在执行的任务的上下文，观察用户的工作流程并建议更有效的方法、键盘快捷键或替代方法。
辅助功能: 为那些受益于音频描述和视觉指针以在应用程序中定位 UI 元素的用户提供语音控制导航和视觉指导。
开发者生产力: 通过分析屏幕上的代码、建议改进、解释错误消息以及在开发期间指向相关文档或代码段来协助程序员。
教育辅导: 通过根据屏幕上显示的内容提供上下文相关的指导，为学习新软件、编程语言或数字技能的学生提供个性化的辅导。
优点
非侵入式设计，不会窃取焦点或中断工作流程，使其感觉像是真正的同伴，而不是中断
开源架构允许完全自定义和透明，开发人员可以通过 Claude Code 轻松设置
具有精确视觉指向的多显示器支持创造了模仿人类指导的直观教学体验
通过 Cloudflare Worker 代理进行安全凭据管理，可确保 API 密钥的安全并与应用程序二进制文件分离
缺点
仅支持 macOS（需要 14.2+）限制了 Windows 和 Linux 用户的可访问性，尽管存在社区移植
需要多个付费 API 订阅（Anthropic、AssemblyAI、ElevenLabs），这可能会增加大量使用的成本
尽管有 Claude Code 协助，但对于非技术用户来说，设置复杂，需要 Cloudflare 帐户和 API 密钥管理
隐私方面的考虑，因为该应用程序需要广泛的权限（屏幕录制、辅助功能、麦克风）才能正常运行
如何使用 Clicky
1: 从 https://www.clicky.so/ 在您的 Mac 上免费下载并安装 Clicky（需要 macOS 14.2+）
2: 启动应用程序 - 它将出现在您的菜单栏中（而不是 Dock 中）。单击菜单栏图标以打开控制面板
3: 出现提示时授予所需的权限：麦克风（用于语音捕获）、辅助功能（用于键盘快捷键）、屏幕录制（用于屏幕截图）和屏幕内容（用于 ScreenCaptureKit 访问）
4: 通过按住 Control + Option 键使用一键通，然后说出您关于屏幕上内容的疑问或请求
5: 完成说话后松开按键。Clicky 将转录您的语音，分析您的屏幕，并以语音和视觉指导做出响应
6: 观看 Clicky 的蓝色光标伴侣出现在屏幕上，以指向它正在解释的特定 UI 元素
7: （可选）从菜单栏面板（毕业帽图标）上打开“导师模式”，让 Clicky 主动观察您正在做什么，并在不需要一键通的情况下逐步指导您
8: （可选）从菜单栏面板上打开“复制响应”，以自动将 Clicky 的每个响应复制到您的剪贴板，以便于粘贴到笔记或文档中
Clicky 常见问题
Clicky 是一个 AI 老师，它像伙伴一样住在 macOS 上光标旁边。它可以查看您的屏幕、与您交谈并指向 UI 元素。它是一个菜单栏应用程序，使用语音交互和屏幕捕获来提供实时帮助，类似于身边有一位真正的老师。
与 Clicky 类似的最新 AI 工具
Advanced Voice
Advanced Voice 是 ChatGPT 的前沿语音交互功能，支持实时、自然的语音对话，具有自定义指令、多种语音选项和改进的口音，实现无缝的人机通信。
Vagent
Vagent是一个轻量级的语音接口，使用户可以通过语音命令与自定义AI代理互动，提供了一种自然和直观的方式来控制自动化，支持60多种语言。
Vapify
Vapify 是一个白标平台，使代理机构能够在保持客户关系控制和最大化收入的同时，以自己的品牌提供 Vapi.ai 的语音 AI 解决方案。
Wedding Speech Genie
婚礼演讲精灵是一款AI驱动的平台，通过生成3个基于你输入的定制版本，在几分钟内创建个性化的婚礼演讲，帮助演讲者为任何婚礼角色发表难忘的祝酒词。
类似 Clicky 的热门 AI 工具
Microsoft Dragon Copilot
Microsoft Dragon Copilot是一款AI驱动的临床工作流程助手，它结合了自然语言语音听写、环境聆听功能和生成式AI，以简化文档记录、呈现信息并自动化医疗保健环境中的任务。
Edge Copilot Mode
Edge Copilot 模式是 Microsoft 的实验性 AI 支持的浏览器功能，它将搜索、聊天和 Web 导航组合到一个界面中，使用户能够在保持隐私和控制的同时，通过 AI 帮助更智能地浏览。
GibberLink
GibberLink是一个开源项目，它使两个AI代理能够通过在识别出彼此后从人类语言切换到声音级别协议来有效地进行通信，该协议由ggwave技术提供支持。
Llama MacOS Desktop Controller
Llama MacOS Desktop Controller 是一款基于React和Flask的应用程序，使用户能够通过使用LLM生成的Python代码的自然语言命令来控制macOS系统操作。