Clicky
Clicky 是一個開源的 AI 驅動的桌面伴侶，位於您的 macOS 選單列中，能夠看到您的螢幕、回應語音命令，並通過即時指向 UI 元素來提供互動式視覺指導。
https://github.com/farzaa/clicky?ref=producthunt&utm_source=aipure
產品資訊
更新時間：2026年04月16日
什麼是 Clicky
Clicky 是一個實驗性的 AI 教學助理，旨在充當一個互動式的、即時的伴侶，直接位於您在 macOS 上的游標旁邊。Clicky 由開發者 Farza 構建並作為開源軟體發布，它作為一個選單列應用程式運行，結合了螢幕截圖、語音互動和視覺回饋，以模擬有一個人類導師坐在您旁邊的體驗。該應用程式利用 Claude AI 進行智慧回應，AssemblyAI 進行即時語音轉錄，以及 ElevenLabs 進行自然的文字轉語音輸出。與作為單獨視窗運行的傳統 AI 助理不同，Clicky 無縫整合到您的工作流程中，而不會分散注意力，僅在需要時通過一鍵通話熱鍵（Control + Option）出現。該專案在 GitHub 上獲得了超過 3,700 個星標，並啟發了社群構建的 Windows 版本，展示了其在使 AI 輔助學習更易於存取和直觀方面的影響。
Clicky 的主要功能
Clicky 是一款適用於 macOS 的開源 AI 桌面助手，它充當互動式教學助理，駐留在您的選單列中。它使用視覺 AI (Claude) 來查看您的螢幕、語音轉錄 (AssemblyAI) 進行按鍵通話輸入，以及文字轉語音 (ElevenLabs) 進行音訊回應。該應用程式可以使用游標覆蓋層在多個螢幕上實際指向 UI 元素，讓人感覺就像有一個真正的導師坐在您旁邊。它以非侵入方式運行，不會竊取焦點，捕獲螢幕截圖，同時過濾掉自己的視窗，並通過 Cloudflare Worker 代理路由所有 API 呼叫，以確保憑證安全。
螢幕感知 AI 視覺: 使用 ScreenCaptureKit 實時捕獲和分析您的螢幕，過濾掉 Clicky 自己的視窗，以便根據您在多個螢幕上實際處理的內容提供上下文協助。
按鍵通話語音介面: 使用 Control+Option 熱鍵啟動，通過 AssemblyAI 串流語音輸入，實現免持互動，同時保持專注於您的工作，而不會中斷您的工作流程。
視覺游標指向: 顯示一個藍色游標覆蓋層，可以根據 Claude 的回應實際指向螢幕上的特定 UI 元素，並將坐標嵌入為 [POINT:x,y:label:screenN] 標籤，以實現精確的視覺指導。
選單列整合: 完全駐留在 macOS 狀態列中，帶有自定義浮動面板，使用不竊取焦點的非活動 NSPanel 視窗，從而實現與現有工作流程的無縫整合。
主動導師模式: 可選模式，可監視您的活動並在自然暫停點自動提供逐步指導，充當主動指導員，而不僅僅是回應查詢。
安全 API 代理架構: 通過 Cloudflare Worker 代理路由所有 API 呼叫，該代理在伺服器端保存憑證，確保 API 密鑰永遠不會在應用程式二進制文件中發布並保持安全。
Clicky 的使用案例
軟體學習與入門: 通過觀看螢幕並提供上下文指導，並使用視覺指針指向特定按鈕和功能，幫助用戶學習 DaVinci Resolve、Adobe Creative Suite 或開發工具等複雜應用程式。
技術支援與故障排除: 充當隨需應變的技術助理，可以查看錯誤訊息、系統配置和應用程式狀態，以提供即時調試幫助和逐步解決方案。
工作流程優化: 通過了解螢幕上正在執行的任務的上下文，觀察用戶工作流程並建議更有效的方法、鍵盤快捷鍵或替代方法。
輔助功能協助: 為受益於音訊描述和視覺指針以在應用程式中定位 UI 元素的用戶提供語音控制導航和視覺指導。
開發人員生產力: 通過分析螢幕上的程式碼、建議改進、解釋錯誤訊息以及在開發過程中指向相關文檔或程式碼段來協助程式設計師。
教育輔導: 通過根據螢幕上顯示的內容提供上下文相關的指導，充當學生學習新軟體、程式語言或數位技能的個人化導師。
優點
非侵入式設計，不會竊取焦點或中斷工作流程，使其感覺像是真正的伴侶，而不是中斷
開源架構允許完全自定義和透明度，開發人員可以通過 Claude Code 輕鬆設定
具有精確視覺指向的多螢幕支援創造了一種模仿人類指導的直觀教學體驗
通過 Cloudflare Worker 代理的安全憑證管理可確保 API 密鑰安全並與應用程式二進制文件分離
缺點
僅 macOS 支援（需要 14.2+）限制了 Windows 和 Linux 用戶的輔助功能，儘管存在社群移植
需要多個付費 API 訂閱（Anthropic、AssemblyAI、ElevenLabs），這可能會增加大量使用的成本
儘管有 Claude Code 協助，但非技術用戶的設定複雜性，需要 Cloudflare 帳戶和 API 密鑰管理
隱私注意事項，因為該應用程式需要廣泛的權限（螢幕錄製、輔助功能、麥克風）才能正常運行
如何使用 Clicky
1: 從 https://www.clicky.so/ 免費下載並在您的 Mac 上安裝 Clicky（需要 macOS 14.2+）
2: 啟動應用程式 - 它將出現在您的選單列中（而不是 Dock 中）。點擊選單列圖示以打開控制面板
3: 出現提示時授予所需的權限：麥克風（用於語音捕獲）、輔助功能（用於鍵盤快捷鍵）、螢幕錄製（用於螢幕截圖）和螢幕內容（用於 ScreenCaptureKit 存取）
4: 通過按住 Control + Option 鍵使用一鍵通話，然後說出您關於螢幕上內容的問題或請求
5: 完成說話後鬆開按鍵。Clicky 將轉錄您的聲音，分析您的螢幕，並以語音和視覺指導回應
6: 觀看 Clicky 的藍色游標伴侶出現在螢幕上，以指向它正在解釋的特定 UI 元素
7: （可選）從選單列面板（畢業帽圖示）打開「導師模式」，讓 Clicky 主動觀察您在做什麼，並逐步指導您，而無需一鍵通話
8: （可選）從選單列面板打開「複製回應」，以自動將 Clicky 的每個回應複製到您的剪貼簿，以便輕鬆貼到筆記或文件中
Clicky 常見問題
Clicky 是一個 AI 教師，它像個夥伴一樣住在 macOS 上游標旁邊。它可以看你的螢幕、和你說話，並指向 UI 元素。它是一個選單列應用程式，使用語音互動和螢幕截圖來提供即時協助，就像有個真正的老師在你旁邊一樣。
与 Clicky 类似的最新 AI 工具
Advanced Voice
Advanced Voice 是 ChatGPT 的先進語音交互功能，能夠實現帶有自定義指令、多種語音選項和改進口音的實時、自然語音對話，實現無縫的人機通信。
Vagent
Vagent 是一個輕量級的語音界面，使用戶能夠通過語音命令與自定義 AI 代理進行交互，提供了一種自然且直觀的方式來控制自動化，支持 60 多種語言。
Vapify
Vapify 是一個白標平台，使代理機構能夠以自己的品牌提供 Vapi.ai 的語音 AI 解決方案，同時維護客戶關係並最大化收入。
Wedding Speech Genie
Wedding Speech Genie 是一個 AI 驅動的平台，通過生成 3 個基於你輸入的定制版本，幫助講話者在幾分鐘內創建個性化的婚禮演講，幫助任何婚禮角色發表令人難忘的祝酒詞。
类似 Clicky 的热门 AI 工具
Microsoft Dragon Copilot
Microsoft Dragon Copilot 是一款 AI 驅動的臨床工作流程助手，它結合了自然語言語音聽寫、環境聆聽功能和生成式 AI，以簡化文檔記錄、呈現信息並自動化醫療保健環境中的任務。
Edge Copilot Mode
Edge Copilot 模式是 Microsoft 的實驗性 AI 驅動瀏覽器功能，它將搜尋、聊天和網路導航整合到一個介面中，使使用者能夠在保持隱私和控制的同時，透過 AI 協助更智慧地瀏覽。
GibberLink
GibberLink是一個開源項目，它使兩個AI代理能夠通過在識別出彼此後從人類語言切換到聲音級別協議來有效地進行通訊，該協議由ggwave技術提供支持。
Llama MacOS Desktop Controller
Llama MacOS Desktop Controller 是一個基於 React 和 Flask 的應用程式，它使使用者能夠通過使用 LLM 生成的 Python 程式碼，使用自然語言命令來控制 macOS 系統操作。