Heron

Heron

Heron là một công cụ quan sát thụ động, không xâm nhập cho các tác nhân AI, tái tạo các lượt tác nhân và tương tác LLM/công cụ từ lưu lượng mạng (pcap/trực tiếp/eBPF) với bảng điều khiển tích hợp, số liệu và xuất dữ liệu SFT—không cần SDK, không cần proxy, không thay đổi mã.
https://github.com/Netis/heron?ref=producthunt&utm_source=aipure
Heron

Thông tin Sản phẩm

Đã cập nhật:Jun 29, 2026

Heron là gì

Heron (Netis/heron) tự định vị mình là “Wireshark cho các tác nhân AI”: một sản phẩm quan sát cho phép bạn xem các tác nhân AI đang làm gì bằng cách tái tạo hành vi của chúng trực tiếp từ lưu lượng truy cập đã thu thập thay vì công cụ hóa mã hoặc định tuyến yêu cầu thông qua một proxy. Nó tập trung vào các quy trình làm việc của tác nhân (bộ lập kế hoạch → cuộc gọi công cụ → kết quả → bước tiếp theo) và các tương tác LLM, cung cấp một bảng điều khiển web cục bộ (http://localhost:3000) để khám phá dòng thời gian, chi tiết từng cuộc gọi, lỗi và các chỉ số hiệu suất/sử dụng. Nó hỗ trợ phát lại các tệp .pcap đã thu thập mà không cần đặc quyền, thu thập trực tiếp qua libpcap (với các khả năng thích hợp), nhập ZMQ tùy chọn từ một đầu dò từ xa và chế độ eBPF thử nghiệm trên Linux để quan sát lưu lượng TLS tại ranh giới SSL trên máy chủ.

Các Tính năng Chính của Heron

Heron (Netis/heron) là một công cụ quan sát thụ động dành cho các tác nhân AI – được định vị là “Wireshark cho các tác nhân AI” – tái tạo các lượt tác nhân, lệnh gọi công cụ và tương tác LLM trực tiếp từ lưu lượng mạng (pcap/chụp trực tiếp) hoặc ranh giới TLS cấp máy chủ, mà không yêu cầu bất kỳ SDK, proxy hoặc thay đổi mã nào và không nằm trong đường dẫn yêu cầu. Nó phân tích HTTP/SSE dạng văn bản thuần túy (hoặc chụp nội dung đã giải mã thông qua eBPF SSL uprobes tùy chọn của Linux), xác định các API dây LLM phổ biến (OpenAI/Anthropic/Gemini và các máy chủ tương thích OpenAI), xây dựng dòng thời gian và biểu đồ cấu trúc liên kết dịch vụ, tính toán độ trễ/số liệu mã thông báo và lưu trữ kết quả (DuckDB theo mặc định, ClickHouse tùy chọn) phía sau một bảng điều khiển web cục bộ và API REST, với khả năng xuất lưu lượng truy cập thực tế vào các tập dữ liệu sẵn sàng cho SFT.
Chụp thụ động không xâm nhập: Quan sát lưu lượng LLM/tác nhân ngoài dây (phát lại pcap hoặc giao diện trực tiếp) hoặc tại ranh giới TLS của máy chủ, không yêu cầu công cụ SDK, không proxy và không thay đổi mã máy khách – trong khi vẫn nằm ngoài đường dẫn yêu cầu.
Tái tạo lượt tác nhân: Ghép nối các quy trình làm việc tác nhân đa cuộc gọi (bộ lập kế hoạch → công cụ → kết quả → bước tiếp theo) thành các “lượt” đơn lẻ, có thể định địa chỉ, với các hồ sơ được đặt tên cho các công cụ như Claude Code và Codex CLI cùng với chế độ chung.
Phát hiện API dây & giải mã ngữ nghĩa: Tự động phát hiện và giải mã các API LLM phổ biến (OpenAI Chat Completions/Responses, Anthropic Messages, Gemini) và hỗ trợ các backend tương thích OpenAI (vLLM, SGLang, Ollama, llama.cpp, LM Studio, LiteLLM) bằng cách kiểm tra các byte trên dây.
Bảng điều khiển trực tiếp với khả năng tìm hiểu sâu: Giao diện người dùng web nhúng (localhost:3000) cho dòng thời gian, kiểm tra yêu cầu/phản hồi theo cuộc gọi, phiên/lượt tác nhân, HTTP thô, tình trạng đường ống và bảng điều khiển cho hiệu suất, mức sử dụng và lỗi.
Số liệu cấp độ vận hành & chế độ xem cấu trúc liên kết: Tính toán độ trễ TTFT/E2E/TPOT, thông lượng mã thông báo, tỷ lệ lỗi, khối lượng cuộc gọi, phần trăm độ trễ và trực quan hóa các đường dẫn dịch vụ-đến-dịch vụ (máy khách → proxy → backend suy luận) dưới dạng biểu đồ có hướng.
Xuất quỹ đạo SFT từ lưu lượng truy cập thực tế: Xuất các lượt/phiên được tái tạo thành JSONL tin nhắn kiểu OpenAI (bao gồm các lệnh gọi/kết quả công cụ và các đối số có cấu trúc) để biến các lần chạy tác nhân đã chụp thành dữ liệu tinh chỉnh.

Các Trường hợp Sử dụng của Heron

Gỡ lỗi tác nhân & QA: Các nhà phát triển có thể chẩn đoán các lệnh gọi công cụ bị kẹt, vòng lặp kế hoạch, lời nhắc bị định dạng sai và đầu ra không mong muốn bằng cách kiểm tra các lượt được tái tạo và toàn bộ nội dung yêu cầu/phản hồi – mà không cần sửa đổi tác nhân.
Khả năng quan sát nền tảng suy luận: Các nhóm nền tảng AI có thể lập bản đồ cấu trúc liên kết dịch vụ thực tế (client → LiteLLM → vLLM/SGLang, v.v.), đo độ trễ của từng bước nhảy và phát hiện các thay thế mô hình/điểm cuối im lặng dựa trên lưu lượng truy cập được quan sát.
FinOps / phân bổ chi phí: Các nhà quản lý kỹ thuật và FinOps có thể phân bổ mức sử dụng và hiệu suất theo loại tác nhân, mô hình, điểm cuối và phiên bằng cách sử dụng bằng chứng từ lưu lượng truy cập thực tế thay vì xuất SDK định kỳ.
Tuân thủ, kiểm toán và ứng phó sự cố: Các nhóm bảo mật/tuân thủ có thể duy trì chuỗi bằng chứng "chụp một lần" về những gì tác nhân đã gửi/nhận (nơi lưu lượng truy cập được giải mã), hỗ trợ kiểm toán và điều tra mà không ảnh hưởng đến các đường dẫn sản xuất.
Tạo tập dữ liệu để huấn luyện mô hình: Các nhóm ML có thể chuyển đổi các tương tác tác nhân thực tế thành các tập dữ liệu SFT bằng cách xuất các lượt/phiên dưới dạng JSONL có cấu trúc, bảo toàn cấu trúc lệnh gọi công cụ và định dạng dây của nhà cung cấp.

Ưu điểm

Không yêu cầu SDK/proxy và không nằm trong đường dẫn yêu cầu, giảm ma sát triển khai và tránh các sự cố do người quan sát gây ra.
Khả năng hiển thị độ trung thực cao: chụp toàn bộ nội dung yêu cầu/phản hồi (khi có văn bản thuần túy) và tái tạo các lượt tác nhân cấp cao hơn, không chỉ nhật ký theo cuộc gọi.
Khả năng tương thích rộng rãi với nhiều nhà cung cấp LLM và máy chủ suy luận tương thích OpenAI thông qua phát hiện cấp độ dây.
Phân phối di động: một tệp nhị phân với bảng điều khiển nhúng; hỗ trợ phát lại pcap để phân tích ngoại tuyến/CI.

Nhược điểm

Yêu cầu khả năng hiển thị HTTP dạng văn bản thuần túy; lưu lượng được mã hóa cần được đặt phía sau kết thúc TLS hoặc sử dụng tính năng chụp eBPF SSL-urobe thử nghiệm của Linux với các khả năng bổ sung.
Chụp thụ động có thể hạn chế tương quan đầu cuối trên các cụm máy khách phân tán so với theo dõi/gắn thẻ SDK rõ ràng.
Một số định dạng chỉ được hỗ trợ một phần; các định dạng dây không được hỗ trợ sẽ bị bỏ qua/báo cáo thay vì giải mã.
Chụp giao diện trực tiếp có thể yêu cầu các đặc quyền/khả năng nâng cao (ví dụ: CAP_NET_RAW/CAP_NET_ADMIN trên Linux).

Cách Sử dụng Heron

1) Cài đặt Heron (Linux/macOS, cục bộ người dùng, không cần sudo): Chạy trình cài đặt một dòng để đặt tệp nhị phân `heron` vào một thư mục cục bộ của người dùng. Lệnh: curl -fsSL https://raw.githubusercontent.com/Netis/heron/main/install.sh | INSTALL_DIR="$HOME/.local" sh
2) Xác minh cài đặt: Xác nhận tệp nhị phân chạy và nằm trên PATH của bạn. Lệnh: heron --version heron --help
3) Chạy thử nghiệm khói không đặc quyền bằng cách phát lại .pcap: Phát lại một bản chụp gói hiện có chứa lưu lượng LLM. Điều này không yêu cầu thu thập trực tiếp và không có đặc quyền đặc biệt. Lệnh: heron --pcap-file capture.pcap --no-retention Mẹo: Nếu bạn không có pcap, hãy sử dụng các thiết bị cố định kho lưu trữ trong `testdata/pcaps/` và phát lại bất kỳ thiết bị nào trong số đó.
4) Mở bảng điều khiển web: Sau khi khởi động Heron, mở bảng điều khiển nhúng trong trình duyệt của bạn để kiểm tra các lượt tác nhân, dòng thời gian và số liệu. URL: http://localhost:3000 Lưu ý: Sau khi pcap phát lại xong, Heron vẫn giữ API/bảng điều khiển khả dụng để bạn có thể duyệt. Nhấn Ctrl+C để thoát, hoặc truyền `--exit-after-drain` để tự động thoát khi đường ống thoát.
5) Kiểm tra tình trạng và xác nhận các dấu vết đã được tái tạo (xác minh API): Sử dụng REST API để xác nhận dịch vụ đang hoạt động tốt và các dấu vết đã tái tạo có sẵn. Lệnh: curl -s http://localhost:3000/api/health curl -s 'http://localhost:3000/api/traces?limit=5'
6) (Tùy chọn) Chạy thu thập trực tiếp từ giao diện mạng (Linux/macOS): Nếu bạn có giao diện trực tiếp và muốn thu thập thời gian thực, hãy chạy Heron với một giao diện. Lệnh: heron -i eth0 Lưu ý Linux: thu thập trực tiếp cần `CAP_NET_RAW` (và các khả năng liên quan). Tài liệu cài đặt khuyến nghị cấp khả năng một lần để bạn không cần sudo khi chạy: sudo setcap cap_net_raw,cap_net_admin=eip ~/.local/bin/heron
7) Hiểu yêu cầu TLS (nơi triển khai Heron): Heron tái tạo các cuộc gọi LLM từ HTTP văn bản thuần túy. Cài đặt nó ở nơi lưu lượng truy cập đã được giải mã: trên máy chủ suy luận, phía sau bộ chấm dứt TLS hoặc cấp dữ liệu từ một nguồn gói đáng tin cậy. Chỉ thu thập gói không thể nhìn thấy các nội dung được mã hóa.
8) (Tùy chọn, thử nghiệm Linux) Thu thập lưu lượng TLS dưới dạng văn bản thuần túy qua eBPF SSL uprobes: Trên Linux, Heron có một nguồn eBPF thử nghiệm tùy chọn móc `SSL_read`/`SSL_write` để đọc các cuộc gọi LLM được mã hóa TLS dưới dạng văn bản thuần túy trên máy chủ và gán các cuộc gọi cho các quy trình (pid/lệnh/thực thi). Điều này được xây dựng phía sau tính năng `ebpf` cargo và yêu cầu `CAP_BPF` và kernel BTF. Làm theo tài liệu thu thập eBPF của kho lưu trữ để thiết lập.
9) Sử dụng bảng điều khiển để phân tích hành vi tác nhân và cấu trúc liên kết dịch vụ: Trong bảng điều khiển (`http://localhost:3000`), sử dụng các trang như Tổng quan/Hiệu suất/Sử dụng/Lỗi và các chế độ xem Dịch vụ để xem các biểu đồ có hướng của máy khách → proxy → phần phụ trợ. Heron phát hiện các điểm cuối (ví dụ: vLLM, SGLang, Ollama, llama.cpp, LiteLLM) từ các byte trên dây.
10) Kiểm tra các lượt tác nhân đã tái tạo (tường thuật đa cuộc gọi): Điều hướng đến Lượt tác nhân để xem các tương tác đa cuộc gọi được ghép thành các lượt đơn lẻ (bộ lập kế hoạch → công cụ → kết quả → công cụ tiếp theo). Điều này cung cấp một chế độ xem tường thuật thay vì nhật ký thô theo yêu cầu.
11) Xuất quỹ đạo SFT từ lưu lượng truy cập thực (dữ liệu tinh chỉnh): Từ chế độ xem chi tiết của một lượt (hoặc xuất hàng loạt từ danh sách Lượt tác nhân với các bộ lọc), xuất JSONL `messages` kiểu OpenAI. Heron bảo toàn các cuộc gọi/kết quả công cụ và tái tạo các đối số thành các đối tượng. Hiện được hỗ trợ: định dạng dây Anthropic và OpenAI-chat; các định dạng không được hỗ trợ sẽ được báo cáo và bỏ qua.
12) Cấu hình lưu trữ và lưu giữ (mặc định DuckDB; tùy chọn ClickHouse): Theo mặc định, Heron lưu trữ dữ liệu trong DuckDB (tệp đơn nhúng) với các điều khiển lưu giữ theo bảng. Đối với phân tích khối lượng lớn hơn, hãy cấu hình ClickHouse bằng cách đặt `storage.backend = "clickhouse"` (theo tài liệu Cấu hình).
13) (Tùy chọn) Xây dựng từ nguồn đúng cách (bảng điều khiển được nhúng): Nếu phát triển/xây dựng từ nguồn, hãy sử dụng các lệnh `just` của dự án để bảng điều khiển web được nhúng. Kho lưu trữ cảnh báo rằng một `cargo build --release` đơn giản có thể tạo ra một API hoạt động nhưng một bảng điều khiển trống. Được khuyến nghị: just build all just quality all just test all Nếu gọi cargo trực tiếp, hãy xây dựng bảng điều khiển trước (`bun run build` trong `console/`) và biên dịch với `--features console`.

Câu hỏi Thường gặp về Heron

Heron (Netis/heron) là một công cụ quan sát thụ động dành cho các tác nhân AI—được mô tả là “Wireshark cho các tác nhân AI.” Nó tái tạo các lượt của tác nhân, các lệnh gọi công cụ và các tương tác LLM từ lưu lượng mạng (ngoài dây hoặc tại ranh giới TLS của máy chủ) mà không cần nằm trong đường dẫn yêu cầu.

Công cụ AI Mới nhất Tương tự Heron

Hapticlabs
Hapticlabs
Hapticlabs là một bộ công cụ không mã cho phép các nhà thiết kế, nhà phát triển và nhà nghiên cứu dễ dàng thiết kế, tạo mẫu và triển khai các tương tác cảm giác sống động trên các thiết bị mà không cần lập trình.
Deployo.ai
Deployo.ai
Deployo.ai là một nền tảng triển khai AI toàn diện cho phép triển khai mô hình, giám sát và mở rộng một cách liền mạch với các khung AI đạo đức tích hợp và khả năng tương thích đa đám mây.
CloudSoul
CloudSoul
CloudSoul là một nền tảng SaaS được hỗ trợ bởi AI cho phép người dùng ngay lập tức triển khai và quản lý cơ sở hạ tầng đám mây thông qua các cuộc hội thoại ngôn ngữ tự nhiên, làm cho việc quản lý tài nguyên AWS trở nên dễ tiếp cận và hiệu quả hơn.
Devozy.ai
Devozy.ai
Devozy.ai là một nền tảng tự phục vụ cho nhà phát triển được hỗ trợ bởi AI, kết hợp quản lý dự án Agile, DevSecOps, quản lý hạ tầng đa đám mây, và quản lý dịch vụ CNTT thành một giải pháp thống nhất để tăng tốc độ cung cấp phần mềm.