Heron

Heron

Heron adalah alat observabilitas pasif, tanpa intrusi untuk agen AI yang merekonstruksi giliran agen dan interaksi LLM/alat dari lalu lintas jaringan (pcap/live/eBPF) dengan dasbor bawaan, metrik, dan ekspor data SFT—tanpa SDK, tanpa proxy, tanpa perubahan kode.
https://github.com/Netis/heron?ref=producthunt&utm_source=aipure
Heron

Informasi Produk

Diperbarui:Jun 29, 2026

Apa itu Heron

Heron (Netis/heron) memposisikan dirinya sebagai “Wireshark untuk Agen AI”: produk observabilitas yang memungkinkan Anda melihat apa yang dilakukan agen AI dengan merekonstruksi perilaku mereka langsung dari lalu lintas yang ditangkap daripada menginstrumentasikan kode atau merutekan permintaan melalui proxy. Ini berfokus pada alur kerja agen (perencana → panggilan alat → hasil → langkah berikutnya) dan interaksi LLM, menyediakan konsol web lokal (http://localhost:3000) untuk menjelajahi garis waktu, detail per panggilan, kesalahan, dan metrik kinerja/penggunaan. Ini mendukung pemutaran ulang file .pcap yang ditangkap tanpa hak istimewa, penangkapan langsung melalui libpcap (dengan kemampuan yang sesuai), penyerapan ZMQ opsional dari probe jarak jauh, dan mode eBPF Linux eksperimental untuk mengamati lalu lintas TLS pada batas SSL di host.

Fitur Utama Heron

Heron (Netis/heron) adalah alat observabilitas pasif untuk agen AI—diposisikan sebagai “Wireshark untuk Agen AI”—yang merekonstruksi giliran agen, panggilan alat, dan interaksi LLM langsung dari lalu lintas jaringan (pcap/live capture) atau batas TLS tingkat host, tanpa memerlukan SDK, proxy, atau perubahan kode apa pun dan tanpa berada di jalur permintaan. Ini mengurai HTTP/SSE teks biasa (atau menangkap konten yang didekripsi melalui uprobe SSL eBPF Linux opsional), mengidentifikasi API kabel LLM umum (OpenAI/Anthropic/Gemini dan server yang kompatibel dengan OpenAI), membangun garis waktu dan grafik topologi layanan, menghitung metrik latensi/token, dan menyimpan hasil (DuckDB secara default, ClickHouse opsional) di balik konsol web lokal dan REST API, dengan kemampuan untuk mengekspor lalu lintas nyata ke dalam kumpulan data yang siap SFT.
Penangkapan pasif tanpa intrusi: Mengamati lalu lintas LLM/agen di luar kabel (pemutaran ulang pcap atau antarmuka langsung) atau di batas TLS host, tidak memerlukan instrumentasi SDK, tidak ada proxy, dan tidak ada perubahan kode klien—sambil tetap berada di luar jalur permintaan.
Rekonstruksi giliran agen: Menyatukan alur kerja agen multi-panggilan (perencana → alat → hasil → langkah berikutnya) menjadi “giliran” tunggal yang dapat dialamatkan, dengan profil bernama untuk alat seperti Claude Code dan Codex CLI ditambah mode generik.
Deteksi API kabel & dekode semantik: Secara otomatis mendeteksi dan mendekode API LLM populer (OpenAI Chat Completions/Responses, Anthropic Messages, Gemini) dan mendukung backend yang kompatibel dengan OpenAI (vLLM, SGLang, Ollama, llama.cpp, LM Studio, LiteLLM) dengan memeriksa byte pada kabel.
Konsol langsung dengan penelusuran mendalam: UI web tersemat (localhost:3000) untuk garis waktu, inspeksi permintaan/respons per panggilan, sesi/giliran agen, HTTP mentah, kesehatan pipeline, dan dasbor untuk kinerja, penggunaan, dan kesalahan.
Metrik tingkat operasi & tampilan topologi: Menghitung TTFT/E2E latensi/TPOT, throughput token, tingkat kesalahan, volume panggilan, persentil latensi, dan memvisualisasikan jalur layanan-ke-layanan (klien → proxy → backend inferensi) sebagai grafik terarah.
Ekspor lintasan SFT dari lalu lintas nyata: Mengekspor giliran/sesi yang direkonstruksi ke dalam JSONL pesan gaya OpenAI (termasuk panggilan/hasil alat dan argumen terstruktur) untuk mengubah jalankan agen yang ditangkap menjadi data fine-tuning.

Kasus Penggunaan Heron

Debugging & QA Agen: Pengembang dapat mendiagnosis panggilan alat yang macet, loop rencana, prompt yang salah format, dan output yang tidak terduga dengan memeriksa giliran yang direkonstruksi dan badan permintaan/respons lengkap—tanpa memodifikasi agen.
Observabilitas platform inferensi: Tim platform AI dapat memetakan topologi layanan nyata (klien → LiteLLM → vLLM/SGLang, dll.), mengukur latensi setiap hop, dan mendeteksi substitusi model/endpoint senyap berdasarkan lalu lintas yang diamati.
FinOps / atribusi biaya: Manajer teknik dan FinOps dapat mengaitkan penggunaan dan kinerja berdasarkan jenis agen, model, endpoint, dan sesi menggunakan bukti dari lalu lintas aktual daripada ekspor SDK berkala.
Kepatuhan, audit, dan respons insiden: Tim keamanan/kepatuhan dapat mempertahankan rantai bukti 'tangkap sekali' tentang apa yang dikirim/diterima agen (di mana lalu lintas didekripsi), mendukung audit dan investigasi tanpa memengaruhi jalur produksi.
Pembuatan kumpulan data untuk pelatihan model: Tim ML dapat mengubah interaksi agen nyata menjadi kumpulan data SFT dengan mengekspor giliran/sesi sebagai JSONL terstruktur, mempertahankan struktur panggilan alat dan format kabel penyedia.

Kelebihan

Tidak diperlukan SDK/proxy dan tidak berada di jalur permintaan, mengurangi gesekan penerapan dan menghindari pemadaman yang disebabkan oleh pengamat.
Visibilitas fidelitas tinggi: menangkap badan permintaan/respons lengkap (ketika teks biasa tersedia) dan merekonstruksi giliran agen tingkat yang lebih tinggi, bukan hanya log per panggilan.
Kompatibilitas luas dengan beberapa penyedia LLM dan server inferensi yang kompatibel dengan OpenAI melalui deteksi tingkat kabel.
Distribusi portabel: biner tunggal dengan konsol tersemat; mendukung pemutaran ulang pcap untuk analisis offline/CI.

Kekurangan

Membutuhkan visibilitas HTTP teks biasa; lalu lintas terenkripsi memerlukan penempatan di belakang penghentian TLS atau penggunaan penangkapan SSL-urobe eBPF Linux eksperimental dengan kemampuan tambahan.
Penangkapan pasif dapat membatasi korelasi ujung-ke-ujung di seluruh kluster klien terdistribusi dibandingkan dengan pelacakan eksplisit/penandaan SDK.
Beberapa format hanya didukung sebagian; format kabel yang tidak didukung dilewati/dilaporkan daripada didekode.
Penangkapan antarmuka langsung dapat memerlukan hak istimewa/kemampuan yang ditingkatkan (misalnya, CAP_NET_RAW/CAP_NET_ADMIN di Linux).

Cara Menggunakan Heron

1) Instal Heron (Linux/macOS, user-local, tanpa sudo): Jalankan penginstal satu baris untuk menempatkan biner `heron` di bawah direktori lokal pengguna. Perintah: curl -fsSL https://raw.githubusercontent.com/Netis/heron/main/install.sh | INSTALL_DIR="$HOME/.local" sh
2) Verifikasi instalasi: Konfirmasi biner berjalan dan ada di PATH Anda. Perintah: heron --version heron --help
3) Jalankan uji coba tanpa hak istimewa menggunakan pemutaran ulang .pcap: Putar ulang tangkapan paket yang ada yang berisi lalu lintas LLM. Ini tidak memerlukan tangkapan langsung dan tidak ada hak istimewa khusus. Perintah: heron --pcap-file capture.pcap --no-retention Tip: Jika Anda tidak memiliki pcap, gunakan perlengkapan repo di `testdata/pcaps/` dan putar ulang salah satunya.
4) Buka konsol web: Setelah memulai Heron, buka konsol tertanam di browser Anda untuk memeriksa giliran agen, garis waktu, dan metrik. URL: http://localhost:3000 Catatan: Setelah pcap selesai diputar ulang, Heron menjaga API/konsol tetap tersedia sehingga Anda dapat menjelajah. Tekan Ctrl+C untuk keluar, atau teruskan `--exit-after-drain` untuk keluar secara otomatis setelah pipeline mengering.
5) Periksa kesehatan dan konfirmasi jejak direkonstruksi (verifikasi API): Gunakan REST API untuk mengonfirmasi bahwa layanan sehat dan jejak yang direkonstruksi tersedia. Perintah: curl -s http://localhost:3000/api/health curl -s 'http://localhost:3000/api/traces?limit=5'
6) (Opsional) Jalankan tangkapan langsung dari antarmuka jaringan (Linux/macOS): Jika Anda memiliki antarmuka langsung dan ingin tangkapan real-time, jalankan Heron terhadap antarmuka. Perintah: heron -i eth0 Catatan Linux: tangkapan langsung membutuhkan `CAP_NET_RAW` (dan kemampuan terkait). Dokumen instalasi merekomendasikan pemberian kemampuan sekali sehingga Anda tidak memerlukan sudo saat runtime: sudo setcap cap_net_raw,cap_net_admin=eip ~/.local/bin/heron
7) Pahami persyaratan TLS (tempat menyebarkan Heron): Heron merekonstruksi panggilan LLM dari HTTP plaintext. Instal di mana lalu lintas sudah didekripsi: di host inferensi, di belakang terminator TLS, atau berikan dari sumber paket tepercaya. Penangkapan paket saja tidak dapat melihat badan terenkripsi.
8) (Opsional, eksperimental Linux) Tangkap lalu lintas TLS sebagai plaintext melalui uprobe eBPF SSL: Di Linux, Heron memiliki sumber eBPF eksperimental opt-in yang mengaitkan `SSL_read`/`SSL_write` untuk membaca panggilan LLM terenkripsi TLS sebagai plaintext di host dan mengaitkan panggilan ke proses (pid/perintah/executable). Ini dibangun di belakang fitur kargo `ebpf` dan memerlukan `CAP_BPF` dan kernel BTF. Ikuti dokumentasi penangkapan eBPF repo untuk pengaturan.
9) Gunakan konsol untuk menganalisis perilaku agen dan topologi layanan: Di konsol (`http://localhost:3000`), gunakan halaman seperti Overview/Performance/Usage/Errors dan tampilan Services untuk melihat grafik terarah klien → proxy → backend. Heron mendeteksi titik akhir (misalnya, vLLM, SGLang, Ollama, llama.cpp, LiteLLM) dari byte di kabel.
10) Periksa Giliran Agen yang direkonstruksi (narasi multi-panggilan): Navigasi ke Giliran Agen untuk melihat interaksi multi-panggilan yang disatukan menjadi giliran tunggal (perencana → alat → hasil → alat berikutnya). Ini memberikan tampilan narasi daripada log per permintaan mentah.
11) Ekspor lintasan SFT dari lalu lintas nyata (data fine-tuning): Dari tampilan detail giliran (atau ekspor batch dari daftar Giliran Agen dengan filter), ekspor JSONL `messages` gaya OpenAI. Heron mempertahankan panggilan/hasil alat dan merehidrasi argumen ke objek. Didukung hari ini: format kabel Anthropic dan OpenAI-chat; format yang tidak didukung dilaporkan dan dilewati.
12) Konfigurasi penyimpanan dan retensi (default DuckDB; ClickHouse opsional): Secara default Heron menyimpan data di DuckDB (file tunggal tertanam) dengan kontrol retensi per tabel. Untuk analitik volume yang lebih tinggi, konfigurasikan ClickHouse dengan mengatur `storage.backend = "clickhouse"` (sesuai dokumen Konfigurasi).
13) (Opsional) Bangun dari sumber dengan benar (konsol tertanam): Jika mengembangkan/membangun dari sumber, gunakan perintah `just` proyek sehingga konsol web tertanam. Repo memperingatkan bahwa `cargo build --release` biasa dapat menghasilkan API yang berfungsi tetapi konsol kosong. Direkomendasikan: just build all just quality all just test all Jika memanggil kargo secara langsung, bangun konsol terlebih dahulu (`bun run build` di `console/`) dan kompilasi dengan `--features console`.

FAQ Heron

Heron (Netis/heron) adalah alat observabilitas pasif untuk agen AI—digambarkan sebagai “Wireshark untuk Agen AI.” Alat ini merekonstruksi giliran agen, panggilan alat, dan interaksi LLM dari lalu lintas jaringan (dari kabel atau di batas TLS host) tanpa berada di jalur permintaan.

Alat AI Terbaru Serupa dengan Heron

Hapticlabs
Hapticlabs
Hapticlabs adalah toolkit tanpa kode yang memungkinkan desainer, pengembang, dan peneliti untuk dengan mudah merancang, membuat prototipe, dan menerapkan interaksi haptik yang imersif di berbagai perangkat tanpa pemrograman.
Deployo.ai
Deployo.ai
Deployo.ai adalah platform penerapan AI yang komprehensif yang memungkinkan penerapan model, pemantauan, dan penskalaan yang mulus dengan kerangka kerja AI etis bawaan dan kompatibilitas lintas cloud.
CloudSoul
CloudSoul
CloudSoul adalah platform SaaS bertenaga AI yang memungkinkan pengguna untuk segera menerapkan dan mengelola infrastruktur cloud melalui percakapan bahasa alami, menjadikan manajemen sumber daya AWS lebih mudah diakses dan efisien.
Devozy.ai
Devozy.ai
Devozy.ai adalah platform layanan mandiri pengembang yang didukung AI yang menggabungkan manajemen proyek Agile, DevSecOps, manajemen infrastruktur multi-cloud, dan manajemen layanan TI menjadi solusi terpadu untuk mempercepat pengiriman perangkat lunak.