Retrace
Retrace adalah mesin pemutaran ulang eksekusi untuk agen AI yang merekam setiap panggilan LLM/alat, memungkinkan Anda memutar ulang dan mem-fork kegagalan dari langkah yang rusak, dan memverifikasi perbaikan dengan gerbang evaluasi, pembatas, dan deteksi kualitas.
https://retraceai.tech/?ref=producthunt&utm_source=aipure
Informasi Produk
Diperbarui:Jul 3, 2026
Apa itu Retrace
Retrace adalah platform keandalan dan debugging untuk agen AI, diposisikan sebagai “CI untuk perilaku agen AI.” Ini menangkap eksekusi agen end-to-end yang lengkap—panggilan LLM, pemanggilan alat, kesalahan, latensi, dan biaya—sehingga tim dapat memeriksa apa yang terjadi dalam produksi dan mengubah kegagalan menjadi pengujian regresi yang dapat diulang. Dirancang agar agnostik kerangka kerja, Retrace bekerja dengan tumpukan agen umum (misalnya, LangChain, CrewAI, LlamaIndex) dan mendukung Python dan TypeScript, dengan instrumentasi otomatis untuk penyedia model utama (OpenAI, Anthropic, dan Google Gemini).
Fitur Utama Retrace
Retrace adalah mesin pemutaran eksekusi dan platform keandalan untuk agen AI yang merekam setiap panggilan LLM, pemanggilan alat, biaya, latensi, dan kesalahan sehingga tim dapat memutar ulang eksekusi yang tepat, melakukan fork dari langkah di mana kegagalan berasal, dan memverifikasi perbaikan sebelum pengiriman. Selain observabilitas, ini menambahkan alur kerja "closed-loop"—rekam → putar ulang/fork → perbaiki → buktikan—ditambah deteksi kegagalan otomatis (misalnya, kesenjangan "groundedness", "drift", pengelompokan), penegakan saat runtime (anggaran, batas loop/langkah, gerbang persetujuan), dan gerbang evaluasi CI yang mengubah kegagalan produksi nyata menjadi uji regresi. Ini berfungsi di seluruh penyedia LLM umum dan kerangka kerja agen melalui instrumentasi ringan di Python atau TypeScript.
Merekam eksekusi agen penuh: Dekorator/SDK ringan menangkap setiap panggilan model, panggilan alat, kesalahan, waktu, dan biaya, mengubah setiap eksekusi menjadi jejak yang dapat Anda periksa dan gunakan kembali sebagai artefak regresi.
Putar ulang & fork dari langkah yang gagal: Jalankan kembali eksekusi yang direkam dengan tepat atau fork dari rentang di mana terjadi kesalahan, edit "prompt"/input alat/model, dan putar ulang secara berjenjang untuk melihat bagaimana lintasan berubah.
Verifikasi "prove-the-fix": Setelah melakukan perubahan, Retrace dapat menjalankan kembali terhadap jejak kegagalan asli dan mengembalikan putusan (misalnya, diperbaiki/ditingkatkan/regresi/tidak berubah) untuk memvalidasi koreksi sebelum rilis.
Deteksi & analisis kegagalan otomatis: Menandai pola kegagalan agen umum seperti kesenjangan "groundedness"/kesetiaan, "statistical drift", kluster kegagalan, dan jenis kegagalan multi-agen untuk menjelaskan mengapa suatu eksekusi gagal—bukan hanya bahwa itu gagal.
"Guardrails" dan penegakan saat runtime: Kebijakan seperti anggaran biaya, deteksi loop, batas langkah, batas latensi, dan gerbang pra-panggilan (tahan untuk persetujuan) dapat menghentikan atau memblokir tindakan berisiko untuk mencegah perilaku yang tidak terkendali dan pengeluaran yang tidak terduga.
Gerbang evaluasi CI untuk perilaku agen: Menjalankan evaluasi di CI/CD dan menggagalkan "build" ketika perilaku mengalami regresi dibandingkan dengan "baseline", memungkinkan "uji regresi perilaku" untuk "prompt", alat, dan peningkatan model.
Kasus Penggunaan Retrace
Debugging insiden agen produksi: Ketika agen gagal dalam produksi, teknisi dapat memutar ulang eksekusi yang tepat, melakukan fork pada langkah akar masalah yang sebenarnya (bukan gejala akhir), dan memvalidasi perbaikan dengan "prove-the-fix" sebelum menerapkan kembali.
Mengirim agen yang menggunakan alat dengan lebih aman (DevOps/SRE): Untuk agen yang menanyakan log/metrik atau memicu tindakan operasional, "guardrails" (anggaran, batas loop, gerbang persetujuan) mengurangi risiko kegagalan berjenjang atau eksekusi yang mahal dan tidak terkendali.
Pengujian regresi untuk perubahan "prompt"/alat/model: Tim yang mengulang "prompt", menukar alat, atau meningkatkan model dapat menggunakan kegagalan yang direkam dan gerbang evaluasi untuk memastikan perilaku multi-langkah tidak menurun secara diam-diam di seluruh rilis.
Keandalan alur kerja multi-agen (penelitian → alur tulis): Dalam sistem dengan agen perencana/peneliti/penulis, Retrace membantu memvisualisasikan topologi agen, mengidentifikasi kegagalan serah terima antar-agen, dan memutar ulang/fork untuk menguji koordinasi yang lebih baik.
Pemantauan kualitas dan kepatuhan untuk asisten perusahaan: Deteksi "groundedness" dan dukungan ketertelusuran untuk audit dan kontrol kualitas untuk asisten dalam konteks yang diatur atau berisiko tinggi (misalnya, keuangan, perawatan kesehatan, hukum), di mana halusinasi dan tindakan tidak aman harus ditangkap sejak dini.
Kelebihan
Debugging "closed-loop": putar ulang, fork, dan verifikasi perbaikan alih-alih hanya memeriksa log/metrik.
Pendekatan agnostik kerangka kerja dan penyedia dengan instrumentasi ringan (Python/TypeScript) dan dukungan untuk penyedia LLM umum.
"Guardrails" saat runtime dapat mencegah perilaku agen yang mahal atau tidak aman (anggaran, deteksi loop, "approval gating").
Gerbang evaluasi CI mengubah kegagalan nyata menjadi uji regresi perilaku, membantu tim mengirimkan dengan lebih percaya diri.
Kekurangan
Beberapa kemampuan bergantung pada dukungan penyedia/kunci (misalnya, alur putar ulang/evaluasi tertentu mungkin lebih matang untuk penyedia tertentu).
Gerbang evaluasi yang bermakna memerlukan desain dan ambang batas evaluasi yang cermat; penyiapan bisa jadi tidak mudah untuk agen yang kompleks.
Merekam jejak terperinci dapat menimbulkan pertimbangan privasi/kepatuhan, yang memerlukan redaksi dan tata kelola data yang cermat di lingkungan yang sensitif.
Cara Menggunakan Retrace
1) Buat akun: Kunjungi https://retraceai.tech/ dan daftar (masuk GitHub didukung). Tidak diperlukan kartu kredit untuk memulai.
2) Instal Retrace SDK: Tambahkan Retrace SDK ke proyek agen Anda (Python atau TypeScript). Retrace agnostik kerangka kerja dan bekerja dengan LangChain, CrewAI, LlamaIndex, Vercel AI SDK, AutoGen, dll.
3) Konfigurasi kunci API Anda: Dalam kode Anda, konfigurasikan Retrace dengan kunci API ruang kerja Anda (contoh yang ditampilkan di situs menggunakan `retrace.configure(api_key="rt_...")`). Ini menghubungkan aplikasi Anda ke Retrace sehingga jejak dapat mengalir ke dasbor.
4) Tambahkan dekorator perekaman ke titik masuk agen Anda: Bungkus fungsi agen utama Anda dengan dekorator yang ditunjukkan dalam dokumen: `@retrace.record(name="my-agent")`. Dekorator tunggal ini menangkap setiap panggilan LLM, pemanggilan alat, biaya, waktu, dan kesalahan.
5) Jalankan agen Anda secara normal: Jalankan agen Anda seperti biasa. Retrace secara otomatis menangkap panggilan ke OpenAI, Anthropic, dan Gemini, dan merekam panggilan alat dan kegagalan sebagai rentang dalam garis waktu jejak.
6) Tonton jejak streaming langsung (opsional CLI tail): Gunakan CLI untuk mengikuti jejak langsung (contoh dari situs: `retrace traces tail`). Anda akan melihat langkah-langkah seperti klasifikasi niat, pengambilan konteks, dan pembuatan respons dengan waktu dan biaya.
7) Periksa jejak di dasbor: Buka UI Retrace untuk membersihkan garis waktu, membuka rentang apa pun, dan melihat urutan lengkap panggilan model/alat. Ini membantu Anda menemukan di mana eksekusi benar-benar salah (seringkali lebih awal dari kesalahan terakhir).
8) Putar ulang eksekusi yang gagal: Jalankan kembali jejak yang direkam untuk mereproduksi perilaku yang tepat. Retrace dirancang agar kegagalan produksi menjadi pengujian regresi permanen yang dapat Anda jalankan kembali.
9) Fork dari rentang kegagalan yang tepat: Pilih rentang di mana eksekusi menyimpang atau gagal, lalu buat fork untuk bercabang dari titik itu (contoh perintah yang ditampilkan: `retrace forks create --trace <id> --span <id> --input "..."`).
10) Edit langkah yang rusak (prompt/input alat/model) dan putar ulang berjenjang: Dalam fork, ubah apa yang menyebabkan kegagalan (misalnya, sesuaikan prompt, perbaiki input alat, atau tukar model), lalu putar ulang fork (contoh: `retrace forks replay <id> --wait`). Retrace memutar ulang berjenjang dari titik fork ke depan sehingga langkah-langkah hilir menggunakan konteks yang diperbarui.
11) Buktikan perbaikan dengan putusan: Jalankan verifikasi bawaan untuk membandingkan fork yang diperbaiki dengan eksekusi asli yang gagal dan dapatkan putusan (contoh: `retrace traces verify-fix <id>`), dilaporkan sebagai diperbaiki/regresi/tidak berubah (dan ditampilkan sebagai “perbaikan terverifikasi” dalam contoh situs).
12) Tambahkan pembatas runtime (disarankan): Konfigurasikan pembatas/pemutus sirkuit untuk menghentikan eksekusi yang melebihi anggaran, berulang terlalu lama, meluap konteks, atau melebihi batas latensi. Retrace dapat mengeluarkan HALT untuk menghentikan perilaku yang tidak terkendali sebelum menimbulkan biaya atau memicu tindakan buruk.
13) Aktifkan sinyal deteksi (disarankan): Gunakan fitur deteksi Retrace untuk secara otomatis menandai celah dasar, penyimpangan, kluster kegagalan, dan jenis kegagalan MAST sehingga Anda mengetahui mengapa eksekusi gagal (bukan hanya bahwa itu gagal).
14) (Opsional) Tambahkan kunci penyedia model Anda untuk pemutaran ulang sisi server dan gerbang evaluasi: Di Pengaturan dasbor Retrace, tambahkan kunci penyedia Anda (situs menyoroti Google/Gemini untuk gerbang evaluasi + pemutaran ulang). Retrace memvalidasi kunci saat disimpan, mengenkripsinya saat tidak aktif, hanya menampilkan 4 karakter terakhir, dan menggunakannya sehingga token pemutaran ulang/evaluasi ditagih ke akun penyedia Anda.
15) Buat evaluasi dan kumpulan data untuk pengujian regresi: Siapkan evaluasi (dan secara opsional kumpulan data dan aturan evaluasi otomatis) sehingga Anda dapat menilai perilaku agen selama eksekusi yang direkam dan membandingkan dengan perilaku dasar (“emas”).
16) Gerbang PR dengan Gerbang Evaluasi di CI: Tambahkan langkah CI yang menjalankan gerbang evaluasi Retrace sehingga build gagal ketika perilaku mengalami regresi. Contoh langkah GitHub Actions dari situs: `retrace eval gate --evaluation $EVAL_ID --trace $TRACE_ID --threshold 0.8` dengan `RETRACE_API_KEY` dalam rahasia; perintah keluar dengan kode 1 jika gagal.
17) Berulang menggunakan alur kerja loop tertutup: Ulangi loop keandalan: Rekam kegagalan nyata → Putar ulang → Fork dari langkah yang gagal → Perbaiki → Buktikan perbaikan → Tambahkan ke gerbang evaluasi sehingga regresi yang sama lebih sulit untuk dikirim lagi.
FAQ Retrace
Retrace adalah mesin pemutaran eksekusi untuk agen AI yang merekam setiap panggilan LLM, pemanggilan alat, dan kesalahan, sehingga Anda dapat memutar ulang eksekusi, melakukan fork dari langkah yang gagal, dan memverifikasi perbaikan sebelum diluncurkan.
Artikel Populer
Atoms: Platform AI Multi-Agen yang Mengubah Ide menjadi Produk Siap Diluncurkan
May 22, 2026
Nano Banana SBTI: Apa Itu, Bagaimana Cara Kerjanya, dan Cara Menggunakannya di Tahun 2026
Apr 15, 2026
Ulasan Atoms — Pembuat Produk AI yang Mendefinisikan Ulang Kreasi Digital di Tahun 2026
Apr 10, 2026
Kilo Claw: Cara Menerapkan dan Menggunakan Agen AI "Lakukan-Untuk-Anda" Sejati (Pembaruan 2026)
Apr 3, 2026
Alat AI Terbaru Serupa dengan Retrace
Hapticlabs
Hapticlabs adalah toolkit tanpa kode yang memungkinkan desainer, pengembang, dan peneliti untuk dengan mudah merancang, membuat prototipe, dan menerapkan interaksi haptik yang imersif di berbagai perangkat tanpa pemrograman.
Deployo.ai
Deployo.ai adalah platform penerapan AI yang komprehensif yang memungkinkan penerapan model, pemantauan, dan penskalaan yang mulus dengan kerangka kerja AI etis bawaan dan kompatibilitas lintas cloud.
CloudSoul
CloudSoul adalah platform SaaS bertenaga AI yang memungkinkan pengguna untuk segera menerapkan dan mengelola infrastruktur cloud melalui percakapan bahasa alami, menjadikan manajemen sumber daya AWS lebih mudah diakses dan efisien.
Devozy.ai
Devozy.ai adalah platform layanan mandiri pengembang yang didukung AI yang menggabungkan manajemen proyek Agile, DevSecOps, manajemen infrastruktur multi-cloud, dan manajemen layanan TI menjadi solusi terpadu untuk mempercepat pengiriman perangkat lunak.
Alat AI Populer Seperti Retrace
A2A Protocol
Protokol A2A (Agent2Agent) adalah protokol interoperabilitas terbuka yang dikembangkan oleh Google yang memungkinkan komunikasi dan kolaborasi tanpa batas antara agen AI di berbagai kerangka kerja dan vendor, terlepas dari arsitektur yang mendasarinya.
VoltOps
VoltOps adalah platform observabilitas LLM agnostik kerangka kerja yang menyediakan alat pemantauan visual, debugging, dan optimasi waktu nyata untuk agen AI di seluruh tumpukan teknologi apa pun.
Chaterm
Chaterm adalah terminal asli AI sumber terbuka dan kopilot SRE yang memungkinkan para insinyur untuk mengelola infrastruktur yang kompleks melalui bahasa alami, mengotomatiskan penerapan, pemecahan masalah, dan operasi tanpa menghafal perintah.
Open Browser Use
Open Browser Use adalah lapisan otomatisasi browser open-source, netral-runtime-agen yang memasangkan ekstensi Chrome dengan CLI/SDK/MCP untuk memungkinkan kontrol tab yang sadar DOM, bertenaga CDP, navigasi, dan tindakan di berbagai alat agen AI.