UFO² adalah Desktop AgentOS generasi berikutnya dari Microsoft yang mengubah permintaan bahasa alami menjadi alur kerja multi-aplikasi otomatis, andal, di Windows, menggabungkan otomatisasi UI, integrasi API asli, dan koordinasi multi-agen.
https://github.com/microsoft/UFO?ref=aipure&utm_source=aipure
UFO²

Informasi Produk

Diperbarui:May 16, 2025

Apa itu UFO²

UFO² (Desktop AgentOS) adalah proyek sumber terbuka yang dikembangkan oleh Microsoft yang mewakili evolusi besar dari kerangka kerja UFO asli. Ini berfungsi sebagai sistem multi-agen komprehensif yang dirancang untuk mengotomatiskan operasi Windows melalui perintah bahasa alami. Dirilis pada April 2025, UFO² terintegrasi dengan Windows OS (versi 10 ke atas) dan membutuhkan Python 3.10 atau lebih tinggi. Kerangka kerja ini bukanlah fitur Windows resmi, melainkan platform eksperimental yang menunjukkan kemampuan otomatisasi tingkat lanjut melalui kombinasi model bahasa besar, visi komputer, dan integrasi sistem.

Fitur Utama UFO²

UFO² (Desktop AgentOS) adalah kerangka kerja multi-agen berfokus UI tingkat lanjut untuk Windows OS yang mengubah permintaan bahasa alami menjadi alur kerja otomatis. Ini menggabungkan integrasi OS yang mendalam, tindakan GUI dan API hibrida, dan sistem pengetahuan berkelanjutan untuk menjalankan tugas-tugas kompleks di berbagai aplikasi. Sistem ini menampilkan isolasi desktop picture-in-picture, eksekusi multi-tindakan spekulatif, dan deteksi kontrol canggih melalui otomatisasi UI dan pengenalan visual.
Integrasi OS Mendalam: Menggabungkan Windows UIA, Win32, dan WinCOM untuk kontrol sistem yang komprehensif, memungkinkan otomatisasi GUI dan perintah API langsung
Desktop Picture-in-Picture: Menjalankan tugas-tugas otomatisasi di lingkungan desktop virtual yang terisolasi, memungkinkan pengguna untuk terus bekerja di layar utama mereka tanpa gangguan
Koordinasi Multi-Agen: Menggunakan HostAgent untuk mengelola perencanaan tugas dan beberapa AppAgent untuk menangani operasi khusus aplikasi, memungkinkan alur kerja lintas aplikasi yang kompleks
Sistem Substrat Pengetahuan: Mengintegrasikan berbagai sumber pengetahuan termasuk dokumentasi offline, pencarian online, demonstrasi pengguna, dan jejak eksekusi melalui teknologi RAG

Kasus Penggunaan UFO²

Otomatisasi Kantor: Mengotomatiskan tugas-tugas rutin di seluruh aplikasi Microsoft Office, seperti entri data, pemformatan dokumen, dan manajemen email
Administrasi Sistem: Menangani operasi dan konfigurasi sistem Windows yang kompleks melalui perintah bahasa alami
Alur Kerja Lintas Aplikasi: Menjalankan tugas-tugas yang mencakup beberapa aplikasi, seperti mengumpulkan data dari halaman web dan membuat laporan spreadsheet
Kontrol Aplikasi Kustom: Dapat dilatih untuk mengoperasikan aplikasi khusus atau khusus melalui pembelajaran demonstrasi dan dokumentasi

Kelebihan

Tingkat keberhasilan lebih tinggi dibandingkan dengan alat otomatisasi tradisional
Kombinasi fleksibel dari tindakan berbasis GUI dan API
Kemampuan pembelajaran berkelanjutan melalui berbagai sumber pengetahuan
Operasi tidak mengganggu melalui isolasi desktop virtual

Kekurangan

Saat ini terbatas pada lingkungan Windows OS
Memerlukan kunci API dan pengaturan konfigurasi
Mungkin memiliki masalah privasi saat menangani informasi sensitif

Cara Menggunakan UFO²

Instal Prasyarat: Pastikan Anda telah menginstal Python >= 3.10 dan Windows OS >= 10 di sistem Anda. Secara opsional, buat lingkungan conda dengan 'conda create -n ufo python=3.10'
Kloning dan Instal UFO: Kloning repositori dengan 'git clone https://github.com/microsoft/UFO.git', navigasikan ke direktori UFO, dan jalankan 'pip install -r requirements.txt'
Konfigurasi Pengaturan LLM: Salin ufo/config/config.yaml.template ke ufo/config/config.yaml dan konfigurasikan pengaturan LLM Anda (OpenAI atau Azure OpenAI) termasuk kunci API dan titik akhir untuk HostAgent dan AppAgent
Siapkan RAG (Opsional): Konfigurasikan fitur Retrieval Augmented Generation (RAG) opsional di config.yaml - dapat mencakup dokumen bantuan offline, pencarian Bing, pengalaman mandiri, atau demonstrasi pengguna
Luncurkan UFO: Mulai UFO dengan menjalankan 'python -m ufo --task <nama_tugas_anda>' untuk mode interaktif, atau 'python -m ufo --task <nama_tugas_anda> -r \"<permintaan_anda>\"' untuk eksekusi langsung
Pantau Eksekusi: Periksa direktori ./ufo/logs/<nama_tugas_anda>/ untuk tangkapan layar eksekusi dan log permintaan/respons untuk memantau atau men-debug tindakan agen
Dapatkan Dukungan: Untuk bantuan, periksa dokumentasi di microsoft.github.io/UFO/, buat masalah GitHub, atau hubungi [email protected] untuk komunikasi lainnya

FAQ UFO²

UFO² adalah Desktop AgentOS, yang merupakan generasi baru dari kerangka kerja agen yang dapat berjalan di OS desktop Windows. Ini dirancang untuk mengubah permintaan bahasa alami menjadi alur kerja multi-aplikasi yang otomatis, andal, di Windows, melampaui kemampuan yang berfokus pada UI.

Alat AI Terbaru Serupa dengan UFO²

Athena AI
Athena AI
Athena AI adalah platform bertenaga AI yang serbaguna yang menawarkan bantuan belajar yang dipersonalisasi, solusi bisnis, dan pelatihan hidup melalui fitur seperti analisis dokumen, pembuatan kuis, kartu flash, dan kemampuan obrolan interaktif.
Aguru AI
Aguru AI
Aguru AI adalah solusi perangkat lunak on-premises yang menyediakan pemantauan komprehensif, keamanan, dan alat optimisasi untuk aplikasi berbasis LLM dengan fitur seperti pelacakan perilaku, deteksi anomali, dan optimisasi kinerja.
GOAT AI
GOAT AI
GOAT AI adalah platform yang didukung AI yang menyediakan kemampuan ringkasan satu klik untuk berbagai jenis konten termasuk artikel berita, makalah penelitian, dan video, sambil juga menawarkan orkestrasi agen AI canggih untuk tugas spesifik domain.
GiGOS
GiGOS
GiGOS adalah platform AI yang menyediakan akses ke berbagai model bahasa canggih seperti Gemini, GPT-4, Claude, dan Grok dengan antarmuka intuitif bagi pengguna untuk berinteraksi dan membandingkan berbagai model AI.