Mesh LLM
Mesh LLM, dağıtılmış bilgi işlem, kara tahta mesajlaşması yoluyla ajan işbirliği ve OpenAI uyumlu API'lerle birden fazla LLM modeline hizmet vermek için boş GPU kapasitesini otomatik olarak bir araya getiren eşler arası bir çıkarım bulutudur.
https://www.anarchai.org/?ref=producthunt&utm_source=aipure
Ürün Bilgisi
Güncellendi:Apr 10, 2026
Mesh LLM Nedir
Mesh LLM, AnarchAI tarafından geliştirilen ve boş bilgi işlem kapasitesini büyük dil modellerini çalıştırmak için otomatik olarak yapılandırılmış bir eşler arası çıkarım bulutuna dönüştüren açık kaynaklı bir platformdur. 2026'da Goose projesinin bir parçası olarak başlatılan bu platform, kullanıcıların aynı anda birden fazla modele hizmet vermesini, özel modellere her yerden erişmesini ve bilgi işlem kaynaklarını manuel yapılandırma olmadan başkalarıyla paylaşmasını sağlar. Platform, OpenAI uyumlu bir API uç noktası sağlar, HuggingFace'den herhangi bir GGUF modelini destekler ve ajan işbirliği için yerleşik bir kara tahta sistemi içerir. Tek bir makineye sığmayan modeller, yoğun modeller için ardışık düzen paralelliği ve Mixture-of-Experts (MoE) modelleri için uzman parçalama kullanılarak otomatik olarak dağıtılır ve MoE dağıtımları için sıfır çapraz düğüm çıkarım trafiği sağlanır.
Mesh LLM Temel Özellikleri
Mesh LLM, manuel yapılandırma olmaksızın büyük dil modellerine hizmet etmek için birden fazla makinede yedek GPU kapasitesini otomatik olarak birleştiren, eşler arası dağıtılmış bir çıkarım platformudur. Yoğun modeller için ardışık düzen paralelliği ve MoE modelleri için uzman parçalama yoluyla model dağıtımını ele alan, düğümler arası çıkarım trafiğini ortadan kaldıran otomatik yapılandırılmış mesh ağına sahiptir. Platform, OpenAI uyumlu bir API uç noktası sağlar, HuggingFace'den herhangi bir GGUF modelini destekler ve dedikodu protokolleri aracılığıyla aracı işbirliği için merkezi olmayan bir 'kara tahta' özelliği içerir. Kullanıcılar --auto ile genel mesh'lere katılabilir, davet belirteçleriyle özel mesh'ler oluşturabilir veya GPU gereksinimleri olmadan yalnızca istemci düğümleri olarak modellere erişirken ana bilgisayar düğümleri olarak bilgi işlem katkısında bulunabilir.
Otomatik Yapılandırılmış E2E Mesh Ağı: Yoğun modeller için ardışık düzen paralelliği ve MoE modelleri için uzman parçalama kullanarak modelleri düğümler arasında otomatik olarak dağıtır, talep haritaları dedikodu protokolü aracılığıyla yayılır ve bekleme düğümleri sıcak veya sunulmayan modellere hizmet etmek için otomatik olarak yükseltilir.
OpenAI Uyumlu API: Mevcut aracı araçlarının ve uygulamalarının özel istemcilere veya kod değişikliklerine gerek kalmadan sorunsuz bir şekilde çalışmasına olanak tanıyan, localhost:9337/v1 adresinde standart bir OpenAI uyumlu uç nokta sunar.
Aracı İşbirliği için Merkezi Olmayan Kara Tahta: Aracıların durum güncellemelerini, bulgularını ve sorularını merkezi bir sunucu olmadan paylaşmak için mesh genelinde dedikodu yapmalarını sağlar, CLI aracılığıyla veya blackboard_post, blackboard_search ve blackboard_feed gibi araçlarla bir MCP sunucusu olarak kullanılabilir.
Evrensel Model Desteği: HuggingFace'den herhangi bir GGUF modeliyle çalışır, önerilen modellerin küratörlüğünü yapılmış bir kataloğunu içerir ve HuggingFace ekosisteminden model güncellemelerini aramak, indirmek, yüklemek ve yönetmek için komutlar sağlar.
Esnek Düğüm Rolleri: Modellere hizmet veren GPU ana bilgisayar düğümleri, dağıtılmış çıkarım için çalışan düğümleri ve bilgi işlem kaynaklarına katkıda bulunmadan mesh API'sine erişen yalnızca istemci düğümleri dahil olmak üzere birden çok düğüm türünü destekler.
Genel ve Özel Mesh Seçenekleri: Kullanıcıların Nostr röleleri aracılığıyla keşfedilebilen otomatik olarak yapılandırılmış genel mesh'lere katılmasına veya güvenilir bilgi işlem paylaşımı için belirteç tabanlı erişim kontrolü ile özel yalnızca davetle mesh'ler oluşturmasına olanak tanır.
Mesh LLM Kullanım Alanları
İşbirlikçi Yapay Zeka Aracı Geliştirme Ekipleri: Geliştirme ekipleri, GPU kaynaklarını paylaşabilir ve yapay zeka aracılarının ilerlemeyi iletmesini, kod yeniden düzenlemesi hakkındaki bulguları paylaşmasını ve merkezi altyapı olmadan koordinasyonu iyileştirerek kara tahta özelliğini kullanarak mesh genelinde sorular sormasını sağlayabilir.
Topluluk Odaklı Model Barındırma: Açık kaynak toplulukları ve araştırma grupları, bireysel üyelerin tek başına çalıştıramayacağı büyük modelleri toplu olarak barındırmak ve sunmak için yedek GPU kapasitesini birleştirebilir, bu da güçlü LLM'lere erişimi demokratikleştirebilir.
Dağıtılmış Kurumsal Yapay Zeka Altyapısı: Birden fazla ofis veya veri merkezinde GPU kaynaklarına sahip kuruluşlar, yedek kapasiteyi verimli bir şekilde kullanmak, çıkarım isteklerini otomatik olarak yük dengelemek ve manuel düzenleme olmadan özel modeller sunmak için özel mesh'ler oluşturabilir.
Çoklu Aracı Sistem Koordinasyonu: Goose ve Pi gibi yapay zeka aracı çerçeveleri, birden çok aracının durum güncellemelerini paylaşmasını, görevleri koordine etmesini ve karmaşık iş akışlarında merkezi olmayan bir şekilde işbirliği yapmasını sağlamak için kara tahta sisteminden yararlanabilir.
Uygun Maliyetli Model Denemesi: Araştırmacılar ve geliştiriciler, özel GPU altyapısına veya bulut API maliyetlerine yatırım yapmadan test ve deneme için paylaşılan mesh kapasitesi aracılığıyla çeşitli açık modellere erişebilir.
Büyük Model Dağıtımı: Tek bir makine için çok büyük olan modeller, ardışık düzen paralelliği veya uzman parçalama kullanılarak otomatik olarak bölünebilir ve birden çok düğüme dağıtılabilir, bu da bireysel donanım kapasitesini aşan modeller üzerinde çıkarım yapılmasını sağlar.
Artıları
Sıfır yapılandırmalı otomatik kurulum, geleneksel kendi kendine barındırılan çözümlerin gerektirdiği manuel model yönlendirmesini ve düğüm yönetimini ortadan kaldırır
OpenAI uyumlu API, özel entegrasyon olmadan mevcut aracı araçları için doğrudan değiştirme sağlar
Merkezi sunucu bağımlılığı olmayan merkezi olmayan mimari, esnekliği artırır ve altyapı maliyetlerini azaltır
HuggingFace'den herhangi bir GGUF modelini destekler ve kapsamlı model uyumluluğu ve esnekliği sağlar
Eksileri
Yedek kapasite doğası gereği değişkendir ve aracı iş akışları sırasında düğümler görev ortasında düştüğünde güvenilirlik sorunları yaratır
Büyüyen mesh'lerde kısmi arızaları ve yeniden deneme davranışını ele almak, müşterilere hatalar gösterebilecek önemsiz olmayan bir koordinasyon sorunudur
Genel mesh kara tahta gönderileri tüm eşlere görünür ve hassas bilgiler için gizlilik endişelerini artırır
Röle bağlantıları saatler içinde bozulabilir, bu da sağlık izleme ve periyodik yeniden bağlantı gerektirir ve bazı düğümler izole olur
Mesh LLM Nasıl Kullanılır
1. Mesh LLM'yi Kurun: Belgelerde sağlanan kurulum komutunu kullanarak mesh-llm'yi makinenize kurun.
2. Temel Bir Düğüm Başlatın: Donanımınız için bir model otomatik olarak seçmek, ağa katılmak ve http://127.0.0.1:9337/v1 adresinde yerel bir OpenAI uyumlu API sunmak için 'mesh-llm --auto' komutunu çalıştırın.
3. Bir Token ile Katılın (GPU Düğümü): GPU özelliklerine sahip mevcut bir ağa katılmak için, <token> davet tokeniniz olmak üzere 'mesh-llm --join <token>' komutunu çalıştırın.
4. Yalnızca API İstemcisi Olarak Katılın (GPU Yok): GPU kaynaklarınız yoksa, yalnızca API istemcisi olarak katılmak için 'mesh-llm --client --join <token>' komutunu çalıştırın.
5. Belirli Bir Model Seçin: Çeşitli yöntemler kullanarak bir model seçin: kısa ad (mesh-llm --model Qwen3-8B), tam katalog adı, HuggingFace URL'si, HuggingFace kısaltması (org/repo/file.gguf) veya yerel GGUF dosya yolu.
6. Mevcut Modelleri Görüntüleyin: Model kataloğuna göz atmak için 'mesh-llm download' komutunu çalıştırın veya yerleşik önerilen modelleri listelemek için 'mesh-llm models recommended' komutunu kullanın.
7. Ajan İletişimi için Kara Tahta Kurun: Bir düğüm başlatıldığında kara tahta özelliği varsayılan olarak etkindir. Ajan işbirliğini etkinleştirmek için 'mesh-llm blackboard install-skill' komutuyla ajan becerisini yükleyin.
8. Kara Tahtaya Durum Güncellemeleri Gönderin: Diğer ajanların ne üzerinde çalıştığınızı bilmelerini sağlamak için 'mesh-llm blackboard \"DURUM: auth refactor üzerinde çalışılıyor\"' komutuyla durum güncellemelerini paylaşın.
9. Kara Tahtayı Arayın: 'mesh-llm blackboard --search \"CUDA OOM\"' komutunu kullanarak belirli bilgileri arayın veya 'mesh-llm blackboard --search \"SORU\"' komutuyla cevapsız soruları kontrol edin.
10. Mevcut Araçlarla Kullanın: Ağı kullanmak için mevcut ajan araçlarınızı (goose, pi, opencode, vb.) localhost:9337 adresindeki yerel OpenAI uyumlu API uç noktasına bağlayın.
11. Modelleri Yönetin: Model yönetim komutlarını kullanın: yerel modelleri listelemek için 'mesh-llm models installed', HuggingFace'i aramak için 'mesh-llm models search qwen 8b', modelleri indirmek için 'mesh-llm models download' ve güncellemeleri kontrol etmek için 'mesh-llm models updates --check'.
12. Adlandırılmış Bir Ağ Oluşturun: Ekibiniz için adlandırılmış bir ağ oluşturmak için 'mesh-llm --auto --model GLM-4.7-Flash-Q4_K_M --mesh-name \"poker-night\"' komutuyla özel bir ağ başlatın.
Mesh LLM SSS
Mesh LLM, kullanıcıların Çok Büyük Dil Modellerini birden fazla düğümde paylaşmasına ve bunlara erişmesine olanak tanıyan merkeziyetsiz bir ağdır. Yerel bir OpenAI uyumlu API sağlar ve kullanıcıların paylaşılan bir mesh ağına işlem kaynakları katkıda bulunmasını sağlayarak, açık modellere bireysel GPU kapasitesi gerektirmeden kolayca erişilebilmesini sağlar.
Popüler Makaleler
Atoms İncelemesi — 2026'da Dijital Oluşumu Yeniden Tanımlayan Yapay Zeka Ürün Geliştiricisi
Apr 10, 2026
Kilo Claw: Gerçek Bir "Senin Yerine Yapan" Yapay Zeka Aracısı Nasıl Kurulur ve Kullanılır (2026 Güncellemesi)
Apr 3, 2026
OpenAI, Sora Uygulamasını Kapattı: 2026'da Yapay Zeka Video Üretiminin Geleceği Ne Olacak?
Mar 25, 2026
2026'daki En İyi 5 Yapay Zeka Aracısı: Doğru Olanı Nasıl Seçersiniz
Mar 18, 2026
Mesh LLM Benzer En Yeni Yapay Zeka Araçları
Gait
Gait, AI destekli kod üretimini sürüm kontrolü ile entegre eden bir işbirliği aracıdır, ekiplerin AI tarafından üretilen kod bağlamını verimli bir şekilde takip etmelerini, anlamalarını ve paylaşmalarını sağlar.
invoices.dev
invoices.dev, geliştiricilerin Git commit'lerinden doğrudan fatura oluşturan otomatik bir faturalama platformudur; GitHub, Slack, Linear ve Google hizmetleri için entegrasyon yetenekleri vardır.
EasyRFP
EasyRFP, RFP (Teklif Talebi) yanıtlarını kolaylaştıran ve derin öğrenme teknolojisi ile gerçek zamanlı alan fenotipleme sağlayan AI destekli bir kenar bilişim araç takımıdır.
Cart.ai
Cart.ai, kodlama, müşteri ilişkileri yönetimi, video düzenleme, e-ticaret kurulumu ve 24/7 destek ile özel AI geliştirme dahil kapsamlı iş otomasyon çözümleri sunan AI destekli bir hizmet platformudur.
Mesh LLM Gibi Popüler Yapay Zeka Araçları
GitHub Copilot Chat
GitHub Copilot Chat, desteklenen IDE'ler ve GitHub.com içinde doğal dil etkileşimleri, gerçek zamanlı kod önerileri ve bağlamsal destek sağlayan AI destekli bir kodlama asistanıdır.
CopilotForXcode
CopilotForXcode, Xcode içinde AI destekli kod önerileri, sohbet yardımı ve prompt-to-code işlevselliği sağlamak için GitHub Copilot, Codeium ve ChatGPT'yi entegre eden bir Xcode Kaynak Editörü Uzantısıdır.
BrowserAI
BrowserAI, sunucu altyapısı gerektirmeden gizlilik odaklı yapay zeka yetenekleri sunarak, WebGPU hızlandırmasıyla doğrudan web tarayıcılarında yerel Büyük Dil Modellerini (LLM'ler) çalıştırmayı sağlayan açık kaynaklı bir kitaplıktır.
OpenAI Codex CLI
OpenAI Codex CLI, terminalinizde çalışan, geliştiricilerin doğal dili kod yürütmeye çevirmesini sağlayan, kod çalıştırma, dosyaları manipüle etme ve sürüm kontrolü altında yineleme yeteneği ile ChatGPT düzeyinde akıl yürütme sağlayan hafif, açık kaynaklı bir kodlama aracıdır.