BaseRT, Apple Silicon için sıfırdan yazılmış, yerel bir Metal LLM çıkarım çalışma zamanıdır ve OpenAI uyumlu sunumla birlikte bir CLI, C API ve çok dilli bağlamalar olarak gönderilirken sınıfının en iyisi ön doldurma ve kod çözme verimi sunar.
https://www.basecompute.co/getbasert?ref=producthunt&utm_source=aipure
BaseRT

Ürün Bilgisi

Güncellendi:Jul 21, 2026

BaseRT Nedir

BaseRT, özellikle Apple Silicon üzerinde büyük dil modellerini çalıştırmak için oluşturulmuş bir yapay zeka çıkarım çalışma zamanıdır. Genel amaçlı ML çerçevelerinin üzerinde yer alan birçok çalışma zamanının aksine, BaseRT doğrudan Apple'ın Metal GPU API'sine karşı yazılmıştır ve MLX, PyTorch, CoreML veya diğer ara katmanlara bağımlılıklardan kasıtlı olarak kaçınır. Python, Node, Rust ve Swift gibi diller için bağlamalarla birlikte kurulumu kolay bir araç zinciri (CLI artı kararlı bir C API) olarak dağıtılır ve hem yerel kullanım (modellerle çekme ve sohbet) hem de dağıtım kullanım durumlarını (OpenAI uyumlu bir API sunma) mümkün kılar.

BaseRT Temel Özellikleri

BaseRT, Apple'ın Metal GPU API'si üzerine doğrudan inşa edilmiş (MLX, PyTorch, CoreML veya diğer ara çerçeveler olmadan) Apple Silicon için yüksek performanslı bir LLM çıkarım çalışma zamanıdır. Çip özel çekirdek birleşimi, birleşik bellek farkında optimizasyonlar ve özel dağıtım mantığı aracılığıyla verimi en üst düzeye çıkarmaya ve ek yükü azaltmaya odaklanarak, yaygın Apple yerel çalışma zamanlarına kıyasla sınıfının en iyisi kod çözme ve ön doldurma performansı elde eder. BaseRT, bir CLI ve dil bağlamalarıyla birlikte kararlı bir C API olarak sunulur ve Hugging Face'den hızlıca modeller çekebilir, yerel sohbet çalıştırabilir veya uygulamalar ve aracılar için OpenAI uyumlu bir HTTP API sunabilir; çıkarımı özel ve cihaz üzerinde tutar.
Yerel Metal çalışma zamanı (çerçevesiz): MLX/PyTorch/CoreML'den soyutlama ek yükünü önlemek ve Metal'in yürütme modeline ve Apple Silicon'ın birleşik bellek topolojisine daha iyi uymak için doğrudan Apple'ın Metal API'sine karşı uygulandı.
Apple Silicon'da sınıfının en iyisi verim: MLX ve llama.cpp'den daha hızlı olduğu kıyaslandı, kod çözmede %33'e varan kazançlar ve ön doldurmada büyük iyileşmeler (özellikle uzun istemlerde ve MoE tarzı iş yüklerinde güçlü).
Model aileleri için mimari tanımlayıcı: Çıkarım döngüsünde birçok dalı sabit kodlamak yerine, mimari farklılıkları (aktivasyonlar, normalizasyon varyantları, dikkat/konumsal kurallar, MoE yönlendirme özellikleri) kompakt bir tanımlayıcıda kodlar.
Geniş niceleme desteği: Birden fazla niceleme formatını destekler (düşük bit nicelemeden FP16'ya kadar), kullanıcıların Apple M serisi cihazlarda kalite, bellek ve hız arasında denge kurmasını sağlar.
Geliştirici dostu CLI iş akışı: Tek bir komut dosyasıyla yükleyin, Hugging Face'den modelleri çekin ve çalışma zamanı formatına dönüştürün, ardından minimum kurulumla sohbet veya sunma komutlarını çalıştırın.
OpenAI uyumlu yerel sunum + bağlamalar: Sohbet/tamamlamalar için OpenAI uyumlu bir HTTP sunucusu çalıştırır ve uygulamalara ve araçlara gömmek için bağlamalarla (örn. Python/Node/Rust/Swift) kararlı bir C API sağlar.

BaseRT Kullanım Alanları

İşletmeler için özel cihaz içi asistanlar: Düzenlenmiş ortamlar ve hassas belgeler için faydalı olan dahili sohbet asistanlarını Apple Silicon üzerinde yerel olarak çalıştırın (cihazdan veri çıkışı olmaz).
Yerel kodlama aracıları ve geliştirici araçları: Yerel bir model sunun ve bulut API anahtarları olmadan hızlı, düşük gecikmeli kod yardımı almak için kodlama aracılarını/IDE'leri OpenAI uyumlu uç noktaya yönlendirin.
Çevrimdışı veya düşük gecikmeli uygulamalar için uç çıkarım: Bağlantının sınırlı olduğu ve gecikmenin önemli olduğu saha çalışması, sağlık hizmetleri veya seyahat senaryolarında dizüstü bilgisayarlara/tabletlerde LLM özelliklerini dağıtın.
Mac'lerde ürün prototipleme ve değerlendirme: Bulut dağıtımına karar vermeden önce UX, gecikme ve maliyeti karşılaştırmak için CLI aracılığıyla (çekme/sohbet/sunma) birden fazla açık modeli ve nicelemeyi hızla test edin.
macOS/iOS uygulamalarında gömülü LLM yetenekleri: Tahmin edilebilir performans ve gizliliğe ihtiyaç duyan yerel uygulamalara yerel LLM çıkarımını entegre etmek için C API'sini ve dil bağlamalarını kullanın.

Artıları

Apple Silicon'da yüksek performans (yaygın yerel çalışma zamanlarına kıyasla özellikle güçlü kod çözme ve ön doldurma verimi).
Çerçevesiz Metal yaklaşımı ek yükü azaltır ve donanıma özgü optimizasyon potansiyelini artırır.
Kullanışlı paketleme: CLI + OpenAI uyumlu sunucu + birden fazla dil bağlamasıyla kararlı C API'si.

Eksileri

Apple Silicon/Metal odaklı (genel bir çapraz platform çıkarım çalışma zamanı değil).
Bazı rakip yaklaşımlar belirli iş yükleri için MPSGraph aracılığıyla Apple Neural Engine'i kullanabilirken, BaseRT'nin yolu GPU odaklı olarak tanımlanır (en azından mevcut karşılaştırmalarda).
Keyfi kontrol noktalarını doğrudan çalıştırmak yerine, modelin çalışma zamanına özgü bir formata dönüştürülmesini gerektirir (örn. çekilip BaseRT formatına dönüştürülmesi).

BaseRT Nasıl Kullanılır

1) BaseRT'yi yükleyin (CLI + motor): Apple Silicon macOS'ta, BaseRT'yi PATH'inize aşağıdaki komutu çalıştırarak yükleyin: curl -LsSf https://basecompute.co/install.sh | sh Kurulumdan sonra, `basert` komutunun kullanılabilir olduğunu onaylayın (örneğin, `basert --help` çalıştırın).
2) Hugging Face'ten bir model çekin (ve .base formatına dönüştürün): Hugging Face'ten desteklenen bir modeli indirmek ve BaseRT'nin optimize edilmiş `.base` formatına dönüştürmek için BaseRT CLI'yi kullanın: basert pull Qwen/Qwen3-4B (Herhangi bir desteklenen model kimliğiyle değiştirin.)
3) Terminalden yerel bir modelle sohbet edin: Çektiğiniz bir modelle etkileşimli bir sohbet oturumu başlatın: basert chat Qwen/Qwen3-4B Bu, modeli yerel olarak makinenizde çalıştırır.
4) Yerel olarak OpenAI uyumlu bir HTTP API sunun: BaseRT'yi OpenAI uyumlu uç noktaları açığa çıkaran yerel bir sunucu olarak çalıştırın: basert serve Qwen/Qwen3-4B --api-key "$(uuidgen)" --port 8080 Müşterilerden sunucuyu çağırırken yazdırılan/seçilen API anahtarını kullanın.
5) (İsteğe Bağlı) Yerel BaseRT sunucunuza karşı bir kodlama aracısı çalıştırın: Bir model sunun ve isteklerin cihazda kalması için yerel bir kodlama aracısı bağlayın: # Bir model sunun basert serve basecompute/gemma-4-E4B-it # Kodlama aracısı eklentisini yükleyin pi install git:github.com/basecompute/pi-basert # Aracıyı çalıştırın pi

BaseRT SSS

BaseRT, Base Compute'tan Apple Silicon üzerinde büyük dil modellerini verimli bir şekilde çalıştırmak için tasarlanmış bir yapay zeka çıkarım çalışma zamanıdır. Doğrudan Apple'ın Metal API'sine karşı yazılmıştır (MLX, PyTorch, CoreML veya diğer ara çerçeveler üzerine inşa edilmemiştir) ve "Apple Silicon için en hızlı LLM çıkarım çalışma zamanı" olarak konumlandırılmıştır.

BaseRT Benzer En Yeni Yapay Zeka Araçları

Athena AI
Athena AI
Athena AI, belge analizi, quiz oluşturma, flash kartlar ve etkileşimli sohbet yetenekleri gibi özellikler aracılığıyla kişiselleştirilmiş çalışma yardımı, iş çözümleri ve yaşam koçluğu sunan çok yönlü bir AI destekli platformdur.
Aguru AI
Aguru AI
Aguru AI, davranış izleme, anomali tespiti ve performans optimizasyonu gibi özelliklerle LLM tabanlı uygulamalar için kapsamlı izleme, güvenlik ve optimizasyon araçları sağlayan yerel bir yazılım çözümüdür.
GOAT AI
GOAT AI
GOAT AI, haber makaleleri, araştırma makaleleri ve videolar gibi çeşitli içerik türleri için tek tıklama ile özetleme yetenekleri sunan AI destekli bir platformdur ve ayrıca alanına özgü görevler için gelişmiş AI ajan orkestrasyonu sağlar.
GiGOS
GiGOS
GiGOS, kullanıcıların etkileşimde bulunabileceği ve farklı AI modellerini karşılaştırabileceği sezgisel bir arayüzle Gemini, GPT-4, Claude ve Grok gibi birden fazla gelişmiş dil modeline erişim sağlayan bir AI platformudur.