TRELLIS 3D AI Introduction

Au cœur de TRELLIS se trouve un système de représentation SLAT sophistiqué qui intègre une grille 3D peu peuplée avec des caractéristiques visuelles multivues denses extraites de puissants modèles de fondation de vision. Cette approche unique permet au système de capturer de manière exhaustive à la fois des informations structurelles (géométrie) et texturales (apparence) tout en maintenant la flexibilité lors du décodage. Le système utilise des transformateurs de flux rectifiés spécifiquement adaptés pour SLAT comme ses modèles de génération 3D. Lors du traitement d'une image, TRELLIS l'analyse à travers des réseaux neuronaux avancés, convertissant les informations visuelles en une représentation 3D détaillée qui peut être sortie dans divers formats, y compris les champs de radiance, les 3D Gaussians et les maillages. Le système prend également en charge des capacités d'édition locale, permettant aux utilisateurs de modifier des régions spécifiques des actifs 3D générés sans régénérer l'ensemble du modèle.