Molmo Introduction

Molmo fonctionne en traitant à la fois des données visuelles et textuelles pour comprendre et interagir avec des images, des diagrammes et des interfaces utilisateur. Il utilise un ensemble de données hautement sélectionné d'environ 1 million de paires image-texte de haute qualité, ce qui lui permet d'atteindre des performances impressionnantes avec moins de données que les modèles volumineux typiques. Molmo peut identifier des objets, interpréter des visuels complexes comme des graphiques et des menus, et même pointer vers des éléments spécifiques au sein des images. Cette capacité de pointage permet des actions en zéro-shot, permettant à Molmo d'effectuer des tâches comme compter des objets ou naviguer dans des interfaces web sans analyser le code sous-jacent. Le modèle existe en différentes tailles, y compris une version de 1 milliard de paramètres qui peut fonctionner efficacement sur des appareils personnels, le rendant très accessible pour diverses applications.