Molmo AI Introduction

Molmo AI fonctionne en combinant un encodeur de vision avec un modèle de langage, connecté par un perceptron multicouche qui projette des jetons visuels dans l'espace d'entrée du modèle de langage. Cette architecture permet à Molmo d'interpréter des images, de répondre à des questions sur le contenu visuel, et même d'interagir avec des interfaces utilisateur. Contrairement à de nombreux grands modèles d'IA, Molmo atteint une haute performance en utilisant un ensemble de données relativement petit et soigneusement sélectionné d'environ 600 000 images de haute qualité. Le pipeline d'entraînement du modèle utilise des annotations basées sur la parole pour générer des descriptions d'images riches, lui permettant de comprendre des scènes visuelles complexes et de fournir des réponses détaillées et contextuelles. La fonctionnalité de pointage de Molmo lui permet d'identifier des éléments spécifiques au sein des images, ce qui le rend particulièrement utile pour des applications en robotique et agents web.