Molmo AI Introdução

O Molmo AI opera combinando um codificador de visão com um modelo de linguagem, conectado através de um perceptron de múltiplas camadas que projeta tokens visuais no espaço de entrada do modelo de linguagem. Essa arquitetura permite que o Molmo interprete imagens, responda perguntas sobre conteúdo visual e até interaja com interfaces de usuário. Ao contrário de muitos grandes modelos de IA, o Molmo alcança alto desempenho usando um conjunto de dados relativamente pequeno e cuidadosamente selecionado de cerca de 600.000 imagens de alta qualidade. O pipeline de treinamento do modelo utiliza anotações baseadas em fala para gerar descrições ricas de imagens, permitindo que ele entenda cenas visuais complexas e forneça respostas detalhadas e contextuais. A funcionalidade de apontar do Molmo permite identificar elementos específicos dentro das imagens, tornando-o particularmente útil para aplicações em robótica e agentes da web.