Substrate AI Inference Platform Introducción

Substrate funciona permitiendo a los desarrolladores crear relaciones gráficas entre diferentes modelos y componentes de inteligencia artificial en su plataforma. Cuando se ejecuta un flujo de trabajo, Substrate optimiza automáticamente la ejecución para maximizar el paralelismo y minimizar la latencia y los viajes de datos. Maneja la programación de nodos según límites de concurrencia en lugar de límites de tasa. La plataforma optimiza continuamente los modelos para el rendimiento y puede ejecutar grafos completos de muchos nodos en una sola máquina con comunicación de microsegundos entre tareas. La infraestructura de Substrate está profundamente integrada con SDKs que facilitan la creación de flujos de trabajo complejos de inferencia múltiple en solo unas pocas líneas de código.