Startup francesa ZML lanza software gratuito para girar IA en cualquier chip – Nvidia, AMD, TPU y Apple Metal

La startup francesa ZML, apoyada por el renombrado investigador Yann LeCun, acaba de ofrecer gratuitamente ZML/LLMD, un software de inferencia que promete acelerar modelos de lenguaje de código abierto en los principales chips de IA del mercado – incluyendo Nvidia, AMD, Google TPU y Apple Metal. La herramienta tiene por objetivo romper los silos de hardware que obligan a los desarrolladores a elegir un único ecosistema, permitiendo que diferentes arquitecturas giren a la velocidad máxima disponible.

¿Por qué ZML apuesto en compatibilidad entre chips para IA?

Hasta hoy, la gran mayoría de los softwares de inferencia para modelos de lenguaje se optimizan exclusivamente para GPUs Nvidia, dejando alternativas como AMD, Google TPU y Apple Metal con rendimiento muy por debajo del potencial. Esta dependencia crea un cuello de costo y disponibilidad, además de limitar la competencia en el mercado de hardware. ZML, startup francesa fundada por ex-engenheiros de Google y Apple, decidió atacar exactamente este problema: crear una capa de software que permita que cualquier modelo de código abierto gire con máxima eficiencia en cualquier chip moderno.

¿Cómo funciona el software de inferencia ZML/LLMD en la práctica?

ZML/LLMD utiliza una capa de abstracción que traduce dinámicamente las instrucciones del modelo de lenguaje para la arquitectura nativa de cada chip, aplicando optimizaciones específicas de hardware sin exigir recompilación manual. Según la empresa, en pruebas internas la herramienta alcanza el 95% del rendimiento nativo en GPUs AMD y el 90% en Google TPU, con una latencia reducida en hasta un 40% en comparación con soluciones alternativas. El software es open-source y se puede descargar gratuitamente, lo que democratiza el acceso a hardware variado. La noticia fue divulgada por TechCrunch, que destaca el potencial de la herramienta para cambiar el escenario de inferencia de IA.

El impacto del software gratuito de inferencia en el mercado de IA

La iniciativa de ZML reduce la dependencia de un único proveedor de hardware, permitiendo que startups y empresas de mediano porte elijan chips con mejor costo-beneficio sin sacrificar rendimiento. Además, al soportar Apple Metal, el software abre el camino para que los desarrolladores utilicen MacBooks y otros dispositivos Apple como plataformas viables de inferencia local. Mientras gigantes como Microsoft invierten miles de millones de infraestructuras dedicadas, como en su inversión de US$ 19 mil millones en Canadá, ZML apuesta en un enfoque más enxuta y abierto, que puede acelerar la adopción de IA en mercados emergentes y proyectos de investigación con presupuesto limitado.

Preguntas frecuentes sobre el software de inferencia ZML/LLMD

¿El ZML/LLMD es realmente gratuito?

Sí, el software es open-source y puede ser descargado gratuitamente, sin costos de licencia o tasas por uso.

¿Cuáles modelos de lenguaje son compatibles?

La herramienta admite modelos de código abierto como Llama, Mistral y Falcon, con planes de añadir soporte a otros en el futuro.

¿Necesito un chip específico para usar?

No. ZML/LLMD funciona en cualquier chip compatible, siempre que el hardware tenga soporte mínimo para la ejecución de modelos de lenguaje.