Meta lanza Llama 3 con versiones de hasta 405 mil millones de parámetros y desafía GPT-4

La nueva era de los modelos open-source

La Meta oficializó en julio de 2024 el lanzamiento del Llama 3, su tercera generación de modelos de lenguaje grande (LLM) open-source, proporcionando tres versiones distintas: 8 mil millones, 70 mil millones y 405 mil millones de parámetros. El anuncio representa un hito importante en la democratización de la IA avanzada, ofreciendo a la comunidad de desarrolladores e investigadores acceso gratuito a una tecnología que, en su versión más robusta, compite directamente con modelos propietarios como el GPT-4 de OpenAI y el Claude 3.5 de la Anthropic.

Capacidad y rendimiento verificados

Según datos oficiales de Meta, la Llama 3.1 de 405 mil millones de parámetros alcanzó resultados impresionantes en los principales benchmarks de la industria. En el MMLU (Massive Multitask Language Understanding), que evalúa conocimiento general, el modelo alcanzó el 88,6%, superando el GPT-4 (86,5%) y el Claude 3.5 Sonnet (88,3%). En tareas de razonamiento matemático (MATH), el Llama 3.1 405B obtuvo 73,8%, mientras que el GPT-4 alcanzó 74,6%.

Las versiones menores también demuestran desempeño competitivo: el Llama 3.1 70B rivaliza con modelos comerciales de mediano porte, mientras que el 8B se destaca por la eficiencia en dispositivos con recursos limitados. Todos los modelos fueron entrenados en más de 15 billones de tokens y soportan contexto de hasta 128 mil tokens, permitiendo procesar documentos extensos.

Compromiso con el código abierto

La decisión de la Meta de proporcionar el Llama 3.1 gratuitamente para investigadores y desarrolladores refuerza el compromiso de la empresa con la filosofía open-source. Este enfoque contrasta con la estrategia de empresas como OpenAI y Google, que mantienen sus modelos más avanzados bajo acceso restringido y comercial.

El modelo está disponible bajo la licencia Llama 3.1 Community License, que permite uso comercial para empresas con menos de 700 millones de usuarios mensuales. Esta permisividad posibilita que startups y empresas de menor tamaño desarrollen productos y servicios basados en IA de última generación sin los costos prohibitivos de licencia o uso de API pagados.

Impacto en el ecosistema de IA

El lanzamiento del Llama 3.1 tiene potencial para acelerar significativamente la innovación en IA. Investigadores podrán explorar nuevas aplicaciones, desarrollar fine-tuning para casos de uso específicos y contribuir al avance colectivo de la tecnología. Empresas tendrán la oportunidad de implementar soluciones sofisticadas de IA manteniendo un control total sobre sus datos e infraestructura.

Meta destacó casos de uso como agentes de IA, herramientas de generación de código y procesamiento de documentos largos. Además, la disponibilidad de un modelo tan poderoso en código abierto promueve mayor transparencia y escrutinio público sobre el funcionamiento de sistemas de IA, aspectos cruciales para cuestiones de seguridad, sesgo y ética en el desarrollo de inteligencia artificial.

Infraestructura y disponibilidad

Según Meta, el entrenamiento del Llama 3.1 405B utilizó más de 16 mil GPUs NVIDIA H100, representando uno de los mayores esfuerzos computacionales en IA open-source. Los modelos están disponibles para descargar a través del sitio web oficial de Meta AI y plataformas como Hugging Face, además de ser accesibles vía API en servicios de nube socios como AWS, Google Cloud y Microsoft Azure.

Con el Llama 3.1, Meta consolida su posición como líder en IA open-source y establece un nuevo estándar para modelos de lenguaje accesibles, desafiando la hegemonía de los sistemas propietarios y ampliando las posibilidades de innovación democrática en inteligencia artificial.