Meta lança Llama 3 com versões de até 405 bilhões de parâmetros e desafia GPT-4

A nova era dos modelos open-source

A Meta oficializou em julho de 2024 o lançamento do Llama 3, sua terceira geração de modelos de linguagem grande (LLM) open-source, disponibilizando três versões distintas: 8 bilhões, 70 bilhões e 405 bilhões de parâmetros. O anúncio representa um marco importante na democratização da IA avançada, oferecendo à comunidade de desenvolvedores e pesquisadores acesso gratuito a uma tecnologia que, em sua versão mais robusta, compete diretamente com modelos proprietários como o GPT-4 da OpenAI e o Claude 3.5 da Anthropic.

Capacidades e desempenho verificados

Segundo dados oficiais da Meta, o Llama 3.1 de 405 bilhões de parâmetros alcançou resultados impressionantes nos principais benchmarks da indústria. No MMLU (Massive Multitask Language Understanding), que avalia conhecimento geral, o modelo atingiu 88,6%, superando o GPT-4 (86,5%) e o Claude 3.5 Sonnet (88,3%). Em tarefas de raciocínio matemático (MATH), o Llama 3.1 405B obteve 73,8%, enquanto o GPT-4 alcançou 74,6%.

As versões menores também demonstram desempenho competitivo: o Llama 3.1 70B rivaliza com modelos comerciais de médio porte, enquanto o 8B se destaca pela eficiência em dispositivos com recursos limitados. Todos os modelos foram treinados em mais de 15 trilhões de tokens e suportam contexto de até 128 mil tokens, permitindo processar documentos extensos.

Compromisso com o código aberto

A decisão da Meta de disponibilizar o Llama 3.1 gratuitamente para pesquisadores e desenvolvedores reforça o compromisso da empresa com a filosofia open-source. Esta abordagem contrasta com a estratégia de empresas como OpenAI e Google, que mantêm seus modelos mais avançados sob acesso restrito e comercial.

O modelo está disponível sob a licença Llama 3.1 Community License, que permite uso comercial para empresas com menos de 700 milhões de usuários mensais. Esta permissividade possibilita que startups e empresas de menor porte desenvolvam produtos e serviços baseados em IA de última geração sem os custos proibitivos de licenciamento ou uso de APIs pagas.

Impacto no ecossistema de IA

O lançamento do Llama 3.1 tem potencial para acelerar significativamente a inovação em IA. Pesquisadores poderão explorar novas aplicações, desenvolver fine-tuning para casos de uso específicos e contribuir para o avanço coletivo da tecnologia. Empresas terão a oportunidade de implementar soluções sofisticadas de IA mantendo controle total sobre seus dados e infraestrutura.

A Meta destacou casos de uso como agentes de IA, ferramentas de geração de código e processamento de documentos longos. Além disso, a disponibilidade de um modelo tão poderoso em código aberto promove maior transparência e escrutínio público sobre o funcionamento de sistemas de IA, aspectos cruciais para questões de segurança, viés e ética no desenvolvimento de inteligência artificial.

Infraestrutura e disponibilidade

Segundo a Meta, o treinamento do Llama 3.1 405B utilizou mais de 16 mil GPUs NVIDIA H100, representando um dos maiores esforços computacionais em IA open-source. Os modelos estão disponíveis para download através do site oficial da Meta AI e em plataformas como Hugging Face, além de serem acessíveis via API em serviços de nuvem parceiros como AWS, Google Cloud e Microsoft Azure.

Com o Llama 3.1, a Meta consolida sua posição como líder em IA open-source e estabelece um novo padrão para modelos de linguagem acessíveis, desafiando a hegemonia dos sistemas proprietários e ampliando as possibilidades de inovação democrática em inteligência artificial.