Quando se fala em inteligência artificial generativa, a referência são os grandes modelos de linguagem (LLMs), como ChatGPT, Claude e Gemini. No entanto, os pequenos modelos de linguagem (SLMs) estão ganhando destaque. Essas versões compactas e eficientes são projetadas para tarefas como geração de texto, tradução automática e respostas a perguntas, com o benefício de serem mais leves em termos de recursos computacionais.

Após o lançamento de modelos compactos como o da Liquid AI, que pode ser executado em um smartwatch, e o Gemma 3 270M, do Google, que roda em smartphones, a Nvidia entrou na competição das IAs de pequeno porte com o Nemotron-Nano-9B-V2.

Esse modelo obteve excelente desempenho em benchmarks e oferece uma funcionalidade diferenciada: a opção de ativar ou desativar o "raciocínio", um processo de verificação interna antes da entrega de uma resposta. Além disso, ele é capaz de lidar com múltiplos idiomas, incluindo, em descrições mais amplas, o português, e é adequado para seguir instruções e gerar código.

Com 9 bilhões de parâmetros, o modelo é maior do que alguns recentemente lançados – a última versão do Gemma, por exemplo, tem 270 milhões –, mas a Nvidia destaca que a redução em relação ao tamanho original (12 bilhões) torna o modelo mais eficiente para rodar em uma única GPU Nvidia A10, popular para implementações de IA.

Essa redução também permite ao Nemotron-Nano-9B-V2 processar dados com maior rapidez, chegando a até seis vezes a velocidade de modelos de transformadores de tamanho semelhante, segundo Oleksii Kuchiaev, diretor de Modelos de IA da Nvidia.

Para colocar em perspectiva, muitos dos modelos de IA líderes, como os da OpenAI, possuem mais de 70 bilhões de parâmetros. Quanto maior o número de parâmetros, maior a complexidade e o poder computacional, mas também o consumo de memória.

O Nemotron-Nano-9B-V2 é um modelo híbrido baseado em uma fusão das arquiteturas Transformer e Mamba. Enquanto os transformadores tradicionais são eficazes, eles podem ser ineficazes em termos de memória ao lidarem com sequências longas. Para contornar isso, a Mamba integra modelos de espaço de estado seletivo (SSM), que processam sequências longas de maneira mais eficiente e com menor consumo de memória.

Além disso, o modelo da Nvidia oferece controle sobre o orçamento de raciocínio, permitindo ajustar a quantidade de dados usados na verificação interna, o que ajuda a equilibrar precisão e latência, ideal para aplicações como suporte ao cliente ou agentes autônomos de IA.

Disponibilidade da IA da Nvidia

O Nemotron-Nano-9B-V2 está disponível na plataforma Hugging Face, que hospeda IAs de código aberto, e no próprio catálogo da Nvidia, com licenciamento aberto sob a Nvidia Open Model License Agreement, que permite o uso comercial sem taxas adicionais, desde que as condições de segurança e conformidade sejam seguidas.

Com esse lançamento, a Nvidia busca fornecer uma solução eficiente e poderosa, equilibrando capacidade de raciocínio e eficiência para desenvolvedores que necessitam de modelos compactos e escaláveis.