O próximo modelo do fabricante do ChatGPT, Orion, mostrou uma melhoria apenas "moderada" em relação ao GPT-4, segundo o site. O salto do Orion foi menor do que entre o GPT-3 e o GPT-4, especialmente em tarefas de codificação, acrescentou o relatório obtido pelo veículo

Ele reacende um debate sobre a viabilidade de desenvolver modelos cada vez mais avançados de IA. O CEO da OpenAI, Sam Altman, disse no X em fevereiro que "as leis de escala são decididas por Deus; as constantes são determinadas por membros da equipe técnica". As "leis" citadas por Altman sugerem que os modelos de IA se tornam mais inteligentes à medida que aumentam de tamanho e obtêm acesso a mais dados e poder de computação, segundo o Business Insider.

E por que não evoluiu?

Num primeiro momento, os dados, elementos vitais dessa equação, têm sido mais difíceis de obter, pois as empresas esgotaram rapidamente as informações disponíveis online.

As empresas de IA coletaram grandes quantidades de dados criados por humanos — incluindo texto, vídeos, artigos de pesquisa etc — para treinar os modelos por trás de suas ferramentas e recursos, mas esse suprimento é limitado. A empresa de pesquisa Epoch AI previu em junho que as empresas poderiam esgotar os dados textuais utilizáveis ​​até 2028. As empresas estão tentando superar as restrições recorrendo a dados sintéticos gerados pela própria IA, mas isso também traz problemas.

O poder de computação, o outro fator que historicamente impulsionou o desempenho da IA, também não é ilimitado. Em um tópico "pergunte-me qualquer coisa" do Reddit no mês passado, Altman reconheceu que sua empresa enfrentou "muitas limitações e decisões difíceis" sobre a alocação de seus recursos de computação. Investimentos em data centers estão acontecendo, mas também são pesados e requerem uma fatia considerável do orçamento das empresas.

Não é de se admirar que alguns especialistas do setor tenham começado a notar que os modelos de IA lançados este ano, assim como os futuros, mostram evidências de produzir saltos menores no desempenho do que seus antecessores. É o platô do setor.

Mesmo com esses desafios, a indústria de IA continuará buscando maneiras de desencadear grandes saltos no desempenho. O CEO da Anthropic, Dario Amodei, previu que as execuções de treinamento de modelos de IA entrarão em uma nova era no ano que vem, na qual podem custar US$ 100 bilhões. Altman disse anteriormente que custaria mais de US$ 100 milhões para treinar o GPT-4.