Nvidia é o rei indiscutível dos chips de IA. Mas graças à IA que ajudou a construir, o campeão poderá em breve enfrentar uma concorrência crescente.
A IA moderna funciona com designs da Nvidia, uma dinâmica que impulsionou a empresa a um valor de mercado de bem mais de US$ 4 trilhões. Cada nova geração de chips Nvidia permite que as empresas treinem modelos de IA mais poderosos usando centenas ou milhares de processadores conectados em rede dentro de vastos data centers. Uma razão para o sucesso da Nvidia é que ela fornece software para ajudar a programar cada nova geração de chips. Em breve, essa poderá não ser uma habilidade tão diferenciada.
Uma startup chamada Wafer está treinando modelos de IA para realizar um dos trabalhos mais difíceis e importantes da IA: otimizar o código para que ele seja executado da maneira mais eficiente possível em um chip de silício específico.
Emilio Andere, cofundador e CEO da Wafer, diz que a empresa realiza aprendizado por reforço em modelos de código aberto para ensiná-los a escrever código de kernel ou software que interage diretamente com o hardware de um sistema operacional. Andere diz que o Wafer também adiciona “recursos de agente” aos modelos de codificação existentes, como Claude da Anthropic e GPT da OpenAI, para aumentar sua capacidade de escrever código que roda diretamente em chips.
Muitas empresas de tecnologia proeminentes agora possuem seus próprios chips. A Apple e outras empresas usam há anos silício personalizado para melhorar o desempenho e a eficiência de software executado em laptops, tablets e smartphones. No outro extremo da escala, empresas como a Google e a Amazon criam o seu próprio silício para melhorar o desempenho das suas plataformas de computação em nuvem. A Meta disse recentemente que implantaria 1 gigawatt de capacidade computacional com um novo chip desenvolvido com a Broadcom. A implantação de silício personalizado também envolve escrever muito código para que ele funcione de maneira suave e eficiente no novo processador.
Wafer está trabalhando com empresas como AMD e Amazon para ajudar a otimizar o software para funcionar com eficiência em seu hardware. Até agora, a startup arrecadou US$ 4 milhões em financiamento inicial de Jeff Dean do Google, Wojciech Zaremba da OpenAI e outros.
Andere acredita que a abordagem liderada pela IA de sua empresa tem o potencial de desafiar o domínio da Nvidia. Vários chips de última geração agora oferecem desempenho de ponto flutuante bruto semelhante – uma referência importante da indústria sobre a capacidade de um chip de realizar cálculos simples – ao melhor silício da Nvidia.
“O melhor hardware AMD, o melhor [Amazon] Hardware Trainium, o melhor [Google] TPUs oferecem os mesmos fracassos teóricos das GPUs Nvidia”, Andere me disse recentemente. “Queremos maximizar a inteligência por watt.”
Engenheiros de desempenho com as habilidades necessárias para otimizar o código para rodar de maneira confiável e eficiente nesses chips são caros e têm alta demanda, diz Andere, enquanto o ecossistema de software da Nvidia torna mais fácil escrever e manter código para seus chips. Isso torna difícil até mesmo para as maiores empresas de tecnologia agirem sozinhas.
Quando a Anthropic fez parceria com a Amazon para construir seus modelos de IA no Trainium, por exemplo, ela teve que reescrever o código do seu modelo do zero para fazê-lo funcionar da maneira mais eficiente possível no hardware, diz Andere.
Claro, Claude da Anthropic é agora um dos muitos modelos de IA que são sobre-humanos na escrita de código. Portanto, Andere avalia que pode não demorar muito para que a IA comece a consumir as vantagens do software da Nvidia.
“O fosso reside na programabilidade do chip”, diz Andere em referência às bibliotecas e ferramentas de software que facilitam a otimização do código para hardware Nvidia. “Acho que é hora de começar a repensar se isso é realmente um fosso forte.”
Além de facilitar a otimização do código para diferentes silício, a IA poderá em breve facilitar o projeto dos próprios chips. A Ricursive Intelligence, uma startup fundada por duas ex-engenheiras do Google, Azalia Mirhoseini e Anna Goldie, está desenvolvendo novas maneiras de projetar chips de computador com inteligência artificial. Se sua tecnologia decolar, muito mais empresas poderão migrar para o design de chips, criando silício personalizado que execute seu software com mais eficiência.
Fonte: Wired
