A Anthropic, uma empresa fundada por exilados da OpenAI preocupados com os perigos da IA, está afrouxando o seu princípio fundamental de segurança em resposta à concorrência.
Em vez de barreiras de proteção auto-impostas que restringem o desenvolvimento de modelos de IA, a Anthropic está a adotar uma estrutura de segurança não vinculativa que, segundo ela, pode e irá mudar.
Em uma postagem de blog na terça-feira descrevendo sua nova política, a Anthropic disse que as deficiências em sua Política de Dimensionamento Responsável, criada há dois anos, podem prejudicar sua capacidade de competir em um mercado de IA em rápido crescimento.
O anúncio é surpreendente porque a Anthropic se descreveu como a empresa de IA com “alma”. Também acontece na mesma semana em que a Anthropic está travando uma batalha significativa com o Pentágono sobre as linhas vermelhas da IA.
A mudança de política é separada e não tem relação com as discussões da Antrópico com o Pentágono, segundo uma fonte familiarizada com o assunto. O secretário de Defesa, Pete Hegseth, deu um ultimato ao CEO da Anthropic, Dario Amodei, na terça-feira reverter as salvaguardas de IA da empresa ou correr o risco de perder um contrato de US$ 200 milhões com o Pentágono. O Pentágono ameaçou colocar a Antrópico no que é efetivamente uma lista negra do governo.
Mas a empresa disse no seu blog que a sua política de segurança anterior foi concebida para construir um consenso na indústria em torno da mitigação dos riscos da IA – barreiras de protecção que a indústria ultrapassou. A Anthropic também observou que a sua política de segurança estava em descompasso com o atual clima político anti-regulatório de Washington.
A política anterior da Anthropic estipulava que ela deveria interromper o treinamento de modelos mais poderosos se suas capacidades ultrapassassem a capacidade da empresa de controlá-los e garantir sua segurança – medida que foi removida na nova política. A Anthropic argumentou que os desenvolvedores responsáveis de IA interrompendo o crescimento enquanto atores menos cuidadosos avançavam poderia “resultar em um mundo menos seguro”.
Como parte da nova política, a Anthropic disse que separará os seus próprios planos de segurança das suas recomendações para a indústria de IA.
A Anthropic escreveu que esperava que os seus princípios de segurança originais “encorajassem outras empresas de IA a introduzir políticas semelhantes. Esta é a ideia de uma ‘corrida para o topo’ (o inverso de uma ‘corrida para o fundo’), na qual diferentes intervenientes da indústria são incentivados a melhorar, em vez de enfraquecer, as salvaguardas dos seus modelos e a sua postura geral de segurança”.
A empresa agora sugere que isso não aconteceu.
Numa declaração à CNN, um porta-voz da Anthropic descreveu a política atualizada como “a mais forte até à data no nível de responsabilidade pública e transparência”.
“Demos um passo significativo em relação às nossas políticas anteriores, ao comprometermo-nos a publicar publicamente relatórios detalhados em intervalos regulares sobre os nossos planos para fortalecer as nossas mitigações de risco, bem como os modelos de ameaças e capacidades de todos os nossos modelos”, afirmou o comunicado. “Desde o início, dissemos que o ritmo da IA e as incertezas no terreno exigiriam que iterássemos e melhorássemos rapidamente a política.”
A nova política de segurança da Anthropic inclui um “Roteiro de Segurança de Fronteira” que descreve as diretrizes e salvaguardas autoimpostas pela empresa. Mas a empresa reconheceu que a nova estrutura é mais flexível do que a sua política anterior.
“Em vez de serem compromissos difíceis, estes são objetivos públicos pelos quais avaliaremos abertamente o nosso progresso”, disse a empresa no seu blog.
A mudança ocorre um dia depois que o secretário de Defesa, Pete Hegseth, deu ao CEO da Anthropic, Dario Amodei, um prazo de sexta-feira para reverter as salvaguardas de IA da empresa, ou correr o risco de perder um contrato de US$ 200 milhões com o Pentágono e ser colocado no que é efetivamente uma lista negra do governo.
A Anthropic tem preocupações sobre duas questões que não está disposta a abandonar, de acordo com uma fonte familiarizada com a reunião da empresa com Hegseth: armas controladas por IA e vigilância doméstica em massa de cidadãos americanos. A Anthropic acredita que a IA não é confiável o suficiente para operar armas, e ainda não existem leis ou regulamentos que cubram como a IA poderia ser usada na vigilância em massa, disse uma fonte.
Pesquisadores de IA aplaudiram a posição da Anthropic nas redes sociais na terça-feira e expressaram preocupações sobre a ideia de a IA ser usada para vigilância governamental.
A empresa há muito se posiciona como o negócio de IA que prioriza a segurança. A Anthropic publicou uma pesquisa mostrando como seus próprios modelos de IA poderiam ser capazes de chantagear sob certas condições. A empresa doou recentemente 20 milhões de dólares à Public First Action, um grupo político que defende salvaguardas e educação em matéria de IA.
Mas a empresa tem enfrentado pressão e concorrência crescentes tanto do governo como dos seus rivais. Hegseth, por exemplo, planeja invocar a Lei de Produção de Defesa da Antrópica e designar a empresa como um risco na cadeia de suprimentos se ela não cumprir as exigências do Pentágono, informou a CNN na terça-feira. OpenAI e Anthropic também estão em uma corrida para lançar novas ferramentas empresariais de IA em uma tentativa de conquistar o local de trabalho.
Jared Kaplan, diretor científico da Anthropic, sugeriu em uma entrevista à Time que a mudança foi feita em nome da segurança, mais do que do aumento da concorrência.
“Sentimos que não ajudaria ninguém parar de treinar modelos de IA”, disse Kaplan à revista. “Não sentíamos realmente, com o rápido avanço da IA, que fizesse sentido assumirmos compromissos unilaterais… se os concorrentes estivessem avançando”.
Hadas Gold da CNN contribuiu para esta história.
Esta história foi atualizada com informações adicionais.
Fonte: theverge
