O governador da Califórnia, Gavin Newsom, sancionou nesta segunda-feira, 13, uma lei pioneira no país que regulamenta os chatbots de inteligência artificial, contrariando a Casa Branca, que defende que essa tecnologia não passe por nenhum tipo de controle.

A lei desafia a pressão da Casa Branca para evitar a regulamentação da IA e surge após casos de suicídios de adolescentes depois de conversas com chatbots.

Newsom tomou a decisão após casos de adolescentes que tiraram a própria vida depois que tiveram conversas com chatbots.

"Temos visto exemplos realmente horríveis e trágicos de jovens prejudicados pela tecnologia não regulamentada, e não ficaremos de braços cruzados enquanto as empresas continuam sem limites necessários e sem prestar contas", disse Newson ao promulgar a lei.

A norma exige aos operadores a implementação de salvaguardas "críticas" em relação às interações com os chatbots de IA, explicou o senador democrata do estado, Steve Padilla, impulsionador da lei.

Entre outras coisas, a lei impõe a verificação da idade dos usuários e a exibição de lembretes de que os chatbots são gerados por inteligência artificial. Também exige que as pessoas que expressarem pensamentos de autolesão ou suicídio sejam encaminhadas para serviços de gestão de crise e a implementação de protocolos de prevenção ao suicídio.

'Suicídios de adolescentes'

"A indústria tecnológica é incentivada a captar a atenção dos jovens e mantê-la às custas de suas relações no mundo real", disse Padilla antes da votação do projeto no Senado estadual.

O parlamentar se referiu a suicídios recentes de adolescentes, inclusive o de um jovem de 14 anos na Flórida, em 2024.

A mãe do menor, Megan Garcia, disse, em entrevista à AFP, que seu filho, Sewell, tinha se apaixonado por um chatbot inspirado em um personagem da série "Game of Thrones" na plataforma Character.AI, que permite ao usuário interagir com personagens como se eles fossem seus confidentes ou amantes.

Enquanto Sewell lutava contra pensamentos suicidas, o chatbot o incentivou a "voltar para casa". Segundos depois, o adolescente atirou contra si próprio usando a arma do pai, segundo o processo apresentado por Garcia contra a Character.AI.

Garcia reagiu logo após a sanção da lei. "Hoje, a Califórnia assegurou que um chatbot companheiro não possa falar com uma criança ou uma pessoa vulnerável sobre suicídio, nem possa ajudar uma pessoa a planejar seu suicídio" disse.

"Afinal, há uma lei que requer que as empresas protejam seus usuários que expressam ideias suicidas aos chatbots", acrescentou.

No país não há legislação federal destinada a conter os riscos da IA. E a Casa Branca busca que não haja controles em nível estadual ou regulamentações desta tecnologia.

'Danos emocionais'

"Esta lei é um primeiro passo importante para proteger as crianças e outros dos danos emocionais resultantes dos chatbots companheiros impulsionados por IA e postos à disposição dos cidadãos da Califórnia sem salvaguardas adequadas", disse Jai Jaisimha, cofundador do grupo sem fins lucrativos Transparency Coalition, dedicado ao desenvolvimento seguro desta tecnologia.

A emblemática lei de segurança para chatbots foi uma das várias normas sancionadas nesta segunda-feira por Newsom para evitar que as plataformas de IA causem prejuízos aos usuários.

Segundo o gabinete do governador, esta nova legislação inclui a proibição de que os chatbots se façam passar por profissionais de saúde e deixou claro que os criadores de ferramentas de IA são responsáveis pelas consequências e não podem se esquivar da responsabilidade, alegando que a tecnologia agiu de forma autônoma.

A Califórnia também endureceu as punições por pornografia deepfake ou vídeos ultra falsos, permitindo às vítimas reivindicar 250 mil dólares (R$ 1,36 bilhão) por infração de quem ajudar a distribuir material sexualmente explícito sem consentimento.