Pensilvânia processa Character.AI por chatbot que finge ser psiquiatra licenciado

Resumidamente

• Pensilvânia está processando a Character.AI, alegando que o chatbot se passou por um psiquiatra licenciado usando um número de licença inválido.
• O estado afirma que o chatbot apresentou credenciais médicas falsas.
• O caso aumenta o escrutínio legal da plataforma, que já enfrenta várias ações judiciais.

Pensilvânia entrou com uma ação contra a desenvolvedora de IA generativa Character.AI, alegando que a empresa permitiu que chatbots se apresentassem como profissionais de saúde licenciados e fornecessem informações enganosas aos usuários. A ação, anunciada na terça-feira pelo escritório do governador Josh Shapiro, segue uma investigação que descobriu que um chatbot afirmava ser um psiquiatra licenciado na Pensilvânia e fornecia um número de licença inválido. O estado diz que essa conduta viola a Lei de Prática Médica e busca uma liminar preliminar para interrompê-la. A Character.AI recusou-se a comentar os detalhes do processo, citando litígios em andamento, mas disse ao Decrypt que sua “máxima prioridade é a segurança e o bem-estar de nossos usuários.”

O porta-voz acrescentou que os personagens na plataforma são criados pelos usuários, fictícios e destinados ao entretenimento e interpretação de papéis, com “avisos destacados em cada chat” afirmando que não são pessoas reais e não devem ser usados como aconselhamento profissional.  “Character.ai prioriza o desenvolvimento responsável de produtos e possui revisões internas robustas e processos de red-teaming para avaliar recursos relevantes,” disse o porta-voz. O caso ocorre enquanto a empresa enfrenta outros desafios legais relacionados à sua plataforma de chatbot. Em 2024, uma mãe da Flórida processou a empresa após seu filho adolescente morrer por suicídio após meses de interação com um chatbot baseado na personagem Daenerys Targaryen, de “Game of Thrones”. A ação alegava que a plataforma contribuiu para danos psicológicos. O caso foi finalmente resolvido em janeiro passado.

A empresa também enfrentou reclamações sobre bots criados por usuários que imitam pessoas reais. Em um caso, um chatbot usou a imagem de uma vítima de assassinato adolescente antes de ser removido após objeções da família da vítima. Em resposta às ações judiciais, a Character AI introduziu novas medidas de segurança, incluindo sistemas projetados para detectar conversas prejudiciais e direcionar os usuários a recursos de apoio. Também restringiu algumas funcionalidades para usuários mais jovens. Autoridades da Pensilvânia dizem que o processo faz parte de uma iniciativa mais ampla para fazer cumprir as leis existentes à medida que as ferramentas de IA se espalham. O estado criou uma força-tarefa de fiscalização de IA e um sistema de denúncia para possíveis violações. Em sua proposta de orçamento para 2026-27, Shapiro pediu aos legisladores que aprovassem novas regras para bots de IA, incluindo verificação de idade e consentimento parental, salvaguardas para sinalizar e encaminhar denúncias de autoagressão ou violência às autoridades, lembretes regulares de que os usuários não estão interagindo com uma pessoa real, e uma proibição de conteúdo sexualmente explícito ou violento envolvendo menores. “Os habitantes da Pensilvânia merecem saber com quem—ou com o que—estão interagindo online, especialmente quando se trata de sua saúde,” disse Shapiro em um comunicado. “Não permitiremos que empresas implantem ferramentas de IA que enganem as pessoas, fazendo-as acreditar que estão recebendo aconselhamento de um profissional de saúde licenciado.”