A Apple fala sobre compressão de modelos de IA com PrismML; modelos de 27 bilhões de parâmetros para rodar no iPhone

A Apple está em discussões iniciais com a startup de IA PrismML para integrar sua tecnologia de compressão de modelos no iPhone, segundo o CEO da PrismML. A colaboração poderia permitir que modelos de IA com 27 bilhões de parâmetros fossem executados diretamente no dispositivo, aprimorando os recursos da Siri e fortalecendo a posição da Apple em relação à privacidade.

Em 14 de julho, a PrismML anunciou sua conquista de compressão: reduzindo o modelo Qwen de código aberto da Alibaba de 54GB para menos de 4GB, preservando a escala de 27 bilhões de parâmetros para uma operação fluida no iPhone 15 e em dispositivos mais novos. A tecnologia reduz o uso de memória em 10–15 vezes e acelera as respostas em 6–8 vezes, embora o CEO tenha reconhecido concessões em lembrança factual versus capacidades de raciocínio e programação.