Avanço na tecnologia de geração de vídeo multimodal, que oportunidades tem a Web3 AI?

Além da "submersão" da localização de IA, a maior mudança no setor de IA recentemente é o avanço tecnológico na geração de vídeo multimodal, que evoluiu de apoiar a geração de vídeo puramente baseada em texto para uma tecnologia de geração totalmente integrada, combinando texto, imagens e áudio.

Aqui estão alguns exemplos de avanços tecnológicos para todos experimentarem:

1) A ByteDance torna o framework EX-4D de código aberto: Vídeo monocular transforma-se instantaneamente em conteúdo 4D de ponto de vista livre, com uma taxa de aceitação do utilizador de 70,7%. Isso significa que, para um vídeo comum, a IA pode gerar automaticamente efeitos de visualização de qualquer ângulo, o que anteriormente exigia uma equipa profissional de modelagem 3D para ser alcançado.

2) Plataforma Baidu "Hui Xiang": gera um vídeo de 10 segundos a partir de uma imagem, afirmando alcançar qualidade "a nível de filme". No entanto, se isso é exagerado pelo marketing, permanece a dúvida até à atualização da versão Pro em agosto.

3) Google DeepMind Veo: Pode alcançar geração de vídeo 4K + sincronização de som ambiente. O destaque tecnológico principal é a realização da capacidade de "sincronização", uma vez que anteriormente era uma junção de dois sistemas para vídeo e áudio. Para alcançar um verdadeiro emparelhamento a nível semântico, desafios significativos devem ser superados, como em cenas complexas, onde a sincronização das ações de caminhada no vídeo e os sons correspondentes dos passos devem ser abordados.

4) Conteúdo do Douyin: 8 bilhões de parâmetros, 2,3 segundos para gerar vídeo 1080p, custo de 3,67 yuan/5 segundos. Para ser honesto, este controle de custos é bastante bom, mas atualmente, considerando a qualidade da geração, ainda fica aquém ao encontrar cenas complexas.

Por que se diz que esses casos têm um valor e significado significativos em termos de avanços na qualidade de vídeo, custos de produção e cenários de aplicação?

1. Em termos de avanços no valor tecnológico, a complexidade de gerar um vídeo multimodal é frequentemente exponencial. Uma imagem de um único quadro consiste em cerca de 10^6 pixels, e um vídeo deve garantir coerência temporal (pelo menos 100 quadros), juntamente com sincronização de áudio (10^4 pontos de amostra por segundo), enquanto também considera a consistência espacial em 3D.

Em resumo, a complexidade técnica não é baixa. Originalmente, era um super modelo grande a enfrentar todas as tarefas de frente. Diz-se que a Sora queimou dezenas de milhares de H100s para alcançar capacidades de geração de vídeo. Agora, isso pode ser realizado através da decomposição modular e do trabalho colaborativo de grandes modelos. Por exemplo, o EX-4D da Byte na verdade divide tarefas complexas em: módulo de estimativa de profundidade, módulo de transformação de ponto de vista, módulo de interpolação temporal, módulo de otimização de renderização, e assim por diante. Cada módulo é especializado em uma tarefa e, em seguida, coordena através de um mecanismo.

2. Em termos de redução de custos: na verdade, envolve a otimização da própria arquitetura de raciocínio, incluindo uma estratégia de geração em camadas, onde um esqueleto de baixa resolução é gerado primeiro e, em seguida, o conteúdo de imagem de alta resolução é aprimorado; um mecanismo de reutilização de cache, que é a reutilização de cenas semelhantes; e alocação dinâmica de recursos, que na verdade ajusta a profundidade do modelo com base na complexidade do conteúdo específico.

Com este conjunto de otimizações, alcançaremos um resultado de 3,67 yuan a cada 5 segundos para o Douyin ContentV.

3. Em termos de impacto na aplicação, a produção de vídeo tradicional é um jogo intensivo em capital: equipamentos, locais, atores, pós-produção; é normal que um anúncio de 30 segundos custe centenas de milhares. Agora, a IA comprime todo esse processo a um prompt mais alguns minutos de espera, e pode alcançar perspectivas e efeitos especiais que são difíceis de obter em filmagens tradicionais.

Isto transforma as barreiras técnicas e financeiras originais da produção de vídeo em criatividade e estética, o que pode promover uma reestruturação de toda a economia dos criadores.

A pergunta surge: qual é a relação entre as mudanças no lado da demanda da tecnologia web2 de IA e a IA web3?

1. Primeiro, a mudança na estrutura da demanda por poder computacional. Anteriormente, na IA, a competição baseava-se na escala; quem tivesse mais clusters de GPU homogêneos venceria. No entanto, a demanda por geração de vídeo multimodal requer uma combinação diversificada de poder computacional, o que pode criar uma necessidade por poder computacional ocioso distribuído, bem como vários modelos de ajuste fino distribuídos, algoritmos e plataformas de inferência.

2. Em segundo lugar, a demanda por rotulagem de dados também irá fortalecer-se. Gerar um vídeo de qualidade profissional requer: descrições de cena precisas, imagens de referência, estilos de áudio, trajetórias de movimento de câmera, condições de iluminação, etc., que se tornarão novos requisitos profissionais de rotulagem de dados. Usar métodos de incentivo Web3 pode encorajar fotógrafos, engenheiros de som, artistas 3D e outros a fornecer elementos de dados profissionais, melhorando a capacidade de geração de vídeo da IA com rotulagem de dados verticais especializadas.

3. Por fim, vale a pena mencionar que quando a IA gradualmente passar da alocação de recursos centralizados em grande escala para a colaboração modular, ela própria representará uma nova demanda por plataformas descentralizadas. Naquela altura, a potência de computação, os dados, os modelos, os incentivos, etc. formarão conjuntamente um volante de auto-reforço, que por sua vez impulsionará a integração dos cenários web3AI e web2AI.

Declaração:

1. Este artigo é reproduzido de [tmel0211tmel0211]，Os direitos autorais pertencem ao autor original [tmel0211] Se tiver alguma objeção à reimpressão, por favor contacte Equipe Gate LearnA equipe processará isso o mais rápido possível de acordo com os procedimentos relevantes.
2. Aviso: As opiniões e pontos de vista expressos neste artigo são unicamente do autor e não constituem qualquer aconselhamento de investimento.
3. Outras versões linguísticas do artigo são traduzidas pela equipe do Gate Learn, a menos que mencionado de outra forma.GateEm nenhuma circunstância os artigos traduzidos podem ser copiados, divulgados ou plagiados.