$NVDA Jonathan Ross diz que a memória é o maior gargalo de IA no momento, mas gargalos não são permanentes.

“Sempre que um gargalo fica grande o suficiente, as pessoas o resolvem.”
Seu aviso é que a memória pode permanecer extremamente valiosa enquanto estiver restrita, mas se ficar muito cara ou escassa, torna-se o problema que os engenheiros são forçados a atacar.
Se a memória se tornar um gargalo demais, a indústria começará a encontrar maneiras de reduzir sua dependência dela.
Ele disse que a memória era “o segmento mais commoditizado da cadeia de suprimentos de semicondutores,” mas agora é uma das restrições mais importantes na IA.
Ross explica isso com a analogia do bem de Giffen. Se a memória ficar mais cara, os clientes podem inicialmente gastar mais nela porque é essencial. Mas eventualmente, se os preços forem demais, eles procurarão substitutos.
“se a memória for muito cara e as pessoas não construírem o suficiente dela, as pessoas vão resolver esse problema tecnologicamente.”
O exemplo do DeepSeek se encaixa no seu ponto. Quando o entrevistador menciona que o DeepSeek V4 comprimiu o cache KV em 90%, Ross responde que esse trabalho de engenharia teve um custo de oportunidade.
“Se eles tivessem memória suficiente, teriam trabalhado em outra coisa. Se não fosse tão caro, teriam trabalhado em outra coisa.”
“Você faz dele o problema grande o suficiente. É o papagaio alto. Assim que fica alto demais, é cortado.”