EM POUCAS LINHAS
- O experimento manteve parte dos especialistas e uma tabela auxiliar em disco, em vez de carregar todos os pesos na memória.
- O pico relatado de 25,4 GiB depende de quantização, cache limitado e configuração específica; não é requisito geral para modelos de 180 bilhões de parâmetros.
- A NVIDIA anuncia desktops com até 128 GB de memória unificada, mas não apresenta teste do modelo usado no experimento.
- Capacidade de memória, contagem de parâmetros e tokens por segundo respondem a perguntas diferentes.
Executar um modelo grande localmente não exige necessariamente manter todos os seus pesos na memória ao mesmo tempo. Em um experimento publicado no blog da Hugging Face em 18 de novembro de 2026, Tarek Ziadé descreve como fez um modelo MoE de 180 bilhões de parâmetros funcionar em um Mac M5 com 32 GB de memória unificada. Na mesma data, a NVIDIA anunciou desktops RTX Spark com até 128 GB de memória unificada e capacidade declarada para executar localmente modelos de linguagem de 120 bilhões de parâmetros. Os relatos não são uma comparação entre máquinas: um mede uma implementação específica; o outro apresenta especificações e possibilidades de uma família de produtos.
Como o streaming muda a conta de memória
Em um modelo de mistura de especialistas, ou MoE, o roteador seleciona parte dos especialistas para processar cada entrada. A proposta descrita por Ziadé é evitar carregar o banco inteiro de especialistas: os pesos destinados a disco não entram no carregamento inicial, e os especialistas necessários são lidos quando faltam no cache. Um conjunto limitado de posições na memória do dispositivo recebe os pesos requisitados e pode ser reutilizado entre camadas. Isso troca a exigência de manter todos os especialistas residentes pela necessidade de ter armazenamento, cache e leituras rápidas o bastante para acompanhar a geração.
Mas streaming de especialistas não significa que o restante do modelo desapareça da memória. Segundo o relato técnico, o Qwen3.8-Flash-Next usado no experimento tem 121 GB de especialistas em FP8 e também uma tabela de embeddings n-gram de 51 GB que exigiu um caminho próprio de leitura em disco. Para caber na máquina, o autor armazenou especialistas quantizados em 3 bits, ocupando 49 GB em disco, limitou seu cache a 12 GiB, manteve as camadas densas em 8 bits e leu linhas da tabela n-gram conforme a necessidade. Assim, os 32 GB descrevem a memória da máquina, não o tamanho total dos arquivos nem uma propriedade de qualquer modelo de 180 bilhões de parâmetros.
O que foi medido no Mac — e qual é o limite
Nessa configuração, Ziadé relata cerca de 18 GiB de memória após o carregamento e pico de 25,4 GiB com um prompt de 6 mil tokens. Ele diz que precisava fechar o navegador para evitar que o macOS começasse a usar memória de troca. O pico, portanto, não deve ser lido como reserva disponível para outras aplicações, nem como medição de todos os tamanhos de prompt ou cargas de trabalho.
Memória suficiente também não garante resposta rápida. Após otimizações descritas no mesmo experimento, a geração de 200 tokens chegou a 13,9 tokens por segundo na implementação com Transformers e a 14,8 tokens por segundo no Strata, no mesmo M5 e com os mesmos prompts. São resultados do autor para esse cenário, não uma previsão para um desktop com outra GPU ou para múltiplos usuários. O próprio autor considerou a velocidade insuficiente para seu uso com agentes de programação. Além disso, ele informa que a API proposta para o streaming ainda estava em discussão com os mantenedores do Transformers; o relato não estabelece que se trate de um recurso consolidado em uma versão estável.
O que a RTX Spark permite concluir
No anúncio publicado em 18 de novembro de 2026, a NVIDIA descreve desktops RTX Spark com CPU Grace de 20 núcleos, GPU Blackwell RTX de 6.144 núcleos CUDA e até 128 GB de memória unificada. A expressão “até” é decisiva: não informa quanta memória terá cada unidade à venda. A empresa também afirma que os sistemas podem executar localmente modelos de linguagem de 120 bilhões de parâmetros e anuncia desktops de ASUS, Dell e MSI disponíveis para compra. Isso é uma declaração de disponibilidade no anúncio, não confirmação de estoque ou venda no Brasil.
Há uma diferença entre haver espaço para pesos e obter velocidade adequada. O texto da NVIDIA não apresenta medição do Qwen3.8-Flash-Next na RTX Spark; o experimento da Hugging Face não mede uma RTX Spark. Tampouco os números de 180 bilhões e 120 bilhões de parâmetros estabelecem, isoladamente, qual sistema será mais rápido: importam o formato dos pesos, o que permanece em memória, o acesso a disco, o software e a tarefa. Para entender outra parte dessa escolha de formato e execução local, vale consultar o artigo sobre quantização e custos de inferência.
Como decidir sem extrapolar os anúncios
Para planejar uma instalação local, comece pelo modelo e pela implementação pretendidos: verifique a memória exigida pelos pesos residentes, pelo cache de especialistas e pelos dados da execução, além do espaço para arquivos em disco. Depois, procure medições de geração e processamento do prompt na configuração efetiva, com o comprimento de entrada e a quantidade de usuários relevantes para o seu caso. O experimento de Ziadé mostra por que reduzir memória residente pode trazer dependência de leituras e de ajustes específicos; o anúncio da NVIDIA informa capacidade anunciada, não o resultado desse teste cruzado.
Para uma compra no Brasil, permanecem pendentes a configuração comercial, o preço e a disponibilidade local dos desktops RTX Spark: as fontes recebidas não confirmam esses pontos. Se a intenção for migrar um programa existente de IA local, confira também a compatibilidade do mecanismo de inferência; o artigo do acervo sobre mudanças no llama.cpp e ggml oferece contexto para essa verificação. A resposta curta é: streaming pode tornar viável uma execução que não caberia inteiramente na memória, enquanto uma capacidade de memória anunciada indica espaço potencial. Nenhum dos dois, sozinho, demonstra desempenho satisfatório para o seu modelo e sua tarefa.
Fontes e referências
- 180B Parameters, 32GB of RAM: Pushing MoE Inference to the Limit with Transformershuggingface.co · Consultado em 18/11/2026
- NVIDIA RTX Spark Compact Desktops Out Now | NVIDIA Blogblogs.nvidia.com · Consultado em 18/11/2026