EM POUCAS LINHAS
- Os 5,38 GB declarados referem-se aos pesos de texto, não à RAM mínima do aparelho.
- O repositório relata 5,33 GB de RAM ativa em uma avaliação, sem estabelecer o pico de consumo.
- Nos testes divulgados, a variante perdeu acertos em matemática e programação frente à referência BF16.
- A rota documentada para esta variante é MLX em Apple Silicon; Windows e qualidade em português brasileiro permanecem sem validação específica.
O número “5,4 GB” responde a uma pergunta sobre o tamanho declarado de uma configuração do Inkling 2 Mini, mas não resolve sozinho a pergunta prática: “meu aparelho consegue executá-la?”. No repositório LookAtMyQuant, a configuração aparece com 5,38 GB de pesos de texto e uma medição relatada de 5,33 GB de RAM ativa. São grandezas distintas, obtidas em contextos distintos. Nenhuma delas, isoladamente, é um requisito mínimo universal de memória.
O que foi anunciado — e quando
O artigo de apresentação na Hugging Face foi publicado em 20 de novembro de 2026 e descreve o lançamento do Inkling 2 Mini, suas características e caminhos de inferência. Essa é a data do artigo sobre o modelo, não uma data comprovada de publicação da quantização de 5,38 GB: o texto fornecido do repositório LookAtMyQuant não permite datar essa variante. Também não se deve tomar o anúncio do modelo como prova de que uma configuração produzida por outro responsável estava disponível naquela data.
A cobertura anterior do acervo explica as rotas locais e quantizações do Inkling 2 Mini, inclusive as questões para Windows. Aqui o recorte é mais estreito: interpretar os números e as avaliações divulgados para uma variante do LookAtMyQuant, sem atribuir a ela as condições de execução das outras distribuições.
Peso em disco não é pico de memória
O repositório LookAtMyQuant lista a variante chamada de “5,4 GB” com 5,38 GB de pesos de texto, ante 18,89 GB de pesos de texto para a referência BF16 usada em sua comparação. O rótulo arredonda o tamanho declarado dessa parte do modelo; não informa, por si, o tamanho total do download ou o espaço necessário para todos os componentes.
Na descrição de desempenho, o autor do repositório relata 5,33 GB de RAM ativa para a variante de “5,4 GB” em uma avaliação de execução em Apple M5 Max. RAM ativa é uma observação naquele cenário, não uma garantia de que qualquer máquina com essa quantidade livre conseguirá carregar e usar o modelo. Para dimensionar um uso real, ainda faltam informações sobre o pico de memória na configuração escolhida, a extensão das entradas, o estado mantido durante a geração e eventuais componentes adicionais.
Há uma ressalva especial para imagens: a avaliação descrita pelo LookAtMyQuant manteve uma torre visual BF16 de 637 MB sem alteração. Portanto, não é correto vender os 5,38 GB de pesos de texto como tamanho comprovado de toda a instalação multimodal. O repositório também descreve um modelo auxiliar opcional para acelerar a geração; quem pretende usá-lo precisa verificar separadamente os arquivos e a memória exigidos pela combinação escolhida.
Quanto a redução afetou a qualidade relatada?
Na tabela publicada pelo responsável pela quantização, a variante de 5,38 GB acertou 174 de 200 questões GSM8K e 117 de 164 problemas HumanEval. A referência BF16 usada na mesma tabela acertou, respectivamente, 193 de 200 e 152 de 164. A economia de pesos de texto vem, portanto, acompanhada de perdas nesses dois conjuntos de tarefas, segundo a avaliação do próprio repositório. Esses resultados não são uma validação independente nem autorizam prever a taxa de acerto de uma aplicação específica.
O método de avaliação informado no repositório usa geração gulosa, limite de 1.536 novos tokens, uma amostra GSM8K, o conjunto HumanEval indicado e quatro testes de visão com a torre BF16 preservada. Embora o autor também mencione janelas de texto em diferentes idiomas, os números citados acima não constituem uma avaliação específica de tarefas em português brasileiro. Acertar os testes de visão divulgados tampouco demonstra qualidade uniforme para qualquer imagem.
Que aparelho e que verificações fazem sentido?
O LookAtMyQuant apresenta essas compilações como MLX para Apple Silicon e inclui uma forma de invocar a variante de “5,4 GB” com seu runtime. Já o artigo de lançamento na Hugging Face descreve suporte do modelo a Transformers, Llama App, MLX e SGLang. A lista mais ampla se refere ao ecossistema do modelo; não confirma que os pesos específicos do LookAtMyQuant executem em Windows ou nessas outras rotas.
Para um leitor no Brasil, a decisão começa por identificar o arquivo e o runtime exatos, conferir a memória disponível no dispositivo e pedir evidência de pico de consumo para o tipo de uso pretendido. Em seguida, vale comparar respostas da variante e de uma referência em tarefas próprias, sobretudo se forem em português brasileiro, programação ou leitura de imagens. Isso é um roteiro de verificação, não um relato de teste realizado aqui. Com as fontes disponíveis, permanecem pendentes um requisito mínimo geral de RAM, a compatibilidade desta variante com Windows e resultados específicos para português brasileiro.
Fontes e referências
- GitHub - ShinMegamiBoson/lookatmyquant: A quantization compiler that delivers 12× lower KL than Q4_K_M at the same file size · GitHubgithub.com · Consultado em 22/11/2026
- Welcome Inkling 2 Mini, Cutting-edge Performance for your Local Setuphuggingface.co · Consultado em 22/11/2026