Olala mini 7A1B sai no Hugging Face com licença Apache 2.0 e arquivos GGUF, mas por enquanto só roda nos forks da OVHcloud
vargas.com.br · · Novidades

Em 19 de novembro de 2026, a OVHcloud publicou no Hugging Face os pesos do Olala mini 7A1B, o modelo de linguagem que a empresa tinha anunciado dois dias antes. Saíram a versão final, o modelo base, a versão de ajuste supervisionado (SFT), arquivos GGUF, uma versão MLX para Mac e o relatório técnico. O detalhe que importa para quem roda em casa: segundo a própria ficha, Ollama, LM Studio e o llama.cpp oficial ainda não conseguem carregar a arquitetura do modelo.
O que foi publicado
- Tamanho: 6,8 bilhões de parâmetros no total e cerca de 1 bilhão ativo por token, segundo a ficha.
- Arquitetura: 36 camadas, sendo 29 Mamba-3 e 7 de atenção, cada uma seguida de um bloco de mistura de especialistas com 256 especialistas (6 ativos por vez) e 1 compartilhado.
- Contexto: 32 mil tokens, somando entrada e saída. A empresa diz que uma versão com 128 mil está a caminho.
- Recursos: raciocínio com quatro níveis de esforço e chamada de ferramentas, por um servidor compatível com a API da OpenAI.
- Idiomas: a ficha lista dezenas de idiomas, entre eles o português; o foco declarado é inglês e as principais línguas europeias.
- Limitações declaradas pelos autores: por ter só cerca de 1 bilhão de parâmetros ativos, guarda menos conhecimento factual e pode afirmar coisas erradas com confiança; foi treinado para buscar dados por ferramentas, não para responder de memória. Raciocínios longos podem entrar em repetição.
Para quem roda em casa
- Programas: os arquivos GGUF exigem o fork do llama.cpp da OVHcloud, que precisa ser compilado. A versão MLX exige um fork do mlx-engine, e o uso com vLLM exige o fork da empresa ou a imagem Docker pronta. O ComfyUI não se aplica, porque é um modelo só de texto.
- Arquivos GGUF (tamanho de arquivo): BF16 com 13,6 GB, 8 bits (q8_0-safe2) com 6,9 GB, 6 bits (Q6_K) com 6,3 GB e 5 bits (Q5_K_M) com 6,0 GB. Não há arquivo de 4 bits: segundo os autores, ele foi testado e retirado por economizar só 0,3 GB e piorar o resultado.
- Versão MLX para Mac: 5,4 GB, indicada pelos autores para Mac com Apple Silicon M2 ou mais novo e 16 GB.
- Memória: para o vLLM, os autores pedem placa Nvidia com 24 GB ou mais. Com o llama.cpp, dizem que o arquivo de 6 bits cabe num MacBook Air M5 de 16 GB e indicam o arquivo BF16 para placas Nvidia, mas não informam a memória mínima de placa nesse caso. O número de 8 GB de placa citado no comunicado de 17/11 não aparece com condições na ficha.
- Velocidade: os autores medem cerca de 72 tokens por segundo com o arquivo de 6 bits num MacBook Air M5 de 16 GB. É medição da empresa.
- Licença: Apache 2.0, que permite uso comercial.
Onde baixar e como começar
- Modelo principal no Hugging Face (pesos em safetensors, com o relatório técnico em PDF).
- Arquivos GGUF: a ficha descreve os passos de clonar o fork, compilar com CMake (com CUDA para placa Nvidia ou Metal para Mac) e abrir o
llama-serverapontando para o arquivo escolhido. - Versão MLX para Mac.
- Quem usa Ollama ou LM Studio precisa esperar o suporte oficial; a ficha não dá prazo.
- Notícia anterior: o anúncio do Olala mini em 17/11.