Olala mini, le premier LLM d'OVHcloud qui n'a pas besoin de GPU

Source : CowcotLand

Publié le : mardi 17 novembre 2026 à 08:23

Photo fournie avec l'article

OVHcloud n'est plus seulement un acteur du cloud, la société se lance aussi dans les modèles de langage avec Olala mini 7A1B, premier représentant d'une nouvelle famille de LLM. Un modèle compact, ouvert, et conçu pour tourner sur du matériel que tout le monde ou presque possède déjà. Sept milliards de paramètres, mais un seul qui travaille Olala mini repose sur une architecture Mixture of Experts de 7 milliards de paramètres, dont 1 milliard seulement est activé à chaque fois, réparti sur 256 experts par couche. Pour l'attention, OVHcloud a opté pour une approche hybride mêlant Differential-TPA et Mamba-3, le tout au format BF16. L'intérêt ? Une fraction du modèle est sollicitée à chaque requête, ce qui le rend plus rapide et moins gourmand. Les chiffres avancés sont plutôt parlants : - GPU : 8 Go de mémoire minimum - RTX A4500 : 160 tokens par seconde - Simple processeur, sans GPU : 50 tokens par seconde - Fenêtre de contexte : 32000 tokens Le contexte est pour l'instant limité, mais une version 1.1 attendue d'ici la fin de l'année doit le faire passer à 128000 tokens, tout en améliorant le raisonnement mathématique. […]

Lire le reste de l'article sur CowcotLand.