Une avancée majeure dans l’IA open source
Alibaba, à travers son équipe Qwen, vient de dévoiler la série Qwen3, un ensemble de huit nouveaux modèles d’IA open source, dont deux modèles à Mixture of Experts (MoE) et six modèles denses.
Le plus performant, Qwen3-235B-A22B (235 milliards de paramètres), surpasse le modèle DeepSeek R1 et même le modèle propriétaire OpenAI o1 sur des benchmarks comme ArenaHard, spécialisé en mathématiques et en ingénierie logicielle.
Des performances proches des modèles propriétaires
Grâce à sa nouvelle architecture, Qwen3 rivalise avec des solutions propriétaires comme Google Gemini 2.5-Pro.
Le modèle introduit également une fonctionnalité de raisonnement hybride, permettant de basculer entre une réponse rapide ou un raisonnement approfondi pour des tâches complexes dans les domaines scientifiques, techniques ou mathématiques.
Cette approche a été inspirée de travaux de recherche menés par Nous Research.
Un déploiement facilité et une large compatibilité
Les modèles Qwen3 sont disponibles sur Hugging Face, ModelScope, Kaggle et GitHub, sous licence Apache 2.0.
Ils sont également accessibles via l’interface web Qwen Chat.
Grâce à des frameworks comme SGLang et vLLM, les modèles peuvent être utilisés rapidement via des endpoints compatibles avec OpenAI, permettant aux entreprises de migrer en quelques heures seulement.
Des innovations techniques majeures
Qwen3 a doublé la taille de ses données d’entraînement par rapport à son prédécesseur Qwen2.5, atteignant environ 36 000 milliards de tokens.
Les données comprennent des extractions de documents type PDF, des crawls web, et du contenu synthétique généré par d’anciens modèles Qwen axés sur les mathématiques et la programmation.
Le processus d’entraînement a combiné trois phases de pré-entraînement et quatre étapes de raffinage post-entraînement pour affiner les capacités de raisonnement hybride.
Des perspectives prometteuses pour les entreprises
Les modèles Qwen3 offrent une flexibilité exceptionnelle, pouvant être utilisés localement sur Ollama, LMStudio, MLX ou encore via llama.cpp.
Avec la réduction de la surface d’attaque lors de l’inférence grâce à la sparsité MoE, et la possibilité de fine-tuning privé via LoRA et QLoRA, Alibaba positionne Qwen3 comme une alternative crédible et sécurisée pour les entreprises soucieuses de garder le contrôle de leurs données.
