Xiaomi est officiellement entré dans l’espace d’intelligence artificielle avec la publication de son premier modèle de raisonnement open-source, MIMO 7B. Développé par le nouvel établissement de la société Équipe de base de gros modèleMIMO représente un changement stratégique par rapport à l’orientation matérielle traditionnelle de Xiaomi pour la recherche et le développement avancés de l’IA.
En dépit d’avoir juste 7 milliards de paramètresMimo a démontré de fortes performances dans des tâches de raisonnement complexes, dépassant des modèles beaucoup plus grands comme O1-min d’Openai et 32B QWQ-Preview d’Alibaba. Cette efficiency a placé Xiaomi sous les projecteurs pour produire un modèle très efficace et compact succesful de rivaliser avec plus de concurrents à forte intensité de ressources.
Efficiency de référence et stratégie de conception
MIMO 7B a surpassé ses pairs sur des repères tels que AIME 24-25 (un check de raisonnement mathématique) et Livecodebench v5 (un ensemble de données de défi de programmation). Ce succès est attribué à un processus de développement bien structuré composé à la fois d’improvements pré-formation et post-formation.
Les stratégies de pré-formation comprenaient:
- Wealthy Raisonnement Corpus: Axé sur l’extraction et l’intégration des connaissances de raisonnement complexes.
- Génération de données synthétiques: Produit approximativement 200 milliards de jetons des données de raisonnement au niveau des consultants pour améliorer la profondeur de la formation.
- TRAPACTION PROCHACHEMENT: A utilisé une méthode de formation en trois phases avec des niveaux de difficulté croissants.
- Exposition approfondie des jetons: Formé sur un vaste 25 billions de jetonsassurer un apprentissage complet.
Améliorations post-entraînement:
- Check des récompenses axées sur la difficulté: A introduit une nouvelle approche pour aborder la rareté de récompense dans les tâches algorithmiques complexes.
- Methods de rééchantillonnage des données: Appliqué pour stabiliser les processus d’apprentissage du renforcement.
- Système de déploiement sans couture: Une efficacité de formation accrue par 2,29 fois et vitesse de validation par 1,96 foisrationalisation du pipeline d’apprentissage par renforcement (RL).
Une imaginative and prescient plus massive de l’IA
La libération de MIMO souligne les ambitions plus larges de Xiaomi dans le secteur de l’IA. Bien que connu pour l’électronique grand public et les appareils intelligents, Xiaomi se positionne désormais comme un acteur sérieux dans le développement du modèle d’IA. Par Open-source MIMOXiaomi contribue à l’écosystème collaboratif de la recherche sur l’IA, favorisant l’innovation au-delà du développement propriétaire.
Les développeurs et les chercheurs de l’IA peuvent désormais accéder à MIMO 7B et à sa documentation approach complète through Officiel de Xiaomi Référentiel de visage étreintoffrant un outil précieux pour plus d’expérimentation et de développement. Cette décision reflète l’intention de Xiaomi de renforcer une forte présence dans l’IA tout en soutenant la communauté open supply.
Déposé dans . En savoir plus sur IA (intelligence artificielle), Chatte et Xiaomi.
