MLPerf Mobile

MLPerf Mobile est un outil d'analyse comparative gratuit et open source conçu pour mesurer les performances des appareils mobiles tels que les smartphones et les tablettes dans diverses tâches d'intelligence artificielle (IA) et d'apprentissage automatique (ML). Les charges de travail testées incluent la classification d'images, la compréhension du langage, la mise à l'échelle en super résolution et la génération d'images à partir d'invites textuelles. Ce benchmark utilise l'accélération matérielle de l'IA sur de nombreux appareils mobiles récents afin de garantir des performances optimales.

MLPerf Mobile est développé et maintenu par le groupe de travail MLPerf Mobile de MLCommons®, un consortium d'ingénierie IA/ML à but non lucratif composé de plus de 125 membres, dont des entreprises du secteur et des universitaires issus de nombreuses institutions du monde entier. MLCommons produit des benchmarks de premier ordre pour l'entraînement et l'inférence en IA à de nombreuses échelles de systèmes, des grands centres de données aux minuscules appareils embarqués.

Les fonctionnalités de MLPerf Mobile incluent :

- Tests de référence dans divers domaines basés sur des modèles d'IA de pointe, notamment :

- Classification d'images

- Détection d'objets

- Segmentation d'images

- Compréhension du langage

- Super résolution

- Génération d'images à partir d'invites textuelles

- Accélération IA personnalisée sur les appareils mobiles et SoC les plus récents.

- Prise en charge étendue des appareils Android grâce à l'accélération de secours déléguée TensorFlow Lite.

- Modes de test personnalisés pour tous, des utilisateurs occasionnels souhaitant une évaluation rapide des performances aux membres de MLCommons souhaitant soumettre des résultats officiels pour publication.

- Délais de refroidissement personnalisables entre les tests pour éviter les ralentissements thermiques et garantir des résultats précis.

- Stockage optionnel des résultats dans le cloud pour sauvegarder et accéder à vos anciens résultats depuis plusieurs appareils en un seul endroit. (Cette fonctionnalité est gratuite, mais nécessite la création d'un compte.)

MLPerf Mobile est généralement mis à jour plusieurs fois par an avec de nouveaux tests et la prise en charge de l'accélération, au fur et à mesure de l'évolution des modèles d'IA et des capacités des équipements mobiles. Veuillez noter que certains tests de performance peuvent ne pas être pris en charge et, par conséquent, ne pas apparaître comme disponibles pour les tests sur les appareils plus anciens.

Le code source et la documentation de l'application mobile MLPerf sont disponibles sur le dépôt Github de MLCommons. Pour toute question ou assistance utilisateur, n'hésitez pas à ouvrir un ticket dans le dépôt Github de l'application :

github.com/mlcommons/mobile_app_open

Si vous ou votre organisation souhaitez devenir membre de MLCommons, veuillez contacter [email protected] pour plus d'informations.