MLPerf Mobile

MLPerf Mobile — это бесплатный инструмент для бенчмаркинга с открытым исходным кодом, предназначенный для измерения производительности мобильных устройств, таких как смартфоны и планшеты, при выполнении различных задач искусственного интеллекта (ИИ) и машинного обучения (МО). Тестируемые рабочие нагрузки включают классификацию изображений, распознавание языка, масштабирование до сверхвысокого разрешения и генерацию изображений на основе текстовых подсказок. Этот бенчмарк использует аппаратное ускорение ИИ на многих современных мобильных устройствах для обеспечения наилучшей производительности там, где это возможно.

MLPerf Mobile разработан и поддерживается рабочей группой MLPerf Mobile в MLCommons® — некоммерческом консорциуме инженеров ИИ/МО, объединяющем более 125 участников, включая отраслевые компании и учёных из различных организаций по всему миру. MLCommons разрабатывает бенчмарки мирового класса для обучения и вывода ИИ в системах различного масштаба, от крупных инсталляций в центрах обработки данных до небольших встраиваемых устройств.

Возможности MLPerf Mobile включают:

- Тестирование производительности в различных областях на основе современных моделей искусственного интеллекта, включая:

- Классификацию изображений

- Обнаружение объектов

- Сегментацию изображений

- Понимание языка

- Суперразрешение

- Генерацию изображений по текстовым запросам

- Настраиваемое ускорение искусственного интеллекта на новейших мобильных устройствах и однокристальных системах (SoC).

- Широкая поддержка устройств Android благодаря ускорению делегирования TensorFlow Lite.

- Индивидуально разработанные режимы тестирования для всех: от обычных пользователей, желающих быстро оценить производительность, до участников MLCommons, планирующих представить официальные результаты для публикации.

- Настраиваемые задержки охлаждения между тестами для предотвращения перегрева и обеспечения точности результатов.

- Дополнительное облачное хранилище результатов для сохранения и доступа к предыдущим результатам с нескольких устройств в одном месте. (Эта функция бесплатна, но требует регистрации учетной записи.)

MLPerf Mobile обычно обновляется несколько раз в год, добавляя новые тесты и поддержку ускорения по мере развития моделей искусственного интеллекта и возможностей мобильного оборудования. Обратите внимание, что некоторые тесты производительности могут не поддерживаться и, следовательно, не отображаться как доступные для тестирования на старых устройствах.

Исходный код и документация мобильного приложения MLPerf доступны в репозитории MLCommons на Github. Для получения поддержки или вопросов, пожалуйста, обращайтесь в репозиторий приложения на Github:

github.com/mlcommons/mobile_app_open

Если вы или ваша организация заинтересованы в членстве в MLCommons, свяжитесь с нами по адресу [email protected] для получения дополнительной информации.