Консорциум из 40 технологических компаний, в числе которых есть Facebook, Google и другие, намерен разработать методику оценки и набор критериев для тестирования искусственного интеллекта. Измеряя продукты ИИ по этим категориям, компании смогут определить оптимальные решения для них, технологии обучения и так далее. Сам консорциум получил название MLPerf.
Бенчмарки, названные MLPerf Inference v0.5, концентрируются вокруг трёх общих задач машинного обучения: распознавание изображений, обнаружение объектов и системы перевода. Учитывая различные возможности обработки данных на различных устройствах, существуют отдельные тесты для ИИ на различных платформах, таких как смартфоны, серверы и чипы.
Генеральный председатель MLPerf Питер Мэттсон (Peter Mattson) отметил, что формирование таких критериев оценки ИИ создаст стандарты для оценки новых программных платформ машинного обучения, аппаратных ускорителей и облачных и периферийных вычислительных платформ в реальных ситуациях. Также это сформирует равные условия, которые смогут использовать даже самые мелкие компании.
Помимо этого, стандартизация подстегнёт разработку ИИ-систем и направит её в нужное русло. На данный момент пока не сообщается, какие технические особенности реализуются в MLPerf Inference v0.5. Также не ясно, когда набор тестов выйдет на рынок и станет доступен коммерческим структурам. Однако сам факт появления такого инструмента указывает, что разработчики видят перспективы для ИИ-систем.
