Инженеры проиграли ИИ: модель Claude Opus 4.5 справилась с заданием Anthropic лучше любого из людей

Anthropic вчера объявила о выпуске новой флагманской модели искусственного интеллекта Claude Opus 4.5. Позже компания рассказала, что в двухчасовом задании, предлагаемом самой Anthropic при найме сотрудников на инженерные позиции, Opus 4.5 показала лучший результат по сравнению с живыми участниками теста.

По утверждению Anthropic, результат ИИ достигнут за счёт многократного решения каждой задачи и выбора лучшего из полученных ответов. Хотя тест не охватывает все компетенции, необходимые инженеру, сам факт превосходства модели над сильными кандидатами в ключевых технических аспектах заставляет предположить, что ИИ в будущем может изменить инженерию как профессию, пишет Business Insider.

Подробности содержания теста не раскрываются, но из отзывов на платформе Glassdoor известно лишь, что в 2024 году он включал четыре уровня и требовал реализации определённой системы с последующим добавлением функциональности. Неизвестно, был ли использован аналогичный формат задания при оценке новой версии Claude Opus 4.5, которая вышла спустя всего три месяца после предыдущей модели, получив улучшения не только в генерации кода, но и в создании профессиональных документов, включая таблицы Excel и презентации PowerPoint.

Данный релиз, по мнению специалистов, продолжает укреплять лидирующие позиции Anthropic в сфере ИИ для программирования. Даже компания Meta✴ Марка Цукерберга (Mark Zuckerberg), являющаяся конкурентом в гонке ИИ, использует Claude для поддержки своего внутреннего помощника по кодированию под названием Devmate.

Методы обучения своих моделей компания держит в секрете. Однако ранее Эрик Саймонс (Eric Simons), генеральный директор стартапа Stackblitz, разработавшего сервис Bolt.new, предположил, что Anthropic, возможно, использует ИИ для написания и запуска кода, а затем анализирует результаты как с помощью людей, так и с применением ИИ-инструментов. Это описание подтвердила Дианна Пенн (Dianne Penn), руководитель направления управления продуктами, исследований и передовых технологий в Anthropic, назвав его «в целом верным».

Ещё в октябре глава Anthropic Дарио Амодеи (Dario Amodei) сообщил, что ИИ Claude уже пишет 90 % кода для большинства команд внутри компании. При этом он отметил, что это не приведёт к сокращению инженеров, а скорее наоборот, увеличит в них потребность, так как люди смогут сосредоточиться на самой сложной 10-процентной части работы или на контроле группы ИИ-моделей.