OpenAI заявила об улучшении GPT-6 при работе с COBOL, Fortran и Visual Basic

По данным OpenAI, GPT-6 Astra прошла в среднем 87,4% тестов нового бенчмарка MultiLangBench для 20 языков программирования против 26,8% у GPT-5.6 Sol. В отдельном тесте переноса программ с COBOL модель GPT-6.1 Sol достигла результата 97,9% в режиме повышенной глубины рассуждений.

OpenAI опубликовала результаты тестирования новых моделей на языках программирования, для которых доступно сравнительно мало кода и документации. В бенчмарке MultiLangBench модель должна с нуля реализовать совместимый с SQLite движок на одном из 20 языков.

GPT-6 Astra при максимальной глубине рассуждений прошла в среднем 87,4% тестов, тогда как GPT-5.6 Sol — 26,8%. Для COBOL показатели составили 72,1% и 10,9% соответственно, для Fortran — 83,5% и 21,4%, а для Visual Basic — 89,4% и 27,5%.

Во втором тесте модели переносили программы с COBOL на C++, Java, Kotlin, Python или Rust с сохранением исходного поведения. GPT-6.1 Sol успешно выполнила 86,6% заданий при низкой глубине рассуждений и 97,9% при её повышении; результат GPT-5.6 Sol в сопоставимом экономичном режиме составил 5,4%.

OpenAI открыла тестовый набор MultiLangBench. Компания подчёркивает, что использование моделей для переноса производственных систем по-прежнему требует проверки специалистами и тестирования с учётом бизнес-правил и зависимостей конкретного ПО.