OpenWALDO создаёт открытый корпус данных с отслеживаемым происхождением для обучения ИИ

Основатель CentOS и Rocky Linux Грегори Курцер запустил OpenWALDO — проект общего публичного корпуса для обучения моделей ИИ. Вместе с данными он хранит сведения об источниках, лицензиях, версиях и контрольных суммах, позволяя проследить происхождение обученных весов.

Грегори Курцер, основатель проектов CentOS и Rocky Linux, представил OpenWALDO — открытую инициативу по созданию общего корпуса данных и инструментов для воспроизводимого обучения моделей искусственного интеллекта. Разработку спонсирует инфраструктурная компания CIQ.

Название проекта расшифровывается как Open Weights, Artifacts, Licenses, Data, Origins — открытые веса, артефакты, лицензии, данные и происхождение. OpenWALDO должен устранить один из основных недостатков моделей с открытыми весами: обычно их можно скачать и запустить, но состав обучающего набора и условия использования исходных материалов остаются неизвестными.

Метаданные корпуса проходят проверку через Git, а канонические наборы хранятся в формате Parquet с адресацией по содержимому. Для каждого набора фиксируются источники, заявленные лицензии, число документов и токенов, версии преобразователей и хеши объектов. Эти сведения включаются в ведомости состава — Bill of Materials, или BOM, — которые сопровождают обучение и выпуск модели. При этом проект подчёркивает, что зафиксированная лицензия является проверяемым заявлением участника, а не юридическим заключением.

Инструментарий WALDO уже поддерживает проверку и экспорт корпусов, обучение через MLX, PyTorch и односерверный TorchTitan, а также выпуск пакетов для Hugging Face, MLX, GGUF и Ollama. Код разрабатывается публично на GitHub и распространяется по лицензии Apache 2.0.

На момент запуска индекс OpenWALDO содержал около 167,3 млрд эталонных токенов из государственных документов, научных публикаций, списков рассылки и литературы общественного достояния. Это заметно меньше объёмов данных, используемых для обучения крупнейших моделей, а сведения о полностью обученных на корпусе OpenWALDO моделях пока отсутствуют.