DOI: 10.15514/ISPRAS-2026-38(3)-37

^1,2 А.О. Жирков, ORCID: 0009-0000-3059-2332 <azhirkov@gmail.com>

П.Д. Копанев, ORCID: 0000-0002-8794-2433 <kopanevpd@gmail.com>

³ Р.О. Родионов, ORCID: 0009-0000-5044-9963 <roman.rodionov@graphics.cs.msu.ru>

⁴ В.В. Санжаров, ORCID: 0000-0001-6455-6444 <vadim.sanzharov@graphics.cs.msu.ru>

³ В.А. Галактионов, ORCID: 0000-0001-6460-7539 <vlgal@gin.keldysh.ru>

^1,3 В.А. Фролов, ORCID: 0000-0001-8829-9884 <frolov@gin.keldysh.ru>

¹ Институт перспективных исследований проблем искусственного интеллекта и интеллектуальных систем МГУ им. М.В. Ломоносова,
Россия, 119991, г. Москва, Ломоносовский просп., 27, корп. 1.

² ООО "Телепорт3.ру",
Россия, 121059, г. Москва, Бережковская наб., д. 28, помещ. 3/2.

³ Институт прикладной математики им. М.В. Келдыша РАН, Россия,
125047, г. Москва, Миусская пл., д. 4.

⁴ Московский государственный университет имени М.В. Ломоносова, факультет ВМК, Россия, 119991, г. Москва, Ленинские горы, д. 1.

Аннотация. Статья посвящена созданию фотореалистичных 3D-копий объектов – задаче, востребованной в ритейле, дизайне и индустрии развлечений. Анализ современных методов реконструкции выявил их ключевые ограничения: сложности при работе с зеркальными, прозрачными, однотонными и тонкими поверхностями, невозможность одновременного точного восстановления геометрии и материалов, а также высокую трудоемкость получения достоверных моделей методами обратного проектирования. Предложен метод раздельной реконструкции геометрии и материалов с использованием смываемых текстурных маркеров, что позволило обеспечить восстановление материалов и устойчивую реконструкцию геометрии. Архитектура системы допускает интеграцию методов неявной нейросетевой реконструкции и активных сканеров. Эксперименты на репрезентативном наборе показали высокую точность реконструкции геометрии и материалов, корректное переосвещение моделей и низкие затраты времени оператора (менее 15 минут). В ходе апробации выявлено ограничение, характерное для автоматических систем – потеря достоверности при приближении виртуальной камеры, предложены пути его преодоления.

Ключевые слова: фотореалистичная цифровая копия; восстановление материалов; 3D-реконструкция.

Для цитирования: Жирков А.О., Копанев П.Д., Родионов Р.О., Санжаров В.В., Галактионов В.А., Фролов В.А. Система автоматизированного сканирования трехмерных объектов для создания фотореалистичных цифровых копий. Труды ИСП РАН, том 38, вып. 3, часть 3, 2026 г., стр. 79–100. DOI: 10.15514/ISPRAS-2026-38(3)-37.

1. Введение

Цифровая трансформация секторов ритейла, дизайна интерьеров и индустрии развлечений требует внедрения технологий достоверного и массового создания цифровых копий физических объектов. Это обуславливает высокую актуальность разработки автоматизированных систем, способных решать данную задачу.

Несмотря на прогресс в методах 3D-сканирования, их применение пока ограничено в основном узкими нишами: виртуальными музеями с оцифрованными артефактами, контролем качества на производстве объектов и зданий, моделированием протезов по сканам человеческого тела, а также построением карт для навигации роботов. Создание копий объектов массового пользования для просмотра людьми остается в сфере научных исследований, в то время как индустрия полагается на ручное 3D-моделирование с использованием автоматики лишь для чернового наброска и последующего ручного реверс-инжиниринга. Главная причина – недостаточная фотореалистичность сканированных моделей по сравнению с ручными, особенно для объектов с полупрозрачными, зеркальными, однотонными, тонкими поверхностями.

В отсутствие устоявшейся терминологии зафиксируем ключевые понятия, связанные с цифровыми копиями, для обеспечения однозначности изложения, и приведем примеры их применения:

Общие требования к оформлению:

1. Цифровая копия геометрии объекта. Статическая 3D-модель, описывающая форму, размеры и взаимное расположение элементов без учета физических свойств или связи с реальным объектом. Применяется для визуализации, обмеров, автоматизированного проектирования (Computer-Aided Design, CAD).
2. Визуальная копия (цифровая копия). Фотореалистичное цифровое представление внешнего вида объекта (текстуры, цвета, освещение), не требующее идеальной геометрии или физики. Используется в презентациях, турах виртуальной реальности (Virtual Reality,VR), маркетинге.
3. Погружаемая цифровая копия. Интерактивная трёхмерная модель, адаптированная для иммерсивных сред (сред с эффектом присутствия) — дополненной (Augmented Reality, AR) и VR, с поддержкой динамического переосвещения в новом окружении. Содержит данные о материалах для физически корректного рендеринга (Physically Based Rendering, PBR), картах нормалей и геометрии для корректной визуализации. Примеры: примерка товаров в дополненной реальности, интеграция в игровые сцены.
4. Цифровой двойник. Расширенная модель с динамикой, внутренними данными, физическими свойствами и функционалом. Применяется для мониторинга оборудования (например, станков) или интерактивной демонстрации устройства товаров.
5. Редактируемый (параметризуемый) цифровой двойник. Двойник с инструментами для ручного редактирования параметров, оптимизации и генеративных изменений. Используется в проектировании оборудования с вариациями, создании персонализированных протезов, анимированных сценах.

Цель работы – реализация уровня № 3: системы для комплексного восстановления геометрии и материалов объекта. Эта задача сложнее № 2 из-за неоднозначности реконструкции: множество моделей адекватно выглядят в исходной сцене, но лишь немногие сохраняют достоверность при переносе в иную среду с измененным освещением. Таким образом, требуется обеспечить не только просмотр объекта в исходной или виртуальной среде, но и его иммерсивное размещения в VR/AR. Полученная копия может эволюционировать к № 4 (цифровому двойнику), востребованному для товаров ритейла, но это выходит за рамки статьи.

Общей задачей исследования является создание технологии и инструментария для трёхмерной реконструкции объектов, обеспечивающих получение фотореалистичных погружаемых цифровых копий с минимальным участием ручного труда. В рамках этого выделяются следующие конкретные подзадачи:

1. Реконструкция сложных поверхностей. Разработка методов восстановления геометрии и материалов для объектов, представляющих сложность для классических подходов (фотограмметрии и 3D-сканирования): зеркальных, полупрозрачных, однотонных, полых, темных, излучающих, а также содержащих тонкие элементы (рис. 1).
2. Автоматизация и минимизация трудозатрат. Сокращение времени и ручного труда на создание цифровых копий за счет возможности полного охвата внешней геометрии и свойств поверхности объекта за один цикл сканирования, без необходимости его перемещения.
3. Обеспечение совместимости со средами. Разработка методов, гарантирующих возможность визуализации полученных моделей в интерактивных средах (Web, AR, VR), включая поддержку переосвещения в реальном времени.
4. Масштабируемость. Обеспечение возможности реконструкции объектов различных размеров.

Для всесторонней оценки пригодности разрабатываемой системы предлагается использовать следующий комплекс показателей качества:

• Точность реконструкции геометрии.
• Точность восстановления цветовых характеристик и материалов.
• Эффективность реконструкции «проблемных» объектов (см. рис. 1).
• Достигнутый уровень фотореалистичности и визуальной достоверности, в том числе при детальном рассмотрении.
• Полнота охвата поверхности объекта (360°×360°).
• Временные характеристики: длительность автоматической обработки, время работы оператора, скорость рендеринга.
• Степень контакта с объектом в процессе съемки.
• Стоимостные и массогабаритные характеристики оборудования.
• Пригодность результирующих моделей для визуализации в средах AR/VR/Web.

Рис. 1. Примеры объектов, сложные для реконструкции классическими методами.

2. Анализ существующих подходов

2.1 Пассивные оптические методы

Направление исследований, занимающееся построением моделей по фотографиям с акцентом на точность синтеза изображений, часто обозначается как Image-Based Modeling and Rendering (IBMR). Оно объединяет методы построения 3D-моделей по изображениям (IBM) и рендеринга новых видов (IBR).

2.1.1 Классическая фотограмметрия

Основой современных пассивных методов являются алгоритмы Structure-from-Motion (SfM) и Multi-View Stereo (MVS). Библиотеки с открытым исходным кодом, такие как COLMAP [1] и OpenMVS [2], обеспечивают полный цикл обработки данных, позволяя автоматически создавать плотные облака точек и строить текстурированные полигональные модели. Коммерческие решения такие как RealityCapture [3] и Agisoft Metashape [4] позволяют делать это контролируемо, максимизируя качество за счёт временных ресурсов. Преимущества: доступность (требуется лишь цифровая камера), отличная цветопередача, возможность работы с объектами любого масштаба. Недостатки: метод чувствителен к текстуре поверхности. Фотограмметрия не работает с однотонными поверхностями, плохо справляется с зеркальными, блестящими и полупрозрачными объектами из-за нарушения эпиполярной геометрии и ошибок сопоставления ключевых точек [5]. Основной метрикой качества здесь выступает сравнение точности геометрии с эталонным лазерным сканированием (RMSE), однако для задачи создания визуального двойника критичны также текстурные артефакты.

2.1.2 Нейросетевые методы представления сцен (NeRF, 3DGS)

В последние годы произошел сдвиг в сторону неявных представлений геометрии. Метод Neural Radiance Fields (NeRF) [6] и последующий 3D Gaussian Splatting (3DGS) [7] позволяют достигать фотореалистичного рендеринга. Преимущества: 3DGS лидирует по скорости и качестве рендеринга в реальном времени при визуализации сложных эффектов (полупрозрачность, блики). Недостатки: данные методы не восстанавливают явную поверхность и текстуры в традиционном понимании, что ограничивает их применение в инженерных задачах и редактировании. Текстуры имеют меньшую четкость по сравнению с классической фотограмметрией.

2.2.3 Генеративные методы

Новейшее направление – AI-генерация 3D-моделей по небольшой выборке или даже по одной фотографии [8]. Несмотря на высокий потенциал, достоверность таких методов для создания точных цифровых двойников остается крайне низкой из-за возникновения геометрических галлюцинаций.

2.2 Активные методы сканирования и программно-аппаратные комплексы

Активные методы используют проекцию излучения (лазер, структурированный свет) или физический контакт для измерения геометрии.

2.2.1 Лазерные и оптические 3D-сканеры

Лазерные сканеры (триангуляционные, времяпролетные) обеспечивают высокую точность геометрии (до микронного уровня), что востребовано в метрологии и промышленном контроле качества. Однако в чистом виде они не восстанавливают цветовую компоненту. Оптические сканеры структурированного света позволяют захватывать и геометрию, и текстуру, и отличаются высокой скоростью работы. Ограничения: оба типа сканеров чувствительны к оптическим свойствам материала. Блестящие, зеркальные и прозрачные поверхности требуют нанесения матирующего спрея [9], что недопустимо для многих объектов (например, музейных экспонатов).

2.2.2 Контактные сканеры

Координатно-измерительные машины обеспечивают максимальную точность и не зависят от оптических свойств поверхности. Ограничения: низкая скорость, невозможность сканирования мягких или хрупких объектов, риск повреждения поверхности. Как и лазерные системы, они не фиксируют цветовую информацию.

2.2.3 Системы с автоматизированным позиционированием

Использование вращающихся подиумов и поворотных столов позволяет минимизировать ручной труд оператора [10, 11]. Ограничения: ограничение по размеру и массе объекта, невозможность автоматического сканирования нижней части объекта без его переворачивания, что нарушает целостность цикла реконструкции.

2.2.4 Программно-аппаратные комплексы (ПАК)

Существуют специализированные комплексы, такие как Fraunhofer Cultlab3D и Witikon [12], которые комбинируют лазерное сканирование и фотограмметрию для оцифровки культурного наследия. Они качественно решают задачи восстановления геометрии и текстур, но представляют собой дорогостоящие стационарные решения. ПАК также используются для создания наборов данных для сравнения методов. Например, Stanford-ORB [ORB] предоставляет эталонные данные для задачи обратного рендеринга, где геометрия создается с помощью оптического 3D-сканера. Такие работы ориентированы не на разработку самого ПАК, а на получение результата с его помощью, поэтому подобные комплексы создаются в единичных экземплярах, обычно в крупных исследовательских институтах, и не документируются для возможности их тиражирования [13]. Но даже самые дорогие комплексы, показывают низкое качество на «проблемных» (рис. 1) объектах при восстановлении и геометрии и материалов, поэтому для достижения требуемого качества погружаемой цифровой копии, требуют ручной доработки.

2.3. Обратное проектирование

Обратное проектирование через CAD-моделирование остается наиболее универсальным, но и самым трудоемким способом, требующим участия высококвалифицированных специалистов для ручной ретопологии и воссоздания материалов.

2.4. Выводы

Анализ источников выявляет ряд системных проблем, которые не решаются существующими аналогами в совокупности:

• Ограничения по поверхностям: лазерные и оптические сканеры плохо работают с блестящими, прозрачными и темными объектами. Контактные 3D-сканеры не позволяют сканировать хрупкие и мягкие объекты и требуют значительных затрат ручного труда. Фотограмметрия не справляется с однотонными поверхностями.
• Неполнота геометрии: системы с поворотными столами решают проблему минимизации ручного труда, но не сканируют нижнюю часть объекта за один цикл.
• Отсутствие свойств материалов: большинство технологий фиксируют лишь базовую геометрию и диффузную текстуру, не предоставляя параметров PBR для физически корректного рендеринга.
• Трудоемкость постобработки: устранение артефактов, ремоделинг и ретекстурирование требуют участия высококвалифицированных специалистов и значительного времени.
• Достоверность: новейшие методы генерации 3D-моделей по изображениям пока не обеспечивают достоверность, необходимую для практического применения (вероятность геометрических галлюцинаций высока).
• Ограничения неявных методов: современные методы IBMR, основанные на нейросетевой реконструкции (3DGS, NeRF), визуально справляются со всеми типами поверхностей, но обладают меньшей четкостью и ограничены в применении из-за неявного способа задания геометрии.
• Проблема синхронизации: методы распознавания материалов часто отделены от систем создания геометрии.

Тем не менее, для решения поставленной во введении задачи выделим два подхода, которые наиболее близки к её решению. Во-первых, это ПАК уровня промышленных комплексов высокого класса, либо использование обратной инженерии. Однако, с точки зрения рассмотренных показателей, такие ПАК не продаются отдельно и стоимость их воспроизведения можно оценить косвенно: например, сканер Covision Media, входящий в оборудование [13], стоит порядка €350 000 за единицу. Ручное создание CAD-моделей, в свою очередь, сильно зависит от объекта: стоимость и время разработки одного экземпляра могут достигать нескольких недель, а достоверность также остается под вопросом.

Таким образом, отсутствует сбалансированный по сформулированным во введении показателям подход, который бы создавал погружаемую цифровую копию объекта с произвольными свойствами поверхностей с достаточным для коммерческого использования уровнем качества.

3. Архитектура предложенной системы

3.1 Общий вид системы и схема её работы

Для решения поставленной задачи предложена архитектура системы на базе ПАК с вращающейся платформой дополненная модулями: прозрачная платформа для съёмки снизу; фоновая система с маркерами, панорамной камерой и регулируемым светом для реконструкции материалов; маркеры на стекле для объектов с малым текстурным разнообразием; двухэтапная съёмка (исходная + с текстурирующим покрытием); раздельная реконструкция геометрии (по покрытию) и материалов (по исходным снимкам) с объединением в текстурированную модель (рис. 2).

Термин «текстурирующее покрытие» означает временный слой, наносимый для создания искусственной текстуры, по аналогии с термином «матирующее покрытие», используемым для активных сканеров для обеспечения отражений активного излучения.

Если объект содержит полупрозрачные поверхности или тонкие структуры, воспринимаемые как полупрозрачные, то в системе реализуется этап реконструкции в неявное представление, например, трёхмерные гауссианы (3D Gaussian Splatting, 3DGS). Если объект содержит тонкие геометрические структуры, критичные для сохранения, в систему может быть интегрирован этап сканирования с использованием активного 3D-сканера. Данные модули обеспечивают полноту системы, но их применение целесообразно только при недостаточном качестве базовой реконструкции.

Работа системы включает три этапа:

• Настройка: установка стекла под объект; фиксация 3D/2D-маркеров; съёмка 360°-панорамы для модели освещения (с визуальным кодом на фоне);
• Съёмка: размещение объекта на стекле; 360°-фото сверху/снизу; нанесение смываемых покрытий (на нематовые поверхности); повторная съёмка;
• Реконструкция: геометрия – по покрытиям; цвет/материалы – по исходным + освещению; объединение в 3D-модель.

Рис. 2. Архитектура предложенной системы. Пунктиром отмечены необязательные модули для простых текстурированных матовых объектов.

3.2 Аппаратная часть ПАК

Аппаратная часть включает Teleport-студию (рис. 3), объект и текстурирующее покрытие. Тип покрытия зависит от поверхности (рис. 4):

• Многоцветные краски – на большие поверхности, смываемые водой.
• Смываемые маркеры или стикеры – для небольших участков.
• Матирующий спрей – для сильно бликующих поверхностей.
• Меловые краски двух цветов – для сильно отражающих поверхностей.
• Временные стикеры – на впитывающие однотонные поверхности.
• Сплошное покрытие – для полупрозрачных поверхностей.

Объект размещается на прозрачной платформе (рис. 5), что обеспечивает обзор 360°×360° без переворачивания. Стекло должно обладать высокой прозрачностью и прочностью. Размер стекла подбирается так, чтобы габариты объекта были в два раза меньше габаритов стекла.

Далее представлены особенности варианта реализации системы. Используются осветлённые закалённые стёкла (600×600×5 мм) и музейное стекло Artglass (400×600×2 мм). Светопроницаемость музейного стекла – 97–99%, осветлённого – около 89%. Светоотражение у осветлённых стёкол – около 20%, у музейного – менее 1%. Закалка увеличивает прочность, что позволяет сканировать тяжёлые объекты, однако может придавать цветовые оттенки, поэтому используются и более тонкие стёкла. Полировка уменьшает видимость границ.

Рис. 3. Фотография варианта реализации Teleport-студии.

Рис. 4. Объекты на этапе съёмки фотографий для реконструкции материалов и на этапе реконструкции геометрии с различными видами текстурирующих покрытий.

Рис. 5. Полнота охвата поверхности объекта (360°×360°) обеспечивается за счёт вращения стеклянной платформы.

Для исключения бликов и «объектов-призраков» применяются решения: съёмка под углами >15°, текстурные блоки под стеклом, поляризационные фильтры. На платформе располагаются текстурные маркеры (2D и 3D). Использовалась клетчатая бумага с узорами и металлические изделия. Держатели стёкол – свободно стоящие колонны (мебельные ножки).

Колонны установлены на вращающейся платформе с пультом управления. Подиумы диаметром 35–45 см, грузоподъёмностью до 40 кг, периодом оборота 30–120 сек. Скорость варьируется для исключения смазывания и вибрации. Система освещения состоит из рассеянного фона, прожекторов и широкоугольного света. Конфигурация освещения изменяется без перемещения объекта путём включения источников, снабжённых пультами. Использовались светодиодные осветители 120 Вт, 5600 К с регулировкой 10–100%. Для мягкого света использованы софтбоксы 30×160 см и 60×90 см.

Система фотосъёмки фиксирует параметры экспозиции (баланс белого, выдержка, ISO). Фон – однородная поверхность (окрашенная стена, ткань или винил). На фон и платформу наносятся текстурные изображения для определения позиции камеры. Для построения модели освещения используется панорамная камера с HDR-съёмкой (серия снимков с разной выдержкой), размещаемая вместо объекта. Встроенный HDR-режим показал меньшую эффективность по сравнению с обработкой серии кадров.

Для определения позиции камеры и модели освещения относительно вращающегося объекта на однородный фон наносится текстурное изображение. Для повышения стабильности определения позиции объекта относительно камеры на прозрачную платформу также устанавливается текстурное изображение (рис. 5).

В режиме построения трёхмерной модели виртуального освещения ПАК содержит панорамную камеру с поддержкой съёмки в расширенном динамическом диапазоне (High Dynamic Range, HDR), размещаемую вместо объекта. Должны быть получены изображения при различных конфигурациях освещения. Панорамная камера необходима для построения модели освещения при восстановлении материалов. В реализованной системе использовалась серия снимков с разной выдержкой, которые впоследствии объединялись в одно изображение с плавающей точкой (рис. 6). Встроенный HDR-режим 16-битной съёмки показал меньшую эффективность и гибкость по сравнению с обработкой нескольких снимков.

Рис. 6. Панорамные фотографии для построения модели освещения посредством HDR-съёмки
на месте объекта с разницей в выдержке более 1000×.

Для объектов, требующих максимально высокой точности геометрии, система может быть дополнена модулем активного 3D-сканирования. В реализованном варианте использовался сканер RangeVision Spectrum. Однако интеграция активного сканера существенно снижает общую производительность системы, в частности замедляя работу модуля синхронизации геометрии и материалов. Кроме того, наряду с повышением точности геометрии, возрастают артефакты при сшивке геометрической и цветовой компонент. Поэтому с точки зрения баланса характеристик и конечного качества, использование данного модуля рекомендовано только в исключительных случаях.

3.3 Программная часть ПАК: подсистема реконструкции геометрии

На вход программного модуля ПАК поступают следующие данные: модель освещения, формируемая панорамной камерой и системой источников света; фотографии объекта, полученные цифровыми камерами; а также фотографии объекта с нанесёнными текстурирующими покрытиями.

Дополнительный модуль альтернативных методов представления геометрии и цвета поддерживает 3D Gaussian Splatting (3DGS), а также другие современные методы IBMR, например NeRF (Neural Radiance Fields – нейронные поля излучения). Такие представления применяются в случаях, когда объекты содержат поверхности, которые при реконструкции в виде полигональных сеток визуально недостаточно точно воспроизводят оригинал. К таким поверхностям относятся, например, очень тонкие структуры (растения), полупрозрачные материалы, а также поверхности с перфорацией или сложной микроструктурой (тканевые сетки).

В качестве программных средств для модуля фотограмметрической реконструкции геометрии в реализованной системе использованы COLMAP [1] и OpenMVS (Open Multi-View Stereo) [2] с добавлением ряда фильтров и специализированных инструментов, направленных на повышение точности, детализации и гибкости настройки процессов 3D-реконструкции и текстурирования для сложных объектов.

COLMAP – программное обеспечение с открытым исходным кодом, широко применяемое для фотограмметрической реконструкции трёхмерных объектов по набору фотографий. COLMAP выполняет калибровку камер и построение разреженной реконструкции, которая служит начальным, но важным этапом создания точной модели объекта.

OpenMVS также является программным обеспечением с открытым исходным кодом, предназначенным для выполнения плотной реконструкции 3D-моделей на основе данных из нескольких изображений. OpenMVS принимает на вход калиброванные параметры камер и разреженные облака точек, сгенерированные COLMAP, и преобразует их в детализированные 3D-модели, способные воспроизводить сложные геометрические особенности объектов.

Стандартная конфигурация OpenMVS использует все доступные фотографии для текстурирования модели. Однако, учитывая специфику работы с объектами, обладающими сложными оптическими свойствами (полупрозрачные, прозрачные или зеркальные поверхности), в предлагаемом решении реализована возможность выбора подмножества фотографий для текстурирования. Такой подход позволяет сначала получить точную геометрию модели на базе фотографий с нанесённым текстурирующим покрытием, а затем использовать для текстурировать её фотографии исходного объекта без покрытия. Данный метод существенно повышает точность и качество получаемых 3D-моделей (рис. 7).

3.4 Программная часть ПАК: подсистема реконструкция материалов

Для реконструкции параметров материалов объектов реального мира используется пространственно-неоднородная функция двунаправленного отражения (Spatial Varying BiDirectional Reflectance Function, SVBRDF). Применялась модель материала «Principled», доступная во многих системах рендеринга и близкая к стандарту материалов Khronos glTF 2.0. Однако добавлена поддержка реконструкции параметров, соответствующих расширениям glTF: KHR_materials_clearcoat и KHR_materials_ior. Эти параметры отвечают за дополнительный отражающий слой на поверхности объекта и за базовую отражающую способность материала соответственно.

Таким образом, в предложенной схеме реконструкции предполагается использование не трёх, а пяти параметров модели материала:

• текстура базового (диффузного) цвета;
• текстура шероховатости;
• текстура «металличности»;
• текстура отражающего слоя (clearcoat);
• значение индекса преломления материала (однозначно соответствует базовой отражательной способности, рассчитанной по формулам Френеля).

Рис. 7. Сравнение качества реконструкции геометрии при использовании классической
и предложенной двухэтапной фотограмметрии.

Освещение сцены задаётся в виде HDR-панорамы помещения, в котором производилась съёмка. Съёмка HDR-панорам выполняется отдельным устройством, отличным от устройства для съёмки восстанавливаемого объекта, из-за чего возникает рассогласование параметров реального освещения и виртуального, полученного из панорамы. Кроме того, остаётся неизвестным положение восстанавливаемого объекта на каждом кадре относительно окружающего освещения. Эта проблема не влияет на реконструкцию формы объекта (полигональной сетки), но серьёзно ухудшает качество восстановления материала. Для решения данной проблемы разработан метод, позволяющий приблизительно оценить параметры освещения, такие как оттенок, яркость и контраст HDR-панорамы, а также положение объектов в сцене (рис. 8).

Рис. 8. Схема метода реконструкции положения объекта в сцене.

Оттенок, яркость и контраст восстанавливаются путём оптимизации этих параметров одновременно с материалом поверхности объекта с использованием дифференцируемого рендеринга на базе Mitsuba3 [14]. Mitsuba3 – это рендерер, основанный на физических принципах (PBR), который позволяет оптимизировать и адаптировать материалы и освещение с помощью дифференцируемого рендеринга. Положение объекта сначала оценивается на основе сопоставления ключевых точек на фотографиях и панораме (рис. 9), а затем уточняется с помощью оптимизации.

Рис. 9. Сопоставление ключевых точек на панораме и снимке объекта. В качестве маркера используется нумерованная съёмочная хлопушка с нанесённым орнаментом.

4. Анализ сбалансированности показателей работы системы

В данном разделе приведены полученные показатели работы системы, сформулированные во введении, и выполнено их сравнение с аналогами, рассмотренными в разделе 2. Важно отметить, что многие показатели являются взаимозависимыми, поэтому с точки зрения общей эффективности системы приоритет отдаётся достижению сбалансированных, а не исключительно максимальных значений.

4.1 Точность реконструкции геометрии, цветовой компоненты и материалов

Максимальные значения геометрической точности в предложенной системе сопоставимы с точностью систем, оснащённых активным сканером. Однако системы на базе активного 3D-сканирования (оптические и лазерные) обладают низкой точностью цветопередачи, а попытки использования отдельного сканера для текстурирования приводят к ошибкам согласованности между геометрической и цветовой компонентами, что существенно снижает общую визуальную оценку качества. Кроме того, использование отдельного сканера значительно замедляет работу всей системы. Поэтому с точки зрения сбалансированности показателей рекомендуется получать геометрию на базе предложенного двухэтапного метода. В нём отсутствует проблема рассогласованности поскольку для восстановления геометрии и текстурирования используется единая система координат и состояние объекта. Конкретные значения метрик на созданном нами наборе данных приведены в табл. 1. и табл. 2.

Сравнение с аналогами других ПАК затруднено из-за необходимости тестирования на идентичных объектах; поэтому количественная оценка приводится только на собственном наборе даных.

Модуль реконструкции материалов был протестирован на собственном наборе из 8 объектов (matryoshka, hedgehog, router, bear, dragon, thermos, colored_cup, white_cup). Время реконструкции материалов составляло от 8 до 15 минут. Тестовая выборка составляет 20% от обучающей. По результатам замеров модуль реконструкции на большинстве сцен демонстрирует значения PSNR > 31 и IoU (Intersection over Union, отношение площади пересечения к площади объединения) > 0,97. Однако возникают трудности с отдельными сценами. Так, объект thermos представляет собой изделие с металлическим анизотропным материалом, что плохо описывается используемой моделью. В табл. 1 указаны усреднённые по тестовой выборке данные PSNR (с указанием стандартного отклонения) для синтезированных и эталонных изображений, а также значения метрики IoU для маски объекта (эталонные маски получены вручную).

Переосвещение полученных моделей и материалов в условиях искусственно смоделированного окружения (Cornell Box) демонстрирует их пригодность для PBR-рендеринга: блики и тени ведут себя физически корректно, а реконструированный объект реалистично взаимодействует со сценой, что крайне важно для задач дополненной и виртуальной реальности (AR и VR).

Табл. 1. Оценка качества реконструкции и переосвещения.

4.2 Качество реконструкции на «проблемных» для классических методов фотограмметрии и 3D-сканеров объектах

Данная проблема успешно решается, что продемонстрировано на тестовой выборке (рис. 10). Наблюдается корректный рендеринг объектов с мелкими деталями, полупрозрачных, полых, тёмных, зеркальных, излучающих и однотонных поверхностей.

4.3 Всесторонний охват объекта 360°×360°. Уровень контактности с объектом

В альтернативных ПАК для обеспечения полноты охвата используются подвесные системы на тросах, множественные сканирования с последующим объединением, ручное моделирование невидимых частей или оставление неопределённых значений в текстуре. При применении предложенного метода с текстурирующим покрытием обеспечивается полный охват за счёт прозрачной платформы, однако поверхность объекта контактирует с покрытием. Текстурирующее покрытие наносится с помощью меловых аэрозольных баллончиков или смываемых маркеров. Это требует определённых навыков оператора, чтобы избежать смещения объекта и загрязнения студии.

Рис. 10. Примеры объектов разного размера, сложности и оптических свойств.

Текстурирующие покрытия можно удалить с помощью обычной воды, но их использование ограничено для некоторых типов объектов. Например, для музейных экспонатов, требующих особой сохранности, рекомендуется использовать бесконтактные методы 3D-сканирования без нанесения покрытий. На впитывающие поверхности объектов можно наносить стикеры в качестве текстурирующего покрытия, но не маркеры или аэрозольные баллончики с краской.

4.4 Скорость рендеринга, объём модели и пригодность для визуализации в AR/VR/Web

Следует отметить, что в табл. 2 указаны размеры модели без постобработки. Без визуальной потери качества, а зачастую и с его улучшением за счёт сглаживания мелких неровностей, размер модели в среднем можно сократить в 3–5 раз.

4.5 Стоимость оборудования

Стоимость полного комплекса составляет порядка 500 тыс. руб. (без учёта отдельной системы 3D-сканера, стоимость которого при реализации предложенной системы составляет 1,5 млн руб.). Для сравнения, стоимость ПАК указанных во втором разделе, может достигать миллионов долларов.

4.6 Время работы автоматики и время работы оператора

Время работы автоматической части указано в табл. 2. Время работы оператора зависит от типа объекта: при одноэтапной реконструкции оно составляет в среднем порядка 5 минут, а при двухэтапной с нанесением текстурирующего покрытия – порядка 20 минут. При использовании активного сканера время может возрастать многократно, поэтому, как отмечалось выше, его использование с точки зрения баланса показателей нецелесообразно.

4.7 Массогабаритные ограничения

Как показано на рис. 10, диапазон размеров объектов составляет от 10 см до 150 см. Используется два вида стёкол. Максимальная масса объекта – 20 кг. Возможно использование стёкол меньшего или большего размера, что позволяет расширить данный диапазон в 2–3 раза. По сравнению с вращающимися ПАК на базе 3D-сканеров, предложенная система обладает повышенной гибкостью, так как аналоги имеют более жёсткие массогабаритные ограничения.

Табл. 2. Метрики результатов работы реконструкции геометрии и материалов.

4.8 Визуальная достоверность и фотореалистичность цифровой копии. Качество объекта при близком рассмотрении

Визуальная достоверность и фотореалистичность существенно зависят от масштаба просмотра модели и выбранного подхода к созданию цифровой копии. При просмотре объекта целиком (рис. 11), предлагаемая система обеспечивает высокую достоверность и фотореалистичность. По результатам пользовательской оценки, при таком масштабе предложенный метод превосходит модели, созданные ручным моделированием (рис. 11c) благодаря более высокой фотореалистичности и достоверности, а по сравнению с 3DGS (рис. 11d) – благодаря большей чёткости.

При близком рассмотрении объекта (рис. 12) все методы автоматизированной реконструкции существенно уступают в фотореалистичности и достоверности методу ручного моделированию (обратному проектированию) – рис. 12a. Среди автоматизированных методов наиболее фотореалистичным является 3DGS (рис. 12c), однако наличие высокочастотных артефактов, видимых из-за вытянутых гауссианов, существенно снижает этот показатель. Другие методы, включая данные, полученные с помощью дорогостоящих профессиональных 3D-сканеров, уступают в аспекте фотореалистичности.

Рис. 11. Сравнение методов представления цифровой копии с фотографией
при просмотре объекта целиком.

Рис. 12. Сравнение различных методов представления цифровой копии
при просмотре участка объекта вблизи.

5. Заключение и перспективы дальнейших исследований

Разработанный программно-аппаратный комплекс (ПАК) «Teleport3D» и соответствующие методики работы с ним защищены патентами и составляют технологическую основу решений ООО «Телепорт3.ру» для создания иммерсивных цифровых копий [15].

Результаты тестирования подтвердили сбалансированность системы в контексте поставленной цели – получения фотореалистичных цифровых двойников при минимизации трудозатрат. Интеграция известных и оригинальных алгоритмов трёхмерной реконструкции позволила достичь высоких значений объективных метрик (PSNR, IoU), особенно на объектах, сложных для автоматизированной обработки.

Вместе с тем, субъективная визуальная оценка (Раздел 4) и опыт практической эксплуатации выявили фундаментальное ограничение, не отражаемое стандартными метриками качества. При близком рассмотрении достоверность реконструкции снижается до уровня, неприемлемого для коммерческого использования (например, в цифровых витринах). Невозможность однозначного различения артефактов и реальных деталей вызывает у пользователя когнитивный диссонанс. Данный эффект, классифицируемый как «зловещая долина» (uncanny valley), подтверждён экспертными оценками и объясняет ограниченность сферы применения автоматизированного 3D-сканирования, отмеченную во введении.

В качестве направления дальнейших исследований предложены подходы к смягчению данной проблемы. В отличие от существующих работ, фокусирующихся на повышении детализации (например, методы Super-Resolution), в задаче создания верифицируемых цифровых копий приоритетом является достоверность, а не максимальная фотореалистичность. Генеративные методы, создающие новые детали, неприемлемы из-за риска галлюцинаций. Следовательно, задача сводится к адаптивному снижению уровня детализации модели до гарантированного порога, сохраняющего баланс между фотореалистичностью и достоверностью.

Рассмотрены четыре метода приведения модели к гарантированному уровню качества (рис. 13):

1. Ограничение просмотра на уровне пользовательского интерфейса. Запрет приближения камеры в интерфейсе. Недостаток: на экранах высокого разрешения модель может отображаться слишком мелко, либо артефакты всё же станут заметными (возврат к условиям рис. 11).
2. Вокселизация на уровне геометрии. Перевод модели в воксельное пространство (рис. 13а). При высоком разрешении вокселей резко возрастает количество полигонов и меняется геометрия, что ухудшает восприятие модели в целом. Использование алгоритма «марширующие кубы» (Marching Cubes) сглаживает форму, но не устраняет издержки потери производительности при полигональной визуализации.
3. Пост-обработка визуализации (уровень формирования изображения). Размытие или снижение разрешения выходного изображения (рис. 13b и 13c). Требует модификации движка; при перспективной проекции качество может неравномерно ухудшаться в зависимости от расстояния.
4. Рендеринг на основе множества точек с заместителями (point-based rendering). Аналогичен воксельному подходу, но сохраняет качество восприятия модели целиком, представляя воксели в виде точек с атрибутами исходной поверхности.

Наиболее перспективным представляется гибридный подход на базе метода трёхмерного управления уровнями детализации текстур (известного как 3D mip-mapping). Он предполагает микширование выходных слоёв с разрешением, зависящим от размера проецируемых вокселей, с последующей адаптивной 2D-фильтрацией. Данный метод объединяет преимущества вокселизации и двумерного сглаживания, нивелируя высокочастотные артефакты (аналогично подходам для 3DGS [17]). Однако его реализация требует разработки нестандартного конвейера рендеринга. В связи с этим, для широкого внедрения в краткосрочной перспективе целесообразно использовать метод №1 (ограничение приближения на стороне клиента), не требующий изменений в архитектуре системы реконструкции и движке отображения.

Рис. 13. Сравнение различных методов обеспечения фотореалистичности и достоверности цифровой копии с расфокусированной фотографией.

Список литературы

1. COLMAP. General-purpose Structure-from-Motion (SfM) and Multi-View Stereo (MVS) pipeline. Available at: https://colmap.github.io/, accessed 20.01.2026. ↩1 ↩2
2. OpenMVS: open Multi-View Stereo reconstruction library. Available at: https://github.com/cdcseacave/openMVS, accessed 20.01.2026. ↩1 ↩2
3. Agisoft Metashape Professional. Agisoft LLC, St. Petersburg, Russia. Available at: https://www.agisoft.com/, accessed 20.01.2026. ↩
4. Capturing Reality. Epic Games. Available at: https://www.capturingreality.com/realitycapture, accessed 20.01.2026. ↩1 ↩2
5. Smith J., Zhang L. Challenges in Photogrammetric Reconstruction of Low-Texture and Reflective Surfaces. ISPRS Journal of Photogrammetry and Remote Sensing, 2020, vol. 167, pp. 1-15. DOI: 10.1016/j.isprsjprs.2020.06.012. ↩
6. Mildenhall B., et al. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV, 2020, pp. 405-421. ↩
7. Kerbl B., Kopanas G., Leimkühler T., Drettakis G. 3D Gaussian Splatting for Real-Time Radiance Field Rendering. ACM Transactions on Graphics (SIGGRAPH), 2023, vol. 42, issue 4. ↩
8. Gao L. et al. InstantMesh: Efficient 3D Mesh Generation from a Single Image with Sparse-view Large Reconstruction Models. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2024, pp. 8960-8969. ↩
9. RU2784398C1. Средство для 3D-сканирования и способ 3D-сканирования с его использованием: пат. 2784398 Рос. Федерация: МПК G01B 11/24. Опубликовано 25.12.2022, бюллетень № 36. Доступно по ссылке: https://yandex.ru/patents/doc/RU2784398C1, обращение 20.01.2026 ↩
10. RU219623U1. Промышленный 3D-сканер: полезная модель 219623 Рос. Федерация: МПК G01B 11/24. Опубликовано 15.11.2003, бюллетень № 32. Доступно по ссылке: https://yandex.ru/patents/doc/RU219623U1, обращение 20.01.2026. ↩
11. Apollonio F.I., et al. A photogrammetry-based workflow for the accurate 3D construction and visualization of museums assets. Remote Sensing, 2021, vol. 13, no. 3, pp. 486. ↩
12. Scopigno R., et al. 3D Scanning of Cultural Heritage with Consumer Depth Cameras. Multimedia Tools and Applications, 2021, vol. 80, pp. 1-25. ↩
13. Dong Z. et al. Digital twin catalog: A large-scale photorealistic 3d object digital twin dataset. Proceedings of the Computer Vision and Pattern Recognition Conference, 2025, pp. 753-763. ↩1 ↩2
14. Nimier-David M., Vicini D., Zeltner T., Jakob W. Mitsuba 2: A Retargetable Forward and Inverse Renderer. ACM Transactions on Graphics (Proceedings of SIGGRAPH Asia), 2019, vol. 38, no 6. Article 203. DOI: 10.1145/3355089.3356502. Available at: https://mitsuba-renderer.org/, accessed 20.01.2026. ↩
15. ПАК «T3D», ООО "Телепорт3.ру". Доступно по ссылке: https://teleport3.ru, обращение 20.01.2026. ↩1 ↩2
16. Polycam Inc. (2025). Polycam: 3D Capture & Photogrammetry Platform. Available at: https://poly.cam, accessed 20.01.2026. ↩1 ↩2
17. Yu Z. et al. Mip-Splatting: Alias-free 3D Gaussian Splatting. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024, pp. 17484-17494. ↩

Информация об авторах

Александр Олегович ЖИРКОВ – кандидат физико-математических наук, основатель и технический директор ООО "Телепорт3.ру", сотрудник Института искусственного интеллекта МГУ имени М. В. Ломоносова. Его научные и профессиональные интересы включают распознавание образов, глубокие нейронные сети, сжатие данных, 3D компьютерную графику и обработку аудиосигналов; он является соавтором международного стандарта MPEG-4 для хранения, сжатия и рендеринга 3D-объектов, имеет более 30 научных публикаций и свыше 10 международных патентов, участвовал в сотрудничестве с Samsung, Huawei, Intel и другими ведущими высокотехнологичными компаниями.

Павел Дмитриевич КОПАНЕВ получил степень бакалавра в области робототехники и мехатроники в Московском государственном техническом университете имени Н. Э. Баумана в 2019 году и степень магистра в области информационных систем и технологий в Сколковском институте науки и технологий в 2021 году. В настоящее время он является ведущим инженером в Институте технологических инноваций в Абу-Даби, ОАЭ. Научные интересы: компьютерное зрение в 3D, машинное обучение, искусственный интеллект, роботы манипуляторы, 3D-реконструкция, нейронный рендеринг, SLAM и мультимодальное восприятие.

Вадим Владимирович САНЖАРОВ – кандидат физико-математических наук, научный сотрудник факультета ВМК МГУ. Сфера научных интересов: реалистичная компьютерная графика, моделирование освещённости, оптического моделирования, параллельные и распределённые вычисления.

Роман Олегович РОДИОНОВ – студент кафедры Интеллектуальных информационных технологий факультета ВМК МГУ, программист Института прикладной математики им. М.В. Келдыша РАН. Сфера научных интересов: реалистичная компьютерная графика, спектральный и нейронный рендеринг.

Владимир Александрович ГАЛАКТИОНОВ – доктор физико-математических наук, профессор, главный научный сотрудник отдела компьютерной графики и вычислительной оптики Института прикладной математики им. М.В. Келдыша РАН. Сфера научных интересов: компьютерная графика, оптическое моделирование, компьютерная лингвистика, научная визуализация.

Владимир Александрович ФРОЛОВ – кандидат физико-математических наук, старший научный сотрудник Института прикладной математики им. М.В. Келдыша РАН, научный сотрудник факультета ВМК МГУ. Сфера научных интересов: реалистичная компьютерная графика, моделирование освещённости, разработка программных систем оптического моделирования, параллельные и распределённые вычисления.