DOI: 10.15514/ISPRAS-2026-38(3)-40

Н.А. Ходаков, ORCID: 0009-0005-4296-1576 <hodakownn@gmail.com>

П.В. Бабаян, ORCID: 0000-0003-4041-3101 <pvbradio@yandex.ru>

Рязанский государственный радиотехнический университет имени В.Ф. Уткина,

Россия, 390005, г. Рязань, ул. Гагарина, д. 59/1.

Аннотация. Рассматривается проблема аналитической оценки точности совмещения изображений при проективном преобразовании. Предложен математический аппарат для вычисления ковариационной матрицы параметров преобразования на основе линеаризации нелинейной модели с использованием якобиана. Разработан алгоритм построения карт дисперсий ${\mathbf{D}}_{\mathbf{x}}$, ${\mathrm{D}}_{\mathrm{y}}$ и ковариации ${\mathbf{K}}_{\mathbf{xy}}$ для каждого пикселя изображения. Проведена валидация метода с использованием численного подхода Монте-Карло, показавшая высокую точность аналитических оценок (корреляция > 0.999) и значительное ускорение вычислений (более чем в 5000 раз). Научная новизна заключается в разработке аналитического метода оценки локальной точности совмещения для нелинейных проективных преобразований.

Ключевые слова: совмещение изображений; опорные точки; геометрические преобразования; стабилизация изображений; проективное преобразование; корреляционная матрица; метод Монте-Карло.

Для цитирования: Ходаков Н.А., Бабаян П.В. Аналитическое оценивание точности совмещения изображений после компенсации проективного преобразования. Труды ИСП РАН, том 38, вып. 3, часть 3, 2026 г., стр. 125–134. DOI: 10.15514/ISPRAS-2026-38(3)-40.

1. Введение

Современные системы компьютерного зрения широко используют алгоритмы совмещения изображений для решения задач стереозрения, панорамной съемки, медицинской диагностики и дистанционного зондирования [1-2]. Несмотря на достигнутые успехи в разработке методов оценки параметров геометрических преобразований, проблема количественной оценки точности совмещения остается актуальной, особенно для нелинейных преобразований.

В задачах компьютерного зрения часто возникает необходимость совмещения изображений, полученных с различных ракурсов и претерпевающих геометрические искажения. Для компенсации таких искажений требуется точная оценка параметров преобразования [3]. Анализ современных подходов выявляет три основных направления:

глобальные методы, требующие полного попиксельного сравнения изображений [4];

локальные методы, основанные на сопоставлении структурных элементов [4];

методы машинного обучения, применяющие нейронные сети для оценки параметров преобразования [5].

Каждый из подходов имеет свои преимущества и ограничения в зависимости от конкретной области применения. Однако общей проблемой является отсутствие эффективных методов оценки локальной точности совмещения, особенно для сложных нелинейных преобразований.

Проективное преобразование является одним из наиболее востребованных в системах компьютерного зрения, поскольку позволяет точно описывать перспективные искажения, возникающие при изменении положения камеры. В отличие от аффинных и других линейных преобразований, для которых существуют аналитические методы оценки точности [6–8], проективное преобразование характеризуется нелинейностью, что существенно усложняет анализ статистических характеристик ошибок совмещения.

Традиционно для оценки точности совмещения применяются численные методы, такие как Монте-Карло, bootstrap или jackknife [9]. Однако эти подходы требуют значительных вычислительных ресурсов и не всегда применимы в задачах реального времени. Кроме того, они не показывают явно зависимостей между параметрами преобразования и локальной точностью совмещения.

2. Постановка задачи

Целью данной работы является разработка аналитического метода для оценки точности совмещения изображений при проективном преобразовании. Предлагаемый подход должен обеспечивать:

1. аналитическое вычисление ковариационной матрицы параметров преобразования;

2. построение карт точности для каждого пикселя изображения;

3. высокую вычислительную эффективность по сравнению с численными методами.

Основной проблемой для аналитического описания статистических характеристик точности совмещения изображений при проективном преобразовании является нелинейность модели преобразования. В данной работе предлагается подход, основанный на линеаризации нелинейной модели с использованием разложения в ряд Тейлора и последующем применении теоремы Гаусса-Маркова для получения ковариационной матрицы параметров. Многие используемые решения можно найти в статье наших коллег, которые решали родственную задачу [10].

Пусть известны координаты опорных точек на исходном $\left(x_i,y_i\right)$ и на текущем $\left(x_i^{\text{'}},y_i^{\text{'}}\right)$ изображениях. Между изображениями существует проективное преобразование, то есть, опорные точки связаны уравнениями

где $h_i,$ $i=1\dots 8$ – параметры проективного преобразования.

Требуется:

1. найти оценку вектора параметров $\mathit{h}=\left[h_1\dots h_8\right]ᵀ$;

2. получить ковариационную матрицу ${\mathit{K}}_h\left(x,y\right)$ (8×8);

3. построить по ней карты дисперсии и ковариации для каждого пикселя;

4. провести валидацию предложенного метода;

5. оценить вычислительную эффективность аналитического подхода по сравнению с численным методом.

3. Теория

3.1 Математическая модель и якобиан

Для того, чтобы описать, какое преобразование было применено к каждой из N опорных точек, зададим N вектор-функций вида

$f_i\left(\mathit{h}\right)=\left(\frac{\frac{h_{\mathrm{1}}{x}_i+h_{\mathrm{2}}{y}_i+h_{\mathrm{3}}}{h_{\mathrm{7}}{x}_i+h_{\mathrm{8}}{y}_i+\mathrm{1}}}{\frac{h_{\mathrm{4}}{x}_i+h_{\mathrm{5}}{y}_i+h_{\mathrm{6}}}{h_{\mathrm{7}}{x}_i+h_{\mathrm{8}}{y}_i+\mathrm{1}}}\right),\left(\frac{x_i^{\text{'}}}{y_i^{\text{'}}}\right)=f_i\left(\mathit{h}\right)+{\epsilon }_{\mathit{i}},$ (1)

где ${\mathit{\epsilon }}_i\sim \mathcal{N}\left(\mathrm{0},{\sigma }^{\mathrm{2}}{\mathit{I}}_{\mathrm{2}N}\right)$ – некоррелированный шум с единичной дисперсией (здесь и далее ${\sigma }^{\mathrm{2}}=\mathrm{1}$), ${\mathit{I}}_{\mathrm{2}N}$ – единичная матрица размерности $\mathrm{2}N\times \mathrm{2}N$.

Для описания чувствительности этих функций к ошибкам определения параметров преобразования используется якобиан относительно $\mathit{h}$:

Такое описание для всех пар соответствующих друг другу точек может быть представлено в виде глобального якобиана, который имеет вид

$\mathit{J}=\left[{\mathit{J}}_{\mathrm{1}}^T;\dots ;{\mathit{J}}_N^T\right]$,

а его размерность равна $2N\times 8$.

3.2 Ковариационная матрица параметров

Пусть $\widehat{\mathit{h}}$ – оценка максимального правдоподобия, то есть,

$\widehat{\mathit{h}}=\arg \underset{\mathbf{h}}{\min }\sum _{i=\mathrm{1}}^N{\Vert \left(\frac{x_i^{\text{'}}}{y_i^{\text{'}}}\right)-f_i\left(\mathit{h}\right)\Vert }^{\mathrm{2}},$ (2)

Она может использоваться для компенсации перспективных искажений на изображении. Для получения ковариационной матрицы, преобразование (1) необходимо линеаризовать. Произведём это посредством разложения в ряд Тейлора. Разложение будет выполняться в окрестности точки $\widehat{\mathit{h}}$ до первого порядка:

Для удобства дальнейшего анализа соберём вектор из тождеств для всех опорных точек:

Простыми преобразованиями можно привести модель к виду

для которого удобно получить оценку $\mathit{\delta }$ (обозначим её как $\widehat{\mathbf{\delta }}$) методом наименьших квадратов (сократим запись полагая $\mathit{J}=\mathit{J}\left(\widehat{\mathit{h}}\right)$):

Пользуясь теоремой Гаусса-Маркова для линейной регрессии

получим ковариационную матрицу системы

3.3 Визуализация ошибки совмещения

Зная, как оценивать ${\mathit{K}}_h$ можно получить значения дисперсий ${\mathit{D}}_x$, ${\mathit{D}}_y$ и их ковариации ${\mathit{K}}_{\mathrm{xy}}$ для любого пикселя изображения (и даже за его пределами, так как в оценке не учитываются размеры изображения). Для получения карт точности совмещения изображений используется якобиан ${\mathit{J}}_{\mathrm{xy}}\left(2\times 8\right)$.

Остаётся только выполнить расчёт для каждого пикселя, который входит в область интереса. В качестве оптимизации, можно проводить расчёт не для каждой точки изображения, а в узлах квадратной сетки, с тем большим шагом, чем сильнее требования к быстродействию, и чем слабее требования к точности.

3.4 Валидация методом Монте-Карло

Для валидации предложенного аналитического метода используется численный подход на основе метода Монте-Карло, который позволяет получить эмпирические оценки статистических характеристик точности совмещения путем многократного моделирования процесса с добавлением случайного шума.

На каждой итерации $k=1,2,\dots ,M$ к координатам опорных точек на текущем изображении добавляется некоррелированный гауссовский шум:

Для каждого набора зашумленных координат $\left({\tilde{x}}_{i,k}^{\text{'}},{\tilde{y}}_{i,k}^{\text{'}}\right)$ методом наименьших квадратов находится оценка для параметров преобразования ${\widehat{\mathit{h}}}_k$. Формула аналогична (2).

Для каждой тестовой точки $\left(x_j,y_j\right)$ на сетке изображения вычисляются преобразованные координаты $({\widehat{x}}_{j,k},{\widehat{y}}_{j,k})$ с использованием оценочных параметров ${\widehat{\mathit{h}}}_k$ и вычисляются ошибки относительно истинного преобразования:

где $\left(x_j^{*},y_j^{*}\right)$ – истинные координаты точки $\left(x_j,y_j\right)$ после применения истинного преобразования с параметрами $\mathit{h}$.

После выполнения $M$ итераций для каждой тестовой точки $j$ вычисляются эмпирические статистики:

Дисперсии:

Ковариация:

где ${\bar{e}}_{x,j}=\frac{\mathrm{1}}{M}\sum _{k=\mathrm{1}}^M{e}_{x,j,k},{\bar{e}}_{y,j}=\frac{\mathrm{1}}{M}\sum _{k=\mathrm{1}}^M{e}_{y,j,k}$ – выборочные средние ошибок.

4. Экспериментальная валидация

4.1 Характеристики эталонного набора данных

Для валидации предложенного метода использовались экспериментальные данные, включающие координаты пяти опорных точек на исходном и преобразованном изображениях и параметры проективного преобразования, которые их связывают. Эталонные результаты получены методом Монте-Карло с использованием $M=350000$ итераций.

Выбор количества итераций обусловлен анализом сходимости метода Монте-Карло. Сходимость определялась по динамике изменения оценок дисперсий для контрольных точек (рис. 1). Установлено, что оценки дисперсий частично стабилизируются после 350000 итераций. Полной стабилизации добиться не удаётся даже при превышении 700000 итераций, дальнейший анализ не производился.

Рис. 1. Анализ сходимости метода Монте-Карло для контрольных точек.

Для ускорения расчета эмпирических карт точности использовался механизм многопоточности MATLAB (8 потоков). Карты строились на регулярной сетке с шагом 5 пикселей, что соответствует размеру сетки $162\times 109$ точки для изображения размером $809\times 543$ пикселя.

Эталонные карты точности представлены на рис. 2.

а b c

Рис. 2. Эталонные карты точности совмещения, полученные методом Монте-Карло:
а) дисперсия ${\mathit{D}}_x$; b) дисперсия ${\mathit{D}}_y$; c) ковариация ${\mathit{K}}_{\mathrm{xy}}$.

Видно, что ошибки совмещения ниже в тех зонах, которые были окружены опорными точками (число опорных точек – 5).

4.2 Сравнительный анализ результатов

Сравнение карт точности, полученных предложенным аналитическим методом и эталонным методом Монте-Карло, представлено на рис. 3. Визуальное сравнение демонстрирует высокую степень соответствия между методами.

Рис. 3. Сравнение карт точности.

Количественная оценка точности предложенного метода показывает следующие результаты:

Корреляции Пирсона:

Относительные среднеквадратичные ошибки:

Высокие значения корреляций (близкие к единице) и низкие относительные ошибки подтверждают корректность аналитических оценок.

4.3 Анализ производительности

Ввиду отсутствия опубликованных методов оценки статистических характеристик точности совмещения изображений после нелинейных преобразований, для оценки вычислительной эффективности предложенного метода проводилось сравнение времени выполнения с методом Монте-Карло при достижении эквивалентной точности.

Цикл алгоритма сравнения имел следующую структуру:

1. Провести 100 итераций метода Монте-Карло;

2. Определить ошибку относительно эталона и корреляцию с эталоном

• Если относительная ошибка больше, чем у аналитического метода – вернуться к шагу 1.
• Если корреляция меньше, чем у аналитического метода – вернуться к шагу 1.
• Иначе – остановить цикл и замер времени работы программы.

Время, затрачиваемое на расчет ошибки относительно эталона, не шло в зачет.

В табл. 1 выборочно представлены результаты работы алгоритма для 20000 итераций.

Табл. 1. Анализ точности метода Монте-Карло.

Анализ показывает, что метод Монте-Карло впервые достигает эквивалентной точности после 4000 итераций, однако стабилизация результатов наступает только после 14000 итераций. Под стабилизацией здесь следует понимать достижение порогового числа итераций, после которого точность метода достигает поставленных ограничений и продолжает монотонно увеличиваться.

Сравнение времени выполнения:

аналитический метод: $T_{\mathrm{AN}}=0.012$ с;

Монте-Карло (4000 итераций): $T_{\mathrm{MC}}=55.968$ с (медленнее в S = 5328 раз);

Монте-Карло (14000 итераций): $T_{\mathrm{MC}}=130.069$ с
(медленнее аналитического в S = 12382 раза).

Эксперименты проводились на системе с процессором AMD Ryzen 7 7700 (3.80 ГГц), 64 Гб оперативной памяти DDR5-5200, под управлением Windows 10 и MATLAB R2024a.

4.4 Обсуждение результатов

Экспериментальная валидация подтверждает высокую точность предложенного аналитического метода. Корреляции между аналитическими и эталонными результатами превышают 0.9999, что свидетельствует о практически полном соответствии методов. Относительные ошибки не превышают 6%, что является приемлемым для практических приложений. Наибольшая ошибка наблюдается для ковариационной компоненты ${\mathit{K}}_{\mathrm{xy}}$, что объясняется её меньшими абсолютными значениями и, соответственно, большей чувствительностью к вычислительным погрешностям.

Также следует учитывать, что для использованной конфигурации опорных точек не удалось добиться полной сходимости метода Монте-Карло, что может как завышать полученные ошибки, так и занижать их, однако, эту погрешность можно считать допустимо малой. Значительное ускорение вычислений (более чем в 5000 раз) делает предложенный метод практически применимым для задач реального времени и интерактивного анализа качества совмещения изображений.

5. Выводы

В работе предложен аналитический метод для вычисления карт точности совмещения изображений при проективном преобразовании. Метод основан на линеаризации нелинейной модели преобразования с использованием разложения в ряд Тейлора и последующем применении теоремы Гаусса-Маркова для получения ковариационной матрицы параметров.

Основные результаты исследования:

1. Разработана аналитическая модель для вычисления дисперсий ${\mathit{D}}_x$, ${\mathit{D}}_y$ и ковариации ${\mathit{K}}_{\mathrm{xy}}$ ошибок совмещения на основе ковариационной матрицы параметров проективного преобразования.

2. Экспериментальная проверка с использованием эталонных результатов метода Монте-Карло (350000 итераций) показала высокую точность предложенного подхода с корреляциями более 0.9999 и относительными ошибками менее 6%.

3. Аналитический метод обеспечивает ускорение вычислений более чем в 5000 раз по сравнению с методом Монте-Карло при эквивалентной точности результатов.

4. Время вычисления карт точности составляет менее 0.02 секунды, что делает метод пригодным для применения в режиме реального времени.

Предложенный метод может быть использован для:

оценки качества совмещения изображений в автоматизированных системах;

оптимизации расположения опорных точек для повышения точности совмещения;

анализа влияния геометрических искажений на точность регистрации изображений;

разработки адаптивных алгоритмов совмещения с учетом локальной точности.

Список литературы

1. Han Y., Javed A., Jung S., Liu S. Object-Based Change Detection of Very High-Resolution Images by Fusing Pixel-Based Change Detection Results Using Weighted Dempster–Shafer Theory. Remote Sens, 2020. 12. 983. DOI: 10.3390/rs12060983 ↩
2. Zitová B., Flusser J. Image registration methods: a survey. Image and Vision Computing. 2003, vol. 21, no. 11, pp. 977-1000. ↩
3. Sengupta D. A Comparative Study of Some Well Known Image Registration Techniques. 2018 Conference on Information and Communication Technology (CICT). IEEE, 2018, pp. 1-5. ↩
4. Xiong Z., Zhang Y. A critical review of image registration methods. International Journal of Image and Data Fusion, 2010, vol. 1, no. 2, pp. 137-158. ↩1 ↩2
5. Kuppala K., Banda S., Barige T. R. An overview of deep learning methods for image registration with focus on feature-based approaches. International Journal of Image and Data Fusion, 2020, vol. 11, no. 2, pp. 113-135. ↩
6. Жгутова Е.С., Бабаян П.В. Алгоритмы и программное обеспечение для оценки точности совмещения изображений. GraphiCon-2024 материалы 34-й Междунар. конф. по компьютерной графике и машинному зрению (Россия, Омск, 17–19 сент. 2024 г.). Ом. гос. техн. ун-т; редкол.: Е. В. Любчинов (отв. ред.) [и др.]. Омск: Изд-во ОмГТУ, 2024, с. 484-490. DOI: 10.25206/978-5-8149-3873-2-2024-484-490. ↩
7. Бабаян П.В., Кожина (Жгутова) Е.С. Влияние точности оценивания координат опорных участков на точность совмещения изображений. GraphiCon-2023: труды 33-й Междунар. конф. по компьютерной графике и машинному зрению (Москва, 19–21 сент. 2023 г.). М.: Институт прикладной математики им. М.В. Келдыша РАН, 2023, с. 474-481. DOI: 10.20948/graphicon-2023-474-481.
8. Бабаян П.В., Кожина (Жгутова) Е.С. Влияние точности оценивания координат опорных участков на точность совмещения изображений в системах дистанционного зондирования Земли // 8-ая международная научно-техническая конференция «В.Ф. Уткин – 100 лет со дня рождения. Космонавтика. Радиоэлектроника. Геоинформатика»: Мат. докл. Рязанс. гос. радиотехн. Университет им. В.Ф. Уткина. Рязань, 2023, с. 360-363. ISBN 978-5-7722-0388-0. ↩
9. Ghojogh B., Nekoei H., Ghojogh A., Karray F., Crowley M. Sampling Algorithms, from Survey Sampling to Monte Carlo Methods: Tutorial and Literature Review. arXiv: Methodology. 2020. Available at: https://api.semanticscholar.org/CorpusID:226227376, accessed: 29.12.2025. ↩
10. Fauster E., O'Leary P. L. Methods of statistical uncertainty analysis applied to evaluation algorithms of a video-extensometer system. Proceedings of SPIE, 2008, vol. 6813. DOI: 10.1117/12.766273. ↩

Информация об авторах

Никита Андреевич ХОДАКОВ – студент кафедры автоматики и информационных технологий в управлении Рязанского государственного радиотехнического университета им. В. Ф. Уткина. Сфера научных интересов: проективные преобразования, управленческая кибернетика.

Павел Вартанович БАБАЯН – кандидат технических наук, заведующий кафедрой автоматики и информационных технологий в управлении РГРТУ с 2016 года. Сфера научных интересов: компьютерное зрение, обработка изображений, обнаружение и сопровождение объектов, моделирование видеосюжетов.