Что такое stereo matching и как его решают модели (RAFT-Stereo)?

Stereo matching — это задача компьютерного зрения, направленная на поиск соответствий между двумя изображениями, снятыми с разных точек зрения (обычно двумя камерами), чтобы восстановить глубину сцены. Результатом является карта глубины или disparity map, показывающая смещение объектов между двумя изображениями, что позволяет оценить расстояние до объектов.

RAFT-Stereo — это современная модель, основанная на архитектуре RAFT (Recurrent All-Pairs Field Transforms), изначально разработанной для оценки оптического потока. В контексте stereo matching RAFT-Stereo использует рекуррентный механизм для итеративного уточнения карты disparity, обрабатывая все пары пикселей между левым и правым изображениями. Это позволяет модели эффективно учитывать глобальные и локальные контексты, улучшая точность и детализацию глубины.

Основные шаги RAFT-Stereo:

• Извлечение признаков из левого и правого изображений с помощью сверточных сетей.
• Построение корреляционной матрицы между всеми парами признаков.
• Итеративное обновление оценки disparity с помощью рекуррентной нейронной сети, которая учитывает предыдущие оценки и корреляции.

Пример использования RAFT-Stereo в PyTorch (упрощённо):

import torch
from raft_stereo import RAFTStereo

model = RAFTStereo()
left_img = torch.randn(1, 3, 256, 512)  # левое изображение
right_img = torch.randn(1, 3, 256, 512)  # правое изображение

with torch.no_grad():
    disparity = model(left_img, right_img)  # карта глубины

Таким образом, RAFT-Stereo решает задачу stereo matching через итеративное уточнение соответствий между изображениями, что обеспечивает высокую точность и детализацию глубины.