TripoSG и TripoSF — это новые модели генеративного ИИ для создания высококачественных 3D-моделей

TripoSG 1.5B преобразует одиночные 2D-изображения (фото, эскизы, мультяшные картинки) в детализированные 3D-сетки (meshes).

TripoSF - это продвинутый инструмент: он работает с более сложными топологиями, создает высокое разрешение (до 1024?) и может моделировать даже внутренние детали объектов, например, сложные механизмы.

Как работают эти модели?

TripoSG использует rectified flow transformers (трансформеры с выпрямленным потоком). Это метод, который упрощает процесс генерации, соединяя данные и шум по прямой линии (в отличие от традиционных диффузионных моделей, где путь более сложный).

Дифференцируемое представление данных, которое позволяет экономить память при работе с высоким разрешением .

Данные для обучения: Модель обучена на специально подготовленном наборе данных из 2 миллионов пар "изображение-SDF" (SDF — signed distance function, функция, описывающая расстояние до поверхности объекта).

Процесс работы: Вы загружаете одно изображение (например, фото статуи или рисунок персонажа). Модель анализирует его, используя вариационный автоэнкодер (VAE) с геометрическим надзором, и генерирует 3D-сетку с высокой детализацией.

Результат: На выходе получаем 3D-модель, которую можно использовать в играх, анимации или 3D-печати.

TripoSF

Модель может обрабатывать сложные топологии (например, открытые поверхности или внутренние структуры) и обучена с использованием вокселей, учитывающих перспективу (frustum-aware voxels).

Tripo известны своим сотрудничеством со Stability AI. Ранее они выпустили TripoSR — модель для быстрой реконструкции 3D-объектов из одного изображения, которая тоже стала open-source. TripoSG и TripoSF — это более продвинутые версии, которые расширяют возможности 3D геенрацит: от простых объектов до сложных структур с высоким разрешением.

Github (https://github.com/VAST-AI-Research/TripoSG)

Model (https://huggingface.co/VAST-AI/TripoSG)

Project (https://yg256li.github.io/TripoSG-Page/)

Paper (https://arxiv.org/abs/2502.06608)

Источник: arxiv.org

Комментарии: