LoRA-дообучение TRELLIS.2 на 3D-сканах повысило точность генерации обувных подошв
При создании 3D-модели по фотографии многие объекты получают приемлемую базовую форму, но мелкие детали часто передаются неточно. Например, геометрия обувных подошв может заметно отличаться от реального предмета. В руководстве на Hugging Face показано, как генератор 3D-моделей по изображениям TRELLIS.2 можно целенаправленно дообучить на таких формах. В качестве исходных данных используются реальные 3D-сканы обуви.
TRELLIS.2 формирует объект в несколько этапов. Сначала Diffusion Transformer (DiT) задает грубую структуру в виде воксельной сетки занятости размером 64³. Затем второй DiT строит на этой основе геометрию с разрешением 512³, а третий добавляет цвета и материалы. Результат экспортируется как текстурированная полигональная сетка в формате GLB.
Hugging Face сосредоточилась именно на форме. С помощью LoRA дообучаются только этапы построения структуры и геометрии, тогда как этап текстурирования остается без изменений. Причина в том, что набор данных не содержит отдельных карт материалов, а цветные изображения включают уже «запеченное» освещение. Данные взяты из Google Scanned Objects — коллекции из 1 030 отсканированных объектов. Для обучения использованы 179 моделей обуви, еще девять — для проверки. На A100 с 80 ГБ памяти предварительная обработка и обучение вместе занимают почти двенадцать часов.
Метрики относятся исключительно к геометрии. На девяти тестовых объектах средний F-Score вырос с 0,276 до 0,803. Расстояние Чамфера — показатель расхождения между сгенерированной и отсканированной поверхностью — снизилось с 0,174 до 0,033. Улучшилось и совпадение нормалей поверхности: значение поднялось с 0,530 до 0,804. По словам авторов, на сравнительных изображениях подошвы стали заметно ближе к сканам.
Hugging Face не рассматривает применение метода в 3D-печати. Тем не менее для пользователей, которые планируют дорабатывать сгенерированные сетки, важен сам результат: около 180 сканов оказалось достаточно, чтобы заметно улучшить форму для одного класса объектов. Скрипты и Docker-контейнеры доступны для запуска локально или через Hugging Face Jobs. При этом выводы пока основаны только на одной категории и небольшом числе тестовых объектов. Следующим шагом Hugging Face называет перенос подхода на другие 3D-модели, такие как Pixal3D и UniLat3D.
Источник: 3Druck














