OpenAI выпустила генеративный ИИ Shap-E для создания 3D-моделей по описанию

Генеративные нейросети уверенно вошли в обыденную жизнь.

Массовое распространение получили модели искусственного интеллекта для создания изображений по описанию.

Следующий шаг — создание видео, и разработки в этой области уже есть.

Теперь компания OpenAI, известная по ChatGPT, представила новую генеративную модель Shap-E, которая создает 3D-объекты по описанию.

Полученное изображение можно импортировать в Microsoft Paint 3D для последующей обработки или в формат STL для печати на 3D-принтере.

Модель Shap-E доступна бесплатно на Git.

Hub и работает локально на вашем ПК.

После загрузки всех файлов Shap-E не требует соединения с Интернетом и каких-то онлайновых сервисов.

Однако установить данную модель не так просто, поскольку OpenAI не дает инструкций для обычных пользователей.

Автор с Tom's Hardware смог запустить Shap-E в среде Linux и под WSL2 для Windows.

Модель Shap-E требует Python Pip, установки Miniconda или Anaconda.

Полное описание установки доступно на Tom's Hardware.

Если говорить о результатах, то они пока выдаются в низком разрешении.

Также лучше всего у Shap-E получаются анимированные GIF, в трехмерном формате PLY объекты зачастую выглядят плохо и имеют кривую геометрию.

Также Shap-E может преобразовывать 2D-изображение в 3D-объект.

Очевидно, что это начальный этап развития проекта, поэтому OpenAI и распространяет данную модель бесплатно.

Когда Shap-E достигнет более совершенного уровня, на его основе могут запустить платный сервис.

Также журналист Tom's Hardware поделился примерными данными о производительности Shap-E.

Генерация простеньких моделей на системе с Ryzen 9 5900X и Ge.

Force RTX 3080 занимает до 5 минут, ноутбук Asus ROG Strix Scar 18 с Intel Core i9-13980HX и RTX 4090 справлялся с этим за 2-3 минуты.

Автор попытался запустить генерацию на старом ноутбуке с процессором Intel Core 8-го поколения и встроенной графикой, но за час было завершено только 3% модели.