Kilka dni temu zostało opublikowane nowe narzędzie AI, tym razem zajmujące się tworzeniem trójwymiarowych modeli obiektów na postawie jednego zdjęcia. Przedstawię tutaj, jak można je zainstalować lokalnie u siebie na komputerze oraz sprawdzę, czy generowane modele nadają się do wydruku na drukarce 3D.
Temat ten jest poniekąd nawiązaniem do Shap-E - sztuczna inteligencja do generowania modeli 3D dla drukarki 3D - czy w przypadku TripoSR będzie lepiej?
Zacznijmy od cech kluczowych TripoSR:
- TripoSR jest zoptymalizowany do działania na naszych maszynach, może ruszyć nawet bez GPU
- TripoSR jest dostępny na licencji MIT, co pozwala na wykorzystanie komercyjne
Strona domowa: https://stability.ai/news/triposr-3d-generation
Całość można pobrać na Githubie:
https://github.com/VAST-AI-Research/TripoSR
Instrukcja instalacji jest na tym repozytorium, przy czym najlepiej uruchomić aplikację webową i pominąć uruchamianie z linii komend:
Po uruchomieniu otrzymujemy w naszej przeglądarce prosty interfejs do przeróbki zdjęcia na model:
Mamy też zestaw zdjęć gotów do eksperymentów:
Na początek wygenerujmy coś z przykładów. Czajnik:
Głębia została poprawnie nadana:
Jest nieźle, ale to prosty obiekt:
To teraz może coś trudniejszego. Krzesło:
Model wyszedł troszkę... wygięty. AI ma problem z perspektywą:
Chociaż to by się dało względnie łatwo naprawić w programie do grafiki 3D:
Tym razem spróbujmy na czymś spoza przykładów udostępnionych przez twórców TripoSR. Zdjęcie postaci z internetu:
Po chwili otrzymujemy model, ale jak prezentuje się on z różnych stron?
Rzeczywiście, AI poprawnie przewidziało i uzupełniło też tył figurki. Najbardziej mi imponuje, że AI nie odbiło z tyłu nosa postaci, to trochę tak jakby model wiedział, że tył powinien być uproszczony?
A jak system poradzi sobie z figurką pokazaną pod kątem?
Obracamy i ... coś poszło bardzo nie tak:
Figurka pokazana pod kątem utrudnia odbicie jej wedle osi symetrii więc model sobie nie radzi.
To może jeszcze inna figurka:
Odwracamy:
Trochę popsuty jest tył, z przodu głębia jest jeszcze w miarę okej ale tył jest do poprawki.
Wygenerowany model można pobrać w formacie Wavefront OBJ. Model nie posiada tekstur, kolory są zapisane we wierzchołkach. Siatka jest szczelna ("watertight"), więc można wrzucić do slicera takiego jak Cura.
Podsumowując, to AI jest w stanie w miarę dobrze nadać głębie dla frontu modelu, ale odwzorowaniem tyłu jest już kłopot, chociaż rzeczywiście widać, że system próbuje jakoś odgadnąć co jest zasłonięte w oparciu o coś więcej niż symetrię. Jednakże wciąż jest daleko do ideału. Wygenerowany model może raczej stanowić podstawę do przeróbki, a nie gotowy produkt. Nie mniej, hobbystom tworzącym figurki na drukarce 3D może się spodoba... jakieś możliwości to daje, jakbyśmy np. chcieli wydrukować dzieciom zabawkę na bazie ulubionego bohatera to ten system rzeczywiście umożliwia uzyskanie tego i to na podstawie jednego zdjęcia. Na pewno jest to prostsze niż skaner 3D. A co Wy sądzicie? Czy będzie z tym tak jak z GPT i w ciągu kilku lat przejdziemy od GPT i GPT2 o których prawie nikt nie słyszał, do "rewolucyjnego" GPT 3.5 i 4, czy z przerabiania zdjęć na modele 3D nic nie wyjdzie?
Fajne? Ranking DIY Pomogłem? Kup mi kawę.