logo elektroda
logo elektroda
X
logo elektroda
REKLAMA
REKLAMA
Adblock/uBlockOrigin/AdGuard mogą powodować znikanie niektórych postów z powodu nowej reguły.

TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie

p.kaczmarek2 08 Mar 2024 22:54 1389 4
REKLAMA
  • TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie
    Kilka dni temu zostało opublikowane nowe narzędzie AI, tym razem zajmujące się tworzeniem trójwymiarowych modeli obiektów na postawie jednego zdjęcia. Przedstawię tutaj, jak można je zainstalować lokalnie u siebie na komputerze oraz sprawdzę, czy generowane modele nadają się do wydruku na drukarce 3D.

    Temat ten jest poniekąd nawiązaniem do Shap-E - sztuczna inteligencja do generowania modeli 3D dla drukarki 3D - czy w przypadku TripoSR będzie lepiej?

    Zacznijmy od cech kluczowych TripoSR:
    - TripoSR jest zoptymalizowany do działania na naszych maszynach, może ruszyć nawet bez GPU
    - TripoSR jest dostępny na licencji MIT, co pozwala na wykorzystanie komercyjne
    Strona domowa: https://stability.ai/news/triposr-3d-generation

    Całość można pobrać na Githubie:
    https://github.com/VAST-AI-Research/TripoSR
    Instrukcja instalacji jest na tym repozytorium, przy czym najlepiej uruchomić aplikację webową i pominąć uruchamianie z linii komend:
    TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie
    Po uruchomieniu otrzymujemy w naszej przeglądarce prosty interfejs do przeróbki zdjęcia na model:
    TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie
    Mamy też zestaw zdjęć gotów do eksperymentów:
    TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie

    Na początek wygenerujmy coś z przykładów. Czajnik:
    TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie
    Głębia została poprawnie nadana:
    TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie
    Jest nieźle, ale to prosty obiekt:
    TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie
    To teraz może coś trudniejszego. Krzesło:
    TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie
    Model wyszedł troszkę... wygięty. AI ma problem z perspektywą:
    TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie
    Chociaż to by się dało względnie łatwo naprawić w programie do grafiki 3D:
    TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie

    Tym razem spróbujmy na czymś spoza przykładów udostępnionych przez twórców TripoSR. Zdjęcie postaci z internetu:
    TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie
    Po chwili otrzymujemy model, ale jak prezentuje się on z różnych stron?
    TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie
    TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie
    TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie
    Rzeczywiście, AI poprawnie przewidziało i uzupełniło też tył figurki. Najbardziej mi imponuje, że AI nie odbiło z tyłu nosa postaci, to trochę tak jakby model wiedział, że tył powinien być uproszczony?

    A jak system poradzi sobie z figurką pokazaną pod kątem?
    TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie
    Obracamy i ... coś poszło bardzo nie tak:
    TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie
    Figurka pokazana pod kątem utrudnia odbicie jej wedle osi symetrii więc model sobie nie radzi.

    To może jeszcze inna figurka:
    TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie
    Odwracamy:
    TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie
    TripoSR - AI zamieniające jedno zdjęcie na model 3D dla drukarki 3D? Testy na lokalnej maszynie
    Trochę popsuty jest tył, z przodu głębia jest jeszcze w miarę okej ale tył jest do poprawki.

    Wygenerowany model można pobrać w formacie Wavefront OBJ. Model nie posiada tekstur, kolory są zapisane we wierzchołkach. Siatka jest szczelna ("watertight"), więc można wrzucić do slicera takiego jak Cura.

    Podsumowując, to AI jest w stanie w miarę dobrze nadać głębie dla frontu modelu, ale odwzorowaniem tyłu jest już kłopot, chociaż rzeczywiście widać, że system próbuje jakoś odgadnąć co jest zasłonięte w oparciu o coś więcej niż symetrię. Jednakże wciąż jest daleko do ideału. Wygenerowany model może raczej stanowić podstawę do przeróbki, a nie gotowy produkt. Nie mniej, hobbystom tworzącym figurki na drukarce 3D może się spodoba... jakieś możliwości to daje, jakbyśmy np. chcieli wydrukować dzieciom zabawkę na bazie ulubionego bohatera to ten system rzeczywiście umożliwia uzyskanie tego i to na podstawie jednego zdjęcia. Na pewno jest to prostsze niż skaner 3D. A co Wy sądzicie? Czy będzie z tym tak jak z GPT i w ciągu kilku lat przejdziemy od GPT i GPT2 o których prawie nikt nie słyszał, do "rewolucyjnego" GPT 3.5 i 4, czy z przerabiania zdjęć na modele 3D nic nie wyjdzie?

    Fajne? Ranking DIY
    Pomogłem? Kup mi kawę.
    O autorze
    p.kaczmarek2
    Moderator Smart Home
    Offline 
  • REKLAMA
  • REKLAMA
  • #3 20996820
    andrzejlisek
    Poziom 31  
    Jakieś ćwierć wieku temu istniał program zwany "PhotoModeler 3D", do którego wczytywało się kilka zdjęć różnych ujęć tego samego przedmiotu (im więcej tym lepiej), ręcznie wskazywało się punkty charakterystyczne, czyli należało pokazać na kilku zdjęciach miejsca, które były jednym i tym samym miejscem elementem przedmiotu. Im więcej takich charakterystycznych punktów charakterystycznych tym lepiej. Na podstawie tych informacji program wytwarzał model 3D, w praktyce działało to tak sobie.

    Fajnie by było, gdyby istniał program, do którego wczytuje się dowolną liczbę zdjęć przedstawiających ten sam przedmiot i program sam wytworzy model. Skoro z jednego zdjęcia coś tam wychodzi, ale wychodzi tak sobie, to przecież powinna być możliwość wczytania wielu zdjęć, żeby była pełna informacja o kształcie przedmiotu w przestrzeni.
  • REKLAMA
  • #4 20997924
    szeryf3
    Poziom 28  
    Na razie to są początki w tym temacie sztucznej inteligencji. Ale mimo tego jestem zaskoczony.
  • #5 20999198
    VIGOR_PICTURES
    Poziom 21  
    >>20996820

    Nazywa się to fotogrametria.
    Teraz najprostszą drogą do tego o czym piszesz jest twój telefon komórkowy i program Reality Scan (twórca to Epic Games).

    Program jest darmowy ale wymaga zalogowania się do niego np przez konto Epic Games (również darmowe).
    Po uruchomieniu programu można zacząć skanowanie.
    Po ukończeniu gotowe modele są dostępne do pobrania na SketchFab (format FBX) i można z nimi pracować w ulubionych programach do grafiki 3D - np Blender po instalacji dodatku do importu FBX radzi sobie doskonale.
    Nic nie trzeba skalować.
    Jak skończę swój model to napiszę artykuł bo to bardzo fajna sprawa.
REKLAMA