Wyodrębnienie linii lasera z obrazu

Witam,
Czerwonym laserem generuję linię na ścianie. Obserwuję ją kolorową kamerą (webcamem). Problem jest taki, że chcę „wydobyć” z obrazu samą linię lasera – tło mnie nie interesuje. Dodam, że tło (tj. ściana) może być w „nieprzyjaznym” kolorze, np. czerwona co utrudnia wykrycie na niej lasera lub co gorsza w np. czerwone paski co w ogóle może mylić. Albo pół białe (dobrze widać laser) a drugie pół czarne (i już słabiej go widać)

Najprostszym sposobem wykrywania linii jest ustalenie progu nasycenia czerwonej składowej koloru i potraktowanie za linię lasera wszystkiego większego równego temu progowi. Jednak niestety ta metoda nie zdaje egzaminu gdy ściana jest pomalowana w mylące kolory.



Nadmienię, że linia lasera może nie być prosta, ale np. łamana.

Mam możliwość zapalania i gaszenia lasera – można to wykorzystać. Jednak moja kamera to zwykły webcam dlatego nie mogę synchronizować włączania/wyłączania lasera z rejestrowaniem klatek przez kamerę. Linia laserowa jest tworzona poprzez padanie wiązki lasera na obrotowe zwierciadło.

Bardzo dziękuję za pomoc
Takaba

A moze algorytm szkieletyzacji dal by rade

Problem tła można dość prosto rozwiązać.

1) włącz laser
2) wykonaj zdjęcie (obraz A)
3) wyłącz laser
4) wykonaj zdjęcie (obraz B)
5) wykonaj operację: obraz C = obraz A - obraz B

W efekcie otrzymasz obraz różnicowy, a obrazy te będą różnić się od siebie... linią narysowaną przez laser. Reszta będzie czarna (w rzeczywistości będzie jeszcze szum przetwornika obrazu)

Żeby poprawić "kondycję" takiego obrazu można odfiltrować składowe G i B, co przyczyni się do zmniejszenia szumu.

Ze względu na różne kolory tła linia lasera będzie miała nierównomierną luminancję, ale tu już można coś zdziałać za pomocą funkcji progowej.

Warunkiem koniecznym jest niezmienna pozycja kamery podczas wykonywania obu zdjęć.

Oświetlenie powinno być stałe, chociaż ten warunek można akurat częściowo obejść (pod warunkiem, że mamy do czynienia ze światłem białym) zmieniając przestrzeń kolorów z RGB na np HSL (czy HSV, to chyba to samo). W HSL ignorujemy składową L (czyli luminancję), zostaje tylko H (barwa), która będzie miała wartość mniej lub bardziej bliską czrwieni, oraz S (nasycenie koloru), która to powinna wzrosnąć w stosunku do obrazu bez lasera.
Sprowadzenie luminancji w calym obrazie do stalego poziomu powoduje usunięcie efektów związanych ze zmiennym oświetleniem, a także usunięcie cieni :]. Niestety kosztem zwiększenia szumu, szczególnie w ciemnych miejscach. Taką "normalną" wartością luminancji jest 50%, wtedy mamy najbardziej "soczyste" kolory, a chyba na tym nam zależy.

Tak przetworzony obraz powinien już być podatny na traktowanie go algorytmem szkieletyzacji.

A więc robimy tak:
1) obraz A z włączonym laserem
2) obraz A z wyłączonym laserem
3) konwersja obu obrazów do przestrzeni HSL
4) wyrównanie poziomu składowej L w obu obrazach
5) konwersja obu obrazów na RGB
6) obraz C = obraz A - obraz B
7) ewentualna filtracja jakimś filtrem adaptacyjny, który wygładzi powierzchnie o jednolitym kolorze, a nie ruszy miejsc, gdzie kolor się gwałtownie zmienia (takie algorytmy stosowane są do odszumiania zdjęć)
8) wycięcie składowych G i B
9) szkieletyzacja.

Jeśli można to poprosiłbym próbki obrazów i zobaczę, co z tego wyjdzie.

Ja proponuje filtr optyczny ,który będzie przepuszczał tylko w granicach "światła " lasera tzn. np 650nm +-10nm -reszta -prawie zero.
Robi takie rzeczy:WAT im.Kaliskiego-Warszawa

shg: bardzo dziękuję, za wyczerpującą odpowiedz. O robieniu dwóch zdjęć już myślałem, jednak miałem dwie wątpliwości:

1) kamera będzie zamontowana na pojeździe poruszającym się kilka m/s – to może przekreślać całą myśl
2) ze względu na brak synchronizacji z momentami wykonywania zdjęcia (klatki) z laserem. I tworzeniem linii lasera poprzez padanie jego wiązki na obrotowe zwierciadło obawiam się, że nie będzie tak, że na zdjęciu A będzie linia lasera a na zdjęciu B nie. Może się zdarzyć tak, że na zdjęciu A będzie połowa linii a na B druga połowa. Ale nie jestem tego pewien bo jeszcze nie sprawdzałem.
3) Jak proponujesz usunąć szum kamery albo jakiekolwiek inne niepotrzebne elementy na obrazie? Jednym ze sposobów jest filtrowanie składowych G i B.

Marpiasek: jest to jakiś sposób, ale mam wątpliwości czy taki filtr nie przepuści np. jeśli ściana będzie miała czerwone wzory.

W grę może wchodzić połączenie metod shg i marpiasek .

offtopic: czy taka
"HLDH-780-A9001 Dioda laserowa 90mW 780nm 9/17° TO18"
lub taka
"HLDH-808-B20001 Dioda laserowa 808nm 200mW 9/41° TO18"
dioda laserowa (tj jej wiązka) będzie dobrze widoczna na obrazie z kamery (zwykłego webcama) ? Bedzie tak samo widoczna jak czerwony Hitach 50mW mocniej, słabiej? Pytam bo chyba podczewień będzie łatwiej wyobrębnić z obrazu (np. filtrem).

Do wszystkich: jeśli ktoś miałby pomysł na sposób wyodrębnienie linii bez robienia dwóch zdjęć to chętnie się zapoznam (bo nie jestem pewien, czy ruch pojazdu wszystkiego nie zepsuje…).
Albo jeśli ktoś miałby pomysł na ulepszenie tego z dwoma zdjęciami to też słucham.

Pozdrawiam
Takaba

No! Może ktoś dorzuci jeszcze swoje 3 grosze! Problem jest nie rozwiązany a jest mi to potrzebne.

czy? podczerwień -nie sprosta twojemu tematowi.
Diody tańsze,filtry też.

A jaka podczerwień lepsza 780nm czy 808nm. I jak wygląda "złudna" jasność podczerwieni dla webcamów. Są jaśniejsze, słabsze czy takie same jak zwykła czerwień?

Chętnie posłucham jeszcze o algorytmach do wyobrębnienie linii z tła.

Lepsza jest bliższa podczerwień.
Ale wątpię, żeby czułość kamery była dostatecznie duża. Większość kamer jest mało czuła na podczerwień, wszystko to wina optyki, bo sam przetwornik CCD, czy CMOS na podczerwień reaguje.

Sprawdź - poświeć na kamerę pilotem od TV, albo zobacz, czy dioda z pilota jest w stanie coś w ogóle oświetlić i porónaj ze zwykłą diodą.

A podczerwień faktycznie można łatwo wyodrębnić - wystarczy zasłonić kamerę filtrem przepuszczającym tylko IR (takie jak w telewizorach na fotodiodzie odbiornika IR).

Ruch pojazdu jest ogromnym problemem - skoro obraz jest tworzony przez wirujące lustro, to cała linia nie jest rysowana w tym samym czasie. Kombinacja tych dwóch okoliczności da w efekcie ugięte linie nawet na plaskiej powierzchni, jezeli tylko pojazd będzie się poruszał inaczej niż prostopadle do tejże.

Gdyby tylko kamera okazała się dostatecznie czuła na IR, to bez problemu można skorzystać z tylko jednego zdjęcia, filtr wytnie praktycznie wszystko w zakresie światła widzialnego (no może oprócz słońca, żarówek itp.)

Istnieją algorytmy, które potrafią tak przetworzyć dwa zdjęcia wykonane z jednego miejsca, aby dało się wyodrębić linię, ale o przetwarzaniu w czasie rzeczywistym można zapomnieć.

Większość webcamów da się łatwo przerobić tak, by były bardzo czułe na IR - wystarczy wywalić filtr, który znajduje się przed CCD lub po prostu wstawić inny, który będzie czuły tylko na podczerwień.

Przykład:
http://homepage.ntlworld.com/geoff.johnson2/IR/

shg: Wyniki testu czułości na IR:
- swiecenie pilotem na kamere - widać światło
- obserwowanie czegoś oświetlanego pilotem - ciemność
- obserwowanie czegoś oświetlanego diodą IR (świeci jaśniej bo nie jest kluczowana jak w pilocie) - widać lekko oświetlone przedmioty.

Quote:

Ruch pojazdu jest ogromnym problemem - skoro obraz jest tworzony przez wirujące lustro, to cała linia nie jest rysowana w tym samym czasie. Kombinacja tych dwóch okoliczności da w efekcie ugięte linie nawet na plaskiej powierzchni, jezeli tylko pojazd będzie się poruszał inaczej niż prostopadle do tejże.

A jeśli linia nie byłaby tworzona przez wirujące zwierciadło a cała powstawała by w jednym momencie np przechodząc przez szkalany walec. Ale kamera i tak byłaby zamocowana na poruszającym się pojezdzie to czy problem z wyobrębnieniem linii były mniejszy?

Quote:

Gdyby tylko kamera okazała się dostatecznie czuła na IR, to bez problemu można skorzystać z tylko jednego zdjęcia, filtr wytnie praktycznie wszystko w zakresie światła widzialnego (no może oprócz słońca, żarówek itp.)

A jak proponujesz usunąc niepotrzebny szumy w postaci żarówek i słońca? Znam jedną metodę, ale ona się wykłada jeśli linia ma przerwę - a to może się zdarzyć.

Quote:

Istnieją algorytmy, które potrafią tak przetworzyć dwa zdjęcia wykonane z jednego miejsca, aby dało się wyodrębić linię, ale o przetwarzaniu w czasie rzeczywistym można zapomnieć.

Jakie algorytmy masz na myśli?

pmichniewski: bardzo dziękuję za linka, to się przyda. Tylko gdzie możnaby taki filtr kupić?

takaba wrote:

shg: Wyniki testu czułości na IR:
- swiecenie pilotem na kamere - widać światło
- obserwowanie czegoś oświetlanego pilotem - ciemność
- obserwowanie czegoś oświetlanego diodą IR (świeci jaśniej bo nie jest kluczowana jak w pilocie) - widać lekko oświetlone przedmioty.

Czyli trzeba wywalić filtr podczerwieni z kamery, patrz link podany przez pmichniewski.

takaba wrote:

A jeśli linia nie byłaby tworzona przez wirujące zwierciadło a cała powstawała by w jednym momencie np przechodząc przez szkalany walec. Ale kamera i tak byłaby zamocowana na poruszającym się pojezdzie to czy problem z wyobrębnieniem linii były mniejszy?

Tak, wtedy problem ugiętych linii znika całkowicie.

takaba wrote:

A jak proponujesz usunąc niepotrzebny szumy w postaci żarówek i słońca? Znam jedną metodę, ale ona się wykłada jeśli linia ma przerwę - a to może się zdarzyć.

Tu można zastosować jakiś algorytm, który usuwa plamki z obrazu.

takaba wrote:

Quote:

Istnieją algorytmy, które potrafią tak przetworzyć dwa zdjęcia wykonane z jednego miejsca, aby dało się wyodrębić linię, ale o przetwarzaniu w czasie rzeczywistym można zapomnieć.

Jakie algorytmy masz na myśli?

Aj, z rozpędu źle napisałem, powinno być: "dwa zdjęcia wykonane z różnych miejsc".
No są to algorytmy dość mocno skomplikowane.
- Po pierwsze, bawimy się w stereoskopię. Trzeba znać położenia kamery z których wykonane były zdjęcia.
- Następnie za pomocą korelacji znajduje się wspólne punkty na obu obrazach i ustala ich położenie w przestrzeni
- Wykonuje przekształcenia perspektywiczne, aby drugi obraz po przekształceniu wyglądał tak, jakby był wykonany z tego samego miejsca, co pierwszy.

I dopiero możemy wykonać odejmowanie obrazów.

Oczywiście nie da się uniknąć braków w tak przekształconym obrazie, bo w wyniku przesunięcia kamery jedne obiekty mogą zostać odsłonięte, a inne zasłonięte. I z takimi dziurami algorytm musi sobie radzić.

A jak algorytm szukający odpowiadających sobie punktów na dwóch obrazach nawali, to wyniki będą gorsze niż złe ("skopie" się perspektywa).

Raczej byłbym za podczerwienią + "ulepszona" kamera

takaba wrote:

shg: Wyniki testu czułości na IR:
pmichniewski: bardzo dziękuję za linka, to się przyda. Tylko gdzie możnaby taki filtr kupić?

Na podanej przeze mnie stronie sugerują włożenie dwóch warstw prześwietlonego filmu fotograficznego. Rozwiązanie może nie jest idealne, ale przetestowane przeze mnie na aparacie z telefonu komórkowego.

pmichniewski: po czy przed wywołaniem <lol> Musiałbym kupić film, no ale to nie problem.

A czy gdzieś można kupić bardziej "profesjonalne" filtry? W końcu Ci co robią piloty do TV skądś je biorą

Właśnie rozkręciłem swojego webcama wyjąłem obiektyw ale nie wiem gdzie jest jakiś filtr, który mógłbym wywalić i wstawić swój. Bo jeśli dam tylko swój i zostawię oryginalny to nie zwiększę czułości kamery na IR.

Tak tylko z ciekawości: bawiłeś się coś z robieniem zdjęć w IR bo z Twoich postów tak wynika?
shq:

Quote:

Tak, wtedy problem ugiętych linii znika całkowicie.

A nie będzie problemu z tym, że w pojazd się przesunie trochę w czasie gdy kamera wykona zdjęciu nr 2 w stosunku do zdjęcia nr 1?

Quote:

Tu można zastosować jakiś algorytm, który usuwa plamki z obrazu.

Mógłbyś jakiś zaproponować? Czy po prostu mam sam sobie pomyśleć nad takiem algorytmem.

takaba wrote:

pmichniewski: po czy przed wywołaniem <lol> Musiałbym kupić film, no ale to nie problem.

Po wywołaniu Najłatwiej po prostu obciąć ten czarny kawałek już wywołanego filmu. Wtedy nie trzeba kupować nowego.

takaba wrote:

A czy gdzieś można kupić bardziej "profesjonalne" filtry? W końcu Ci co robią piloty do TV skądś je biorą

Najłatwiej pewnie wyciąć kawałek takiego filtra z pilota

takaba wrote:

Właśnie rozkręciłem swojego webcama wyjąłem obiektyw ale nie wiem gdzie jest jakiś filtr, który mógłbym wywalić i wstawić swój. Bo jeśli dam tylko swój i zostawię oryginalny to nie zwiększę czułości kamery na IR.

Na tej stronie jest wszystko napisane. Są różne rodzaje webcamów. Niektóre mają osobne filtry, inne mają napyloną warstwę na soczewkę. Autor strony wspominał o tym, że w jednej z kamer tak miał, więc po prostu zdrapał go paznokciem. W najgorszym przypadku filtr będzie bezpośrednio na czujniku, a to może być już problem... Ale pewnie jakimś środkiem chemicznym na patyczku z watką się będzie dało usunąć... W każdym razie szukaj czegoś lekko zabarwionego na czerwono.

Gdy zakryłem kamerę z komórki dwiema warstwami filmu fotograficznego, wszystko stało się czarne
Żarówkę widać na niebiesko. Gdy świecę pilotem od TV w kamerę to też widać.
Jednak nie widać już nic oświetlonego (ani przez pilota ani przez żarówkę). I co ważniejsze, nie widać wiązki czerwonego lasera.
Madmienię, że optyka kamery nie była modyfikowana, więc jeśli miała filtr IR to dalej tam jest.

Z koleji widzę jak soczewka w obiektywie z webcama mieni się na czerwono (więc chyba ma filtr IR) ale nie jestem w stanie jej wyjąc. A patyczek do uszu + rozpuszczalnik nitro nie są w stanie zmyć tego filtru. Jestem otwarty na sugestie, jak usunąc ten filtr.

Ponieważ nie jestem jeszcze pewien czy przesiadka na IR będzie dla mnie kożystna, dlatego proszę o jakieś sugestie jak wyodrębnić wiązkę czerwonego lasera z kolorowego obrazu.

Temat umarł :-/ Dlaczego? Przecież jest jeszcze coś do powiedzenia...

Ok, w końcu udało mi się wydłubać filtr blokujący IR z webcama. Zamontowałem w jego miejsce filtr przepuszczający tylko IR (tj film fotograficzny )
Można teraz powiedieć, że mam kamerę IR (choć nie całkiem, bo ciepła nią nie widać - za małą czułość).
Obraz wygląda jak z normalnej czarnobiałej kamery (no prócz kilku wyjątków: nie widać tekstu na papierze, włączony monitor jest czarny, czarna szybka od pilota od TV jest przeżroczysta).
Dlatego obawiam się, że wyodrębnienie promienia lasera podczerwonego wcale nie będzie takie łatwe.
Chętnie posłucham co o tym sądzicie.

A nie można tego praktycznie sprawdzić.
np: zaświecić pilotem z bliska na kartkę papieru z tekstem.
-w ciemności
-wyjmij klisze i zrób taki sam test .

marpiasek: Jak zwykle trudno mi zrozumieć co do mnie mówisz Na jakie pytanie w ogóle odpowiadasz? Co mam w ten sposób sprawdzić?

shg: może Ty powiesz coś na temat odizolowania lasera podczerwonego z tak przefiltrowanego obrazu?

Sory że się wcinam,ale czy kolega takaba mógłby wyjaśnić czy chodzi tu o wyodrębnienie tego efektu,w tym celu by użyć tego w filmie jako FX? Czy mógłby kolega coś więcej powiedzieć o swoim projekcie? Pozdrawiam.

datatomek: nie masz za co przepraszać, w końcu od tego jest forum.
A linię lasera potrzebuję "oddzielić od tła" by na podstawie jej załamań obliczać różne rzeczy ogólnie mówiąc.

Acha.Spojrzałem na to z mojego punktu widzenia,gdyż zajmuję się kręceniem filmów,i niekiedy używam też różnych efektów,jak np,blue screen,lub green screen.I pomyślałem że gdyby tło było w tym kolorze,to za pomocą tej techniki wszystko jest oprócz tła,oczywiście,nawet podczas ruchu kamery.

datatomek: nie wiedziałem, że te techniki radzą sobie z ruchem kamery. Wymagają chyba zdjęcia samego tła. Ale jak to jest, że wycinąją tło (tj zamieniają je na inny obraz) nawet podczas ruchu kamery? Jak one sobie z tym radzą?

Może: Było warto coś powiedzie o temacie,o sobie-
to może bym się przystosował do poziomu ...
A tak wałkujemy temat -w końcu podałem -sposób ,czy kamera widzi "w nocy".
Będe pisał całymi zdaniami-myślałem ????....

A tak wyszła rozmowa-głuchego z niewidomym.
Wesołych Świąt.

Ruch kamery,czyli ruch samej sceny jest w tym przypadku nie istotny,bo przecież zmieniają się tylko tak naprawdę klatki,które program obrabia na bierząco.Stąd dwa kolory do wyboru tła,zależnie co na tym tle umieścimy.Program kluczuje każde klatki wejsciowe(np.z dwóch źródeł,czyli timelines) w taki sposób że trzecia wyjściowa,jest połączeniem tych dwóch minus tło z tej kluczującej czyli tej z tłem.W tym przypadku można by zastosować blue screen,gdyż obraz właściwy jest czerwony,czyli laser.Winik będzie taki że obraz tworzony przez laser będzie na czarnym tle(brak jego),lub po podstawieniu materiału do kluczowania może być np.na tle płynących na niebie chmur...To tylko takie teoretyczne rozwarzania do tego konkretnego przypadku.Faktycznie efekt właściwy uzyskać można by podejrzewam dopiero po wykonaniu kilku prób.

Pierwsze testy z laserem podczerwonym. Niestety nie znam mocy tego lasera. Test był wykonany w pomieszczeniu o oświetleniu żarowym. Kamera to webcam po modyfikacji na IR.
Pierwsze zdjęcie przedstawia wiązkę lasera na moich spodniach a drugie na ścianie. O ile na pierwszym wiązka jest mocno widoczna to na drugim już gorzej (wiązka oznaczona czerwonym kółkiem). Niestety na czarnej powierzchni jest całkowicie niewidoczna (jak temu zaradzić? Kupić laser 1000mW?).
Teraz zagadnienie jest takie, że potrzeba napisać program, który dysponując takim zdjęciem odnajdzie wiązkę lasera (tj poziomą linię przez niego tworzon ą czego nie mam na zdjęciu).

shg: pisałeś, że odnalezienie lasera kamerą pracującą w IR nie jestr trudne, wypowiedz się proszę w takim razie jak to zrobić.
Napisałeś też, że jeśli linia lasera nie będzie tworzona przez zwierciadło a np. szkany walec, to nie będzie problemu by odszukać linię poprzez odjęcie od siebie dwóch zdjęc, jednego z włączonym i drugiego z wyłączonym laserem. Osobiście uważam, że sam ruch platformy na której będzie zamocowane całe urządzenie możę wszystko popsuć. Ale jeśli Ty jesteś innego zdania, to wyprowadz mnie z błędu.

Zrobiłem, mały test z laserem,nie wiem czy coś podobnego kolega chciał uzyskać? Chodzi ogólnie o wyodrębnienie jego światła.Film jest bardzo mały,więc jakiść też

datatomek: Dzięki, ciekawe to co pokazałeś.
Powiedz jak to było robione. Tj. na co świeciłeś laserem. Poczętek filmu to dwa nałożone na siebie lasry, ale czy to było jakoś nakładane cyfrowo, czy rzeczywiście świciłeś na coś dwoma laserami. Oraz co było "danymi wejściowymi" dla programu który wycinał tło.

I co Kolega datatomek -zrozumiał -a takaba -nie.
Prosiłem: żeby zrobić próbe w ciemności-Ty robisz,uzywając "żarowego"-czy wiesz co to jest -widmo (długość fali ).
Jeśli oświetlisz ( podczerwienią) fragment np.ściany-to kamera zarejestruje- tylko oświetlony fragment,jak kreską -no to chyba - zobaczsz kreske.

Nie jestem belfererm-na szczęście-rodzina
by miała żal.?! i sporadycznie Koledzy z Elektrody.

Wesołych Świąt. (bez kreski)

marpisasek: Jestem w pełni świadomy, że żarówka emituje bardzo dużo promieniowania podczerwonego - może nawet więcej niż w paśmie widzialnym. Ale, zrozum, całe urządzenie będzie pracować przy takim oświetleniu! Jesne, że przy zgaszonym świetle kamera zarejestruje tylko wiązkę lasera. Ale co mi po tym skoro w rzeczywistości warunki pracy kamery nie będą tak wyidealizowane! Irytujesz mnie ponieważ masz mnie za głupszego niż jestem.