A dolgozatomban részletesen bemutatok egy alkalmazott kutatás során általam fejlesztett, ipari robotkarok vezérlésére alkalmas, gépi látáson alapuló rendszert, amely példány szegmentációs maszk segítségével képes egy adott célobjektum hat szabadságfokú pózának (pozíció és orientáció) meghatározására.

A gépi látással történő példány szegmentációt Pytorch keretrendszerben valósítottam meg, YOLACT konvolúciós neurális háló modell segítségével. A modell tanításához szükséges adatbázist szintetikusan állítottam elő a nyílt forráskódú Blender programban, ami háromdimenziós grafikák, animációk elkészítésére szolgál, illetve valósághű megjelenés érhető el vele képalkotás terén. A képek generálásának automatizálásáról Python script gondoskodik ezzel felgyorsítva az adatbázis elkészítésének folyamatát, így áthidalva a manuális adatgyűjtéssel és címkézéssel járó problémákat és nehézségeket. A neurális háló által szolgáltatott objektum maszk adatokon Hough geometriai transzformáció alkalmazásával állapítottam meg a szükséges kulcspontok koordinátáit a kétdimenziós térben. Ezen pontok alapján Perspective-n-Point algoritmussal került kiszámításra a transzlációs és a rotációs mátrix és valósult meg az objektum póz meghatározása. A számításokat az OpenCV függvénykönyvtárának segítségével, Python programban végeztem el.

A dolgozat bemutatja a szintetikus adatbázis elkészítésének folyamatát, a szintetikus adatbázissal történő tanítás eredményeit, a póz meghatározás folyamatának matematikai hátterét, illetve a megvalósítás folyamán felmerülő problémákat és azok megoldásait.