Strojové Vnímání textilií s Využitím pro Jejich Robotickou Manipulaci

The presented work addresses the visual perception of garments applied for their robotic manipulation. Various types of garments are considered in the typical perception and manipulation tasks, including their classification, folding or unfolding. Our work is motivated by the possibility of having humanoid household robots performing these tasks for us in the future, as well as by the industrial applications. The main challenge is the high deformability of garments, which can be posed in infinitely many configurations with a significantly varying appearance.

The thesis deals with several perception sub-tasks included in the robotic folding scenario, where the goal is bringing a heap of unknown crumpled garments to a folded stack. A custom built dual-arm robot, equipped with consumer grade sensors, is employed, mimicking reasoning and actions of humans. The thesis addresses namely category classification of a hanging garment, visual detection and analysis of folds needed for their removal and pose estimation of a spread garment for its folding. An integration of the sub-tasks into a state-of-the-art pipeline for the folding scenario is also described.

The pose estimation of a spread garment utilizes a single image. A novel two-stage segmentation algorithm is proposed. A probabilistic model of the background color is learned and used for an automated initialization of the existing segmentation method, which would require a user input otherwise. The extracted garment contour is matched to a newly developed polygonal model. Its vertices are defined manually, while their mutual positions are learned from data. Two matching procedures based on a dynamic programming are introduced, minimizing specific cost functions. Vertices of the fitted model correspond to landmark points on the garment contour. They are used for folds planning. The garment pose is checked after each fold by fitting a folded model.

The inverse task is the unfolding of a partially folded garment. The folded parts of the garment are detected by analyzing its visible surface and assigning the pixels either to the bottom or top folded layer. The optimum assignment is found by the graph based minimization of a specific energy function. It combines image and depth information. Its parameters are determined automatically from data. The folding axis is estimated by analyzing the shape of a virtually unfolded garment.

The category classification of a hanging garment utilizes 3D point cloud, obtained by fusing depth maps taken from multiple viewpoints. The cloud is processed with a novel convolutional neural network. It utilizes a generalized convolution operation defined over the spatially local neighborhood of each point. The point cloud is repeatedly subsampled by the network, while size of the neighborhood grows in deeper layers. The obtained local descriptors are aggregated to a single global feature vector. The network is trained on a dataset of common 3D objects and transfered to the domain of garments, in which the convolutional layers extract features for a linear classifier.

Alternate abstract:

Tématem péedlosené práce je strojové vnímmání textilií zakéené na obenaové informaci a využité peo jejich robotickou manipulaci. Práce studuje nikolik repecaentativuich tes- tili v bitných kogaitivni-manipulačnich úlohách, jako je napeiklad třídiní neznámých odivi podle typu nebo jejich skládání. Některé z töchto činností by v budoucm mohly být vykonávány domicimi robotickými pomocníky. Strojová manipulace s textilicmi je poptávaná také v peimyslu. Hlavní výzvou Feseného problima je mikkost a s tím souvisejíci vysoká defarmovatelnost textili, ktezé se tak mohon nacházet v bxpočtu vizuálně velmi odlišných stavů.

Práce se zabývá nikolika dilkimi úkoly strojového vnímání vychúaejícámi ze scináke robotického skládání haldy zmchlanýcdh kusi odivu, jejicha typ není piedem znám. V experimentech využiváme peo tento ičed postavendho dvourukiho robotu, vybaveného bäne dostupnými senaory. Robot s prádlem manipuluje podobeým zpisobem jako lidé. V práci se zabýváne předevsim klasifikaci typu visicílo odivu, detekei sklada na částečné složeném kusu odévu mutnon pro jeho rozloiení a odhadem konfigurace roakdetého odivu pro jeho skládlání. Popisujeme také intograci téchto dilkích úlah do unikátního funeniho celku.

Vstupem metody peo odhad konfigurace roxprastieného kusa odivu je jediuý saámek, který je segmentovian ve dvon krocich. Využiváane nančeného peavdipodobucstniho modedu barvy pozadí sloužiho k autonatické inicializaci jinak masilni segnentainí etody. Takto nalezený vačjší akraj je poté slícován se speciáluë vyvimutým poly- gonáluim modelem tuaru odivu. Zatimco vrcholy modelu definnjeme ručni, jejich vzájemná pozice je nančsna z dat. V príci pëodstavujeme dve riané metody pro licování modelu na obeys odivu. Obé jsou zakdeny na minimalizaci urité cenové funkce za po- moci dynamického programování. Vrcholy modelu, odpovidající zvoleným význačným bodim na vnijšim obrysu dandho typa odivu, jsoa následně využity pro plánování skladu. Konfigurace odivu je kontrakována po kuadém jednotlivém skladu na základi licování částečně skeeného modelu.

V jistém sanyslu opačnou úlohou je roeklidání částočně skoeného odivu. Detekee jed- notlivých skladů je zalokena na anaje viditelné čísti povrchu odëvu. Jednotlivé obea- ové body jsou přiisaay budto do spodní, nebo do svrchní péckošené vrstvy. Optimální zafaeni olrasových bodi do vrstev je foemaakováno jako grafová úloha minimalizace určité cenové funkoe, která zohikedinje obesaovou i hkubkovou infoemaci. Parame- tzy funkee odhadujeme automaticky z paearoaných dat. Odiv je následně několikrát virtuálně roaloken s cikm identifikovat skutečnon osu skladu.

Vstupem metody peo rozpoznání typu visicilho odivu je maolina 3D bodi. Body jaon rekonstruoviay z hloubkových dat zachyecných z mnoha rizmých pohkedů. Mnolina bodi je poté zpracována konvoluční neuronovon siti. Ta využívá novë vyvinuté oper- ace konvoluce definoané na okoli jednotlivých bodů. Velikost okoli v hluboách vestvách roste, zatimco poadet boda postupni saujeme pomocí náhodného vzorkováni. Lokálai priznaky popisujíci akoli bodu jsou uásledni zkombinovány do glohálního vektoru. Parametry síté učime na velké databázi abeených 3D abjektů. Pii roxpoznávání odivů konvaluční vestvy slouži k extrakci příznaků vstupujících do lincárniho klasifikátoru.