Abstracts Category : Other

Human Object Interaction Recognition : Reconnaissance daction humaines et dinteraction avec lobjet

by Meng Meng

Dans cette thse, nous avons tudi la reconnaissance des actions qui incluent l'intraction avec lobjet partir des donnes du skeleton et des informations de profondeur fournies par les capteurs RGB-D. Il existe deux principales applications que nous abordons dans cette thse: la reconnaissance de l'interaction humaine avec l'objet et la reconnaissance d'une activit anormale. Nous proposons, dan un premier temps, une modlisation spatio-temporelle pour la reconnaissance en ligne et hors ligne des interactions entre lhumain et lobjet. Ces caractristiques ont t adoptes pour la reconnaissance en ligne des interactions humaines avec lobjet et pour la dtection de la dmarche anormale. Ensuite, nous proposons des caractristiques lies d'objet qui dcrivent approximativement la forme et la taille de lobjet. Ces caractristiques sont fusionnes avec les caractristiques bas-niveau pour la reconnaissance en ligne des interactions humaines avec lobjet. Les expriences menes sur deux benchmarks dmontrent lefficacit de la mthode propose. Dans le deuxime volet de ce travail, nous tendons l'tude la dtection de la dmarche anormale en utilisant le cadre en ligne lapproche. Afin de valider la robustesse de lapproche la pose, nous avons collect une base multi-vue pour des interactions humaines avec lobjet, de faon normale et anormale. Les rsultats exprimentaux sur le benchmark des actions anormales frontales et sur la nouvelles base prouvent lefficacit de lapproche. In this thesis, we have investigated the human object interaction recognition by using the skeleton data and local depth information provided by RGB-D sensors. There are two main applications we address in this thesis: human object interaction recognition and abnormal activity recognition. First, we propose a spatio-temporal modeling of human-object interaction videos for on-line and off-line recognition. In the spatial modeling of human object interactions, we propose low-level feature and object related distance feature which adopted on on-line human object interaction recognition and abnormal gait detection. Then, we propose object feature, a rough description of the object shape and size as new features to model human-object interactions. This object feature is fused with the low-level feature for online human object interaction recognition. In the temporal modeling of human object interactions, we proposed a shape analysis framework based on low-level feature and object related distance feature for full sequence-based off-line recognition. Experiments carried out on two representative benchmarks demonstrate the proposed method are effective and discriminative for human object interaction analysis. Second, we extend the study to abnormal gait detection by using the on-line framework of human object interaction classification. The experiments conducted following state-of-the-art settings on the benchmark shows the effectiveness of proposed method. Finally, we collected a multi-view human object interaction dataset involvingAdvisors/Committee Members: Daoudi, Mohamed (thesis director), Drira, Hassen (thesis director), Boonaert, Jacques (thesis director).