ÉCOLECENTRALEDENANTES ÉCOLEDOCTORALE SCIENCESETTECHNOLOGIES DEL’INFORMATIONETMATHÉMATIQUES Année: 2013 No B.U.: hese de octorat T ` D Spécialité: Informatique,Automatique,ÉlectroniqueetGe´nieÉlectrique Présentéeetsoutenuepubliquementpar: Amine ABOU MOUGHLBAY le21mai2013 àl’ÉcoleCentraledeNantes TITRE Contributionsàl’enchaînementdestâchesetàlarésolutiondelaredondance Applicationauxrobotshumanoïdesetmulti-bras Jury Président WisamaKHALIL Professeuràl’ÉcoleCentraledeNantes-France Rapporteurs AngelP.DELPOBIL Professeuràl’UniversitédeJaumeI,Castellón-Espagne NicolasANDREFF Professeuràl’UniversitédeFranche-Comté,Besançon-France Examinateur PhilippeMARTINET Professeuràl’ÉcoleCentraledeNantes-France Directeurdethèse: PhilippeMARTINET Laboratoire: InstitutdeRechercheenCommunicationsetCybernétiquedeNantes(UMRCNRS6597) No ED:503-188 ÉCOLECENTRALEDENANTES ÉCOLEDOCTORALE SCIENCESETTECHNOLOGIES DEL’INFORMATIONETMATHÉMATIQUES Année: 2013 No B.U.: hese de octorat T ` D Spécialité: Informatique,Automatique,ÉlectroniqueetGe´nieÉlectrique Présentéeetsoutenuepubliquementpar: Amine ABOU MOUGHLBAY le21mai2013 àl’ÉcoleCentraledeNantes TITRE Contributionsàl’enchaînementdestâchesetàlarésolutiondelaredondance Applicationauxrobotshumanoïdesetmulti-bras TITLE Contributionsintasksequencingandredundancyresolution Applicationtohumanoidandmulti-armrobots Jury Président WisamaKHALIL Professeuràl’ÉcoleCentraledeNantes-France Rapporteurs AngelP.DELPOBIL Professeuràl’UniversitédeJaumeI,Castellón-Espagne NicolasANDREFF Professeuràl’UniversitédeFranche-Comté,Besançon-France Examinateur PhilippeMARTINET Professeuràl’ÉcoleCentraledeNantes-France Directeurdethèse: PhilippeMARTINET Laboratoire: InstitutdeRechercheenCommunicationsetCybernétiquedeNantes(UMRCNRS6597) No ED:503-188 Abstract Redundancy is either intrinsic and explicit in the robot’s mechanical architecture, and/or implicit and appears only when applying specific tasks. The purpose of this thesis is to show how redundancy can be considered as an exploitable advantage of the system, rather than a problem to avoid, as it was classically perceived. In this aim the classification and identifica- tion of redundancy is performed, then the kinematic resolution of the redundancy problem is developed taking into account several simultaneous and prioritized tasks on a general redun- dantsystem. The comparison and discussion of the existing resolution methods’ efficiency in several cases will lead to the development of a new technique for redundancy resolution, which over- come the encountered problems and improve the system’s behavior and performance. The feasibility and capability of the existing and developed techniques are tested by simulation on variousrobotsindifferentconfigurationsandwithmultiplecasestudiesontheexecutedtasks. Furthermore, a kinematic/dynamic multi-control points approach is developed to control any robotic system, first by studying and monitoring the robot/environment interaction on sev- eralpointsusingvarioustypesofsensors,andthenbydecomposingthedesiredroboticscenario into several elementary prioritized tasks (defined in a generic form) which are finally pushed intooneofthepresentedtasksequencingmethods. The developed framework and the redundancy resolution formalisms are validated by the applicationofseveralindustrial,serviceandassistivetasksonthreedifferentplatforms: amulti- armsystemandtwohumanoidrobots(HRP-2andNao). Usingvarioustypesofembeddedand externalvisionsensors,severaltechniqueswereintegratedintotheseroboticplatformstoapply thedesiredscenariosinsimulationandreal-time. First, the multi-arm platform, for meat cutting and muscles separation, is controlled to applyseveralsimultaneoustasks(cutting,pulling,visibility)whilerespectingthesystem’scon- straints such as collision and occlusion avoidance. Second, a localization of the Nao robot, in an indoor environment, allows it to navigate and pick up an object from the floor. Third, a robust tracking technique is used to control HRP-2 and Nao robots when performing grasping ofseveralobjectsintheenvironment. Keywords: Redundantrobot,Redundancyresolution,Multi-armsystem,Sensor-basedcontrol,Multi-control points,Manipulation,Localization,Nao,HRP-2. Résumé La redondance est présente dans toutes les plateformes robotiques, elle est soit intrin- sèque et explicite dans l’architecture mécanique du robot, ou implicite et n’apparaît que lors de l’exécution de certaines tâches. L’objectif de cette thèse est de considérer la redondance comme un avantage à exploiter, plutôt qu’un problème à éviter, comme il a été classiquement perçu. Cette thèse identifie, classifie les différents types de redondances et traite leur résolu- tioncinématiquelorsdel’applicationdeplusieurstâchessimultanéessurunsystèmeredondant avecuneprioritéspécifique. La comparaison et discussion sur l’efficacité des méthodes existantes dans plusieurs con- figurations nous amène à l’élaboration de nouvelles techniques généralisées pour la résolution de la redondance. Elles permettent de surmonter les problèmes rencontrés et d’améliorer le comportement et les performances du système. La faisabilité et l’efficacité de ces techniques ont été évaluées par simulation sur plusieurs robots dans des différentes configurations et avec plusieursdéfinitionsdetâches. En outre, une approche multi-points de contrôle est développée, en cinématique et dy- namique,pourcommandertoutsystèmerobotisé. Elleassurel’interactionentrelerobotetson environnementenplusieurspointsàl’aidedediverstypesdecapteurs. L’applicationdésiréeest alors décomposée en plusieurs tâches élémentaires et génériques qui sont finalement envoyées versunenvironnementd’enchaînementdetâches. L’approcheélaboréeetlesformalismesderésolutiondelaredondanceontétévalidéspar l’application de plusieurs tâches de service et d’assistance sur un système multi-bras et deux robots humanoïdes HRP-2 et Nao. En effet, en utilisant différents types de capteurs, notam- mentdessystèmesdevisionembarquésetdéportés,plusieurstechniquesontétéimplémentées surcesplateformesrobotiquespourappliquerlestâchesdésiréesensimulationetentempsréel. La commande de la plateforme multi-bras pour la découpe et la séparation de muscles de viande permet d’appliquer plusieurs tâches simultanées (coupe, traction, visibilité) tout en respectant les contraintes du système comme l’évitement de la collision et de l’occlusion. En plus, la localisation du robot Nao lui permet de naviguer dans un environnement d’intérieur pour ramasser un objet du sol; une technique robuste de suivi et de saisie est utilisée pour amenerlesrobotsHRP-2etNaoàsaisirplusieursobjets. MotsClés: Robot redondant, Résolution de la redondance, Système multi-bras, Commande référencée capteurs,Multi-pointsdecontrôle,Manipulation,Localisation,Nao,HRP-2. Contents Abstract . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v Resumé . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vii TableofContents . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ix ListofFigures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xv ListofTables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xix Acknowledgments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxi Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .xxiii I Introduction 1 I.1 ExamplesofRobotArchitecture . . . . . . . . . . . . . . . . . . . . . . . 2 I.1.1 Multi-ArmSystems . . . . . . . . . . . . . . . . . . . . . . . . . . 2 I.1.2 Dual-ArmManipulators . . . . . . . . . . . . . . . . . . . . . . . . 3 I.1.3 HumanoidRobots . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 I.2 ExamplesofRobotApplications . . . . . . . . . . . . . . . . . . . . . . . 6 I.2.1 ServiceRobots . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 I.2.2 Robot’sManipulation . . . . . . . . . . . . . . . . . . . . . . . . . 8 I.3 MainControlApproaches . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 I.3.1 JointSpaceControl . . . . . . . . . . . . . . . . . . . . . . . . . . 10 I.3.2 OperationalSpaceControl . . . . . . . . . . . . . . . . . . . . . . . 11 I.3.3 SensorSpaceControl . . . . . . . . . . . . . . . . . . . . . . . . . 12 I.4 MotivationsandObjectives . . . . . . . . . . . . . . . . . . . . . . . . . . 13 I.4.1 MotivationsandProblems . . . . . . . . . . . . . . . . . . . . . . . 13 I.4.2 Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 II Kinematic Redundancy Resolution 17 II.1 DefinitionandClassificationofRedundancies . . . . . . . . . . . . . . . . 19 II.1.1 GlobalRedundancyClassification . . . . . . . . . . . . . . . . . . . 19 II.1.2 AdvantagesofRedundantSystems . . . . . . . . . . . . . . . . . . 22 II.2 RedundancyResolutionandTaskSequencing . . . . . . . . . . . . . . . 23 II.2.1 PartitionedControl . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 II.2.2 CommutativeControl . . . . . . . . . . . . . . . . . . . . . . . . . 24 II.2.3 HybridControl . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 II.2.4 HierarchicalControl . . . . . . . . . . . . . . . . . . . . . . . . . . 28 II.3 SecondaryTasksProjectionMethods . . . . . . . . . . . . . . . . . . . . 30 II.3.1 OrthogonalProjectionMethod . . . . . . . . . . . . . . . . . . . . 30 II.3.2 BidirectionalNon-LinearProjectionMethod . . . . . . . . . . . . . 32 II.3.3 MinimumNormSolutionMethod . . . . . . . . . . . . . . . . . . 37 x Contents II.3.4 ComparisonBetweenProjectionOperators . . . . . . . . . . . . . . 39 II.4 TaskPriorityFormalisms . . . . . . . . . . . . . . . . . . . . . . . . . . . 40 II.4.1 ClassicalTaskSequencingMethods . . . . . . . . . . . . . . . . . . 40 II.4.2 EfficientTaskSequencingforOrthogonalProjection . . . . . . . . . 42 II.4.3 BidirectionalProjection: StackofTasks . . . . . . . . . . . . . . . 45 II.4.4 MinimumNormSolutionMethod . . . . . . . . . . . . . . . . . . . 46 II.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 III Comparison of Redundancy Resolution Methods 49 III.1 ComparisonMethodology . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 III.1.1 RobotPresentationandTaskDefinition . . . . . . . . . . . . . . . . 52 III.1.2 ChoiceofControlLaws . . . . . . . . . . . . . . . . . . . . . . . . 53 III.2 ComparisonCriteria . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 III.2.1 ControlPointsTrajectory . . . . . . . . . . . . . . . . . . . . . . . 55 III.2.2 RankoftheProjector/WeightingMatrix . . . . . . . . . . . . . . . 55 III.2.3 TimeandOrderofConvergence . . . . . . . . . . . . . . . . . . . . 55 III.2.4 PerformanceIndices . . . . . . . . . . . . . . . . . . . . . . . . . . 55 III.2.5 OverallKineticEnergy . . . . . . . . . . . . . . . . . . . . . . . . 56 III.2.6 CaseofUnreachableandIncompatibleTasks . . . . . . . . . . . . . 57 III.3 SimulationonPlanarRobots . . . . . . . . . . . . . . . . . . . . . . . . . 58 III.3.1 KinematicallyIndeterminateSystem . . . . . . . . . . . . . . . . . 59 III.3.2 KinematicallyDeterminateSystem . . . . . . . . . . . . . . . . . . 64 III.3.3 KinematicallyOver-specifiedSystem . . . . . . . . . . . . . . . . . 69 III.3.4 CaseofUnreachableSecondaryTask . . . . . . . . . . . . . . . . . 73 III.3.5 CaseofIncompatibleTasks . . . . . . . . . . . . . . . . . . . . . . 78 III.3.6 ConclusiononSimulationResultsComparison . . . . . . . . . . . . 81 III.4 SimulationonLWRKukaRobot . . . . . . . . . . . . . . . . . . . . . . . 83 III.4.1 KinematicallyIndeterminateSystem . . . . . . . . . . . . . . . . . 84 III.4.2 KinematicallyOver-specifiedSystem . . . . . . . . . . . . . . . . . 84 III.5 NewUnifiedProjectorforOrthogonalandDirectionalMethods . . . . . 89 III.5.1 DiscussiononProjectionOperators . . . . . . . . . . . . . . . . . . 89 III.5.2 DefinitionoftheUnifiedProjectionOperator . . . . . . . . . . . . . 89 III.5.3 ChoiceoftheWeightingValue . . . . . . . . . . . . . . . . . . . . 92 III.5.4 SimulationsonPlanarRobots . . . . . . . . . . . . . . . . . . . . . 93 III.5.5 ConclusionontheUnifiedProjector . . . . . . . . . . . . . . . . . 95 III.6 GeneralizedProjectionOperator . . . . . . . . . . . . . . . . . . . . . . . 96 III.6.1 DefinitionoftheProjectionOperator . . . . . . . . . . . . . . . . . 96 III.6.2 ChoiceoftheWeightingValue . . . . . . . . . . . . . . . . . . . . 97 III.6.3 SimulationonPlanarRobots . . . . . . . . . . . . . . . . . . . . . 98 III.6.4 ConclusionontheGeneralizedProjector . . . . . . . . . . . . . . . 100 III.7 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 IV Kinematic and Dynamic Control of Multi-Arm Systems 103 IV.1 KinematicMultiControlPointsApproach . . . . . . . . . . . . . . . . . 104 IV.1.1 ControlPointDefinition . . . . . . . . . . . . . . . . . . . . . . . . 105 IV.1.2 ControlTechnique . . . . . . . . . . . . . . . . . . . . . . . . . . . 106