✐ ✐ “these” — 2010/4/22 — 15:05 — page i — #1 ✐ ✐ Generalized Penrose Transform Quasi-G-equivariant D–modules and Zuckerman Functor Rémi Lambert Doctoral dissertation Faculté des Sciences, année académique 2009–2010 ✐ ✐ ✐ ✐ ✐ ✐ “these” — 2010/4/22 — 15:05 — page ii — #2 ✐ ✐ ii ✐ ✐ ✐ ✐ ✐ ✐ “these” — 2010/4/22 — 15:05 — page iii — #3 ✐ ✐ Generalized Penrose Transform Quasi-G-equivariant D–modules and Zuckerman Functor Rémi Lambert Doctoral dissertation Faculté des Sciences, année académique 2009–2010 ✐ ✐ ✐ ✐ ✐ ✐ “these” — 2010/4/22 — 15:05 — page iv — #4 ✐ ✐ ✐ ✐ ✐ ✐ ✐ ✐ “these” — 2010/4/22 — 15:05 — page v — #5 ✐ ✐ Contents Introduction ix Chapter 1. Representation theory and generalized flag manifolds 1 1.1. Lie algebras and representation theory survey 2 1.2. Lie algebras and Lie groups correspondence: the Lie functor 9 1.3. Parabolic subalgebras and parabolic subgroups 15 1.4. Kähler manifolds 25 1.5. Generalized flag manifolds 33 1.6. Bott-Borel-Weil theorem 35 Chapter 2. Equivariant O-modules and quasi-equivariant D-modules 37 2.1. Equivariant O-modules survey 38 2.2. Quasi-equivariant D-modules survey 48 Chapter 3. Algebraic analogs of image functors in quasi-equivariant D-modules categories 59 3.1. Inverse image functor and forgetful functor 59 3.2. Direct image functor and Zuckerman functor 60 3.3. Bott-Borel-Weil theorem for Zuckerman functor 62 3.4. Generalized Penrose transform and its algebraic variant 66 Nomenclature 71 Bibliography 75 v ✐ ✐ ✐ ✐ ✐ ✐ “these” — 2010/4/22 — 15:05 — page vi — #6 ✐ ✐ ✐ ✐ ✐ ✐ ✐ ✐ “these” — 2010/4/22 — 15:05 — page vii — #7 ✐ ✐ Remerciements Le travail présenté dans cette thèse a suscité de nombreuses interroga- tions, un grand nombre de conversations intéressantes et instructives, parfois certains découragements mais surtout beaucoup de réjouissements. Cette thèse n’aurait certainement pas été accomplie sans la présence de certaines personnes et je tiens ici à leur exprimer toute ma gratitude. Pour commencer, je tiens à remercier Jean-Pierre Schneiders. Après m’avoir patiemment expliqué mon futur sujet d’étude qui me paraissait alors des plus abstrus, il m’a épaulé en m’enseignant les bases nécessaires à la compréhension du problème posé. L’entière liberté qu’il m’a ensuite accordée dans ma démarche scientifique témoignait de sa confiance et fut formatrice. Enfin, l’attention particulière qu’il a porté à certains points techniques déli- cats a été précieuse. Un tout grand merci à lui. Un énorme remerciement va également à Pierre Mathonet dont la gen- tillesse, le soutien et les encouragements m’ont aidé à bien des moments parfois cruciaux. Sa relecture de mon premier manuscrit de thèse a été des plus enrichissantes et je tiens à le remercier également pour tout le temps qu’il a passé avec moi pour éclaircir quelques questions techniques. Je suis honoré de pouvoir compter Andrea D’agnolo et CorradoMaras- toni comme membres de mon jury de thèse. Je tiens à les remercier cha- leureusement pour l’intérêt qu’ils ont porté à mes travaux ainsi que pour les nombreuses discussions instructives que j’ai eu le plaisir de partager avec eux. Le séjour scientifique qu’ils m’ont permis d’effectuer à Padoue en 2007 a été déterminant dans la finalisation de cette thèse et restera un grand souvenir. Je remercie également Stéphane Guillermou dont la disponibilité, la gentillesse et les conseils avisés ont été salutaires. Merci également à Pietro Polesello, Ingo Waschkies, Luca Prelli et Giovanni Morando pour les échanges instructifs et les sympathiques mo- ments passés en leur compagnie. J’aimerais également remercier mes collègues du département de Mathé- matique, actuels ou « anciens » qui, pour la plupart, sont devenus des amis. C’était un réel plaisir de participer au séminaire « José Wuidar » avec vous et vous avez bien contribué à entretenir cette belle ambiance amicale et mo- tivante. vii ✐ ✐ ✐ ✐ ✐ ✐ “these” — 2010/4/22 — 15:05 — page viii — #8 ✐ ✐ viii REMERCIEMENTS Je suis très reconnaissant envers Gentiane Haesbroeck pour son soutien et les quelques discussions sincères et encourageantes que nous avons eues. Merci également à Thomas Leuther pour m’avoir aidé à réécrire 1 + 2(n − p)+2p−1 en 2n... Cela a considérablement simplifié mes calculs ultérieurs... Quelques uns de mes professeurs ont eu pour moi un rôle particulière- ment important et j’aimerais leur témoigner toute ma reconnaissance. Tout d’abord, Jacques Hubin sans qui je ne me serais pas lancé dans l’aventure des mathématiques. Plus tard, Francoise Bastin et Jean Schmets ont été les premiers à me donner le goût de l’analyse mathématique. Mille mercis à eux trois. J’ai également une pensée pour Pascal Laubin dont la compétence, la gentillesse et l’amour des belles mathématiques ont contribué à m’intéresser au monde de la recherche. J’aurais voulu pouvoir le remercier. J’aimerais adresser un grand merci à mes parents Jean-Marie et Anne- Sylvie ainsi qu’à Marie-Claire et Tucker pour leurs encouragements et leur soutien quotidien comme pour leurs corrections d’un anglais parfois approx- imatif. Bru & Sarah, difficile d’écrire ici l’entièreté de mes pensées. C’est en votre compagnie que j’ai passé mes plus belles années et vous savez que vous y êtes pour beaucoup. Vous avez toujours été présents, pour le chouette comme pour le moins chouette. Sans vous deux, mes dix dernières années n’auraient pas compté tant de sourires et de rires, fous parfois. Alors merci pour tout. Merci d’avoir été là en partageant tous ces précieux moments. Merci pour votre présence, simple et vraie. Merci pour vos conseils et encouragements. Merci pour vos nombreux soleils. Soeurette, tu sais comme j’aurais voulu que tu sois près de moi pour partager ces moments. Je sais que tu es tout près et que tu souris. Tu resteras dans ma vie telle que je t’ai toujours connue, pleine de cette joie qui continuera à me faire sourire chaque jour et de cette force qui m’a tant appris. Cette thèse est pour toi. J’aimerais enfin remercier mon amoureuse pour ce bonheur immense qu’elle m’apporte tous les jours. J’ai beaucoup, beaucoup de chance de t’avoir dans ma vie. ✐ ✐ ✐ ✐ ✐ ✐ “these” — 2010/4/22 — 15:05 — page ix — #9 ✐ ✐ Introduction Twistor theory and Penrose Transform The twistor theory began in the late 1960’s with the publication of some R. Penrose’s papers [68, 69, 70] in which he introduced the notion of twistors and twistor geometry. The fundamental idea given by R. Penrose in his seminal paper entitled "twistor algebra" [68] is to replace the usual background spacetime used for the decription of many physical phenomena, by a new background space called "twistor space". The physical objects (spacetime, particles, fields, etc.) and the equations describing the phenom- ena are reinterpreted in this new twistor space, with the intent to get new insight into them. By analogy, R. Penrose’s idea is similar to introducing the momentum space and using the Fourier transform to translate back and forth from spacetime to momentum space. The name "twistor theory" is derived from the Robinson congruence which is the natural realization of a twistor (see [68]). There are several aspects to the twistor program initiated by R. Pen- rose. First, it successfully gave a new insight into many nonlinear classical field equations and even a new point of view for the classical linear field the- ories. New families of solutions to the nonlinear equations have been found and sometimes with the discovery of complete classification of the solutions. This approach was of interest to theoretical physicists to study solutions of equations in quantum field theory, general relativity theory and in some more recent attempts to quantize gravity. The mathematics of the twistor theory has the specific quality to use classical mathematical tools as well as others th more modern. For example, this theory is based on some works from the 19 century by H.G. Grassmann, J. Plücker and F. Klein in projective and algebraic geometry and its formalism uses sheaf theory, sheaf cohomology in- vented by J. Leray in 1949 and some works of J.-P. Serre and H. Cartan whose ideas considerably helped to reinterpret classical phenomena in terms of the new language. Using these twistor spaces, R. Penrose [68] showed in 1967 that the solu- tions of some important physical conformally invariant differential equations 4 on C (massless fields in particular) could be expressed as contour integrals of holomorphic functions in twistor space. He also noticed that the functions appearing in these expressions were not unique, without however precisely ix ✐ ✐ ✐ ✐ ✐ ✐ “these” — 2010/4/22 — 15:05 — page x — #10 ✐ ✐ x INTRODUCTION determining the nature of the liberties they enjoyed. In 1981, M. East- wood, R. Penrose and R. O. Wells solved this problem in [26] identifying this liberty as being the one of a representative of a Čech cohomology class. The resulting isomorphism between sheaf cohomology groups of the complex projective 3-space and solutions of conformal invariant equations over the complexified and compactified Minkowski spacetime has become known as the Penrose Transform. Since the works of M. Eastwood, R. Penrose and R. O. Wells, the original Penrose transform has been generalized in several directions and stud- ied in different contexts. Independently of R. Penrose, W. Schmidt studied in 1967 the representations of Dolbeault cohomology groups using methods similar to the original Penrose transform (see [76, 77]). A generalization has been detailed by R. J. Baston and M. G. Eastwood in [7] where the con- 4 formal group C is replaced by an arbitrary semisimple complex Lie group G. The generalized Penrose transform obtained in this way maps Dolbeault cohomology groups of homogeneous vector bundles on a complex homogene- ous manifold Z to solutions of invariant holomorphic differential equations on a complex submanifold of Z. Using the classical Lie group decomposition in terms of simple roots of the associated Lie algebra, Bott-Borel-Weil the- orem and the Bernstein-Gelfand-Gelfand resolution, the authors describe an algorithmic way to compute explicitely this generalized Penrose transform. Since solutions of differential equations on manifolds and cohomology classes are part of the bases of this generalized Penrose transform, the the- ory of sheaf cohomology and D-modules was perfectly suited to it for its modern study. In 1996, A. D’Agnolo and P. Schapira used this theory to generalize and study the R. Penrose’s correspondence in [25]. More recently, C. Marastoni and T. Tanisaki in [64] studied the generalized Penrose transform between generalized flag manifolds over a complex al- gebraic group G, using M. Kashiwara’s correspondence between quasi-G- equivariant D - modules and some kind of representation spaces which are G/H (g, H)-modules (loosely, they are complex vector spaces endowed together with an action of the Lie algebra g associated to G and a action of H which are compatible in some way) when H is a closed algebraic subgroup of G. The subject of this thesis is inspired by this correspondence. Outline The question studied in this thesis was introduced to us by J.-P. Schnei- ders. When H is a closed algebraic subgroup of a given complex algebraic group G, M. Kashiwara has established a correspondence of categories be- tween (derived) category of quasi-G-equivariant D -modules and (derived) G/H category of (g, H)-modules. Since the R. Penrose’s integral transform was described and generalized on the quasi-equivariant D-modules side by ✐ ✐ ✐ ✐