Journal of Lie Theory Volume 10 (2000) 285–310 C ◯2000 Heldermann Verlag

Un exemple de représentations unipotentes associées à une orbite nilpotente non minimale: le cas des orbites de dimension 10 de so(4,3)

Hervé Sabourin

Communicated by J. Faraut

Résumé. Dans [13], P.Torasso a donné une méthode pour construire une représentation minimale d’une groupe de Lie simple de rang au moins égal à 3. Nous proposons, dans ce travail, de montrer, sur un exemple, comment cette construction s’adapte au cas d’une orbite nilpotente non minimale. Dans le cas envisagé des orbites de dimension 10 de so(4,3), nous obtenons une famille de représentations paramétrée par un sous-ensemble de la série discrète du revêtement à deux feuillets de SL_{2}(ℝ). En particulier, cette famille de représentations permet de caractériser la restriction à SO(4,3) des représentations minimales de SO(4,4) et SO(5,3).

0. Introduction et notations

0.1. Un des aspects de la théorie des représentations d’un groupe de Lie réductif réel G consiste à essayer d’associer, à chaque G-orbite coadjointe nilpotente, une représentation unitaire irréductible de G, s’inspirant en cela de la méthode de Kirillov pour les groupes nilpotents. Le cas le plus favorable a lieu lorsque la G-orbite en question est minimale. Dans [11], en effet, on prouve l’existence d’une telle représentation, dite minimale, lorsque G est le revêtement universel de SO_{+}(4, 3) et on en donne une réalisation explicite. La méthode utilisée, qui s’inspire essentiellement d’une méthode des orbites due à Duflo [4], a été, depuis, généralisée par Torasso [13] et s’applique maintenant au cas d’un groupe de Lie simple de rang supérieur ou égal à 3. Il semble interessant de voir dans quelle mesure cette méthode s’applique pour construire des représentations irréductibles associées à des orbites nilpotentes non minimales. Considérons le cas particulier où G = S̃O_{+}(4, 3). On constate qu’il existe exactement deux G-orbites nilpotentes de dimension 10. Le but de ce travail est de montrer de quelle manière la méthode décrite dans [13] permet de construire explicitement des familles de représentations associées respectivement à ces deux orbites. 0.2. Il existe une manière naturelle d’associer une représentation unitaire irréduc-

ISSN 0949–5932 / $2.50 ^{_{C} ◯} Heldermann Verlag tible d’un groupe simple G à une G-orbite nilpotente coadjointe, au moins dans le cas où cette orbite est minimale.

Soit, en effet, 𝔤 l’algèbre de Lie de G, dont on suppose qu’elle n’est pas de type A_{n}, 𝔤_{ℂ} la complexifiée de 𝔤 et O_{min,ℂ} la G_{ℂ} -orbite minimale correspondante. On a, dans ce cas, deux résultats importants:

L’intersection O_{min,ℂ}∩𝔤 se réduit, soit à une seule G-orbite notée O_{min}, soit à deux G-orbites O_{min} et −O_{min}.

Il existe un et un seul idéal primitif et complètement premier J_{0} de U(𝔤_{ℂ}), appelé idéal de Joseph de 𝔤, dont la variété associée V (J_{0}) est l’adhérence de O_{min,ℂ}.

Compte-tenu de ceci, on dira qu’un élément π de Ĝ est associé à O_{min} si l’annulateur infinitésimal Annπ de π dans U(𝔤_{ℂ}) est égal à J_{0} .

La méthode décrite dans [13] permet de prouver l’existence d’un tel π lorsque l’orbite O_{min} est G-admissible et lorsque G est de rang supérieur ou égal à 3.

Dans le cas où l’orbite est non minimale, la situation est plus délicate car on ne bénéficie plus des deux propriétés précédentes. Revenons au cas où G = S̃O_{+}(4, 3), soit O_{ε}, ε = ±1, les deux G-orbites nilpotentes de dimension 10 et soit O_{10,ℂ} la G_{ℂ} -orbite de dimension 10 correspondante. La stratégie est, dans ce cas, la suivante:

1) On constate tout d’abord que, pour tout sous-groupe parabolique maximal P de G, d’algèbre de Lie 𝔭, l’orbite O_{ε} contient une P -orbite ouverte dense difféomorphe à une P -orbite dans le dual 𝔭^{∗} de 𝔭 qui, cependant, n’est pas nécessairement de type unipotent.

2) La méthode décrite dans [13] appliquée à chaque O_{ε} nous permet d’associer à chaque parabolique maximal standard P une famille (π_{P,ε,i}, i ∈ I_{P}) de représentations unitaires irréductibles de P, où I_{P} correspond à l’ensemble fini des données d’admissibilité de la P -orbite si celle-ci est de type unipotent, mais par contre décrit l’ensemble des représentations de la série discrète du revêtement à deux feuillets de SL(2, ℝ) si la P -orbite n’est pas de type unipotent.

3) Il faut vérifier ensuite que l’on peut amalgamer ces P -représentations et on obtient ainsi une famille π_{ε,i}, i ∈ I, de représentations unitaires irréductibles de G, I parcourant un ensemble convenablement choisi d’éléments de la série discrète du revêtement à deux feuillets de SL_{2}(ℝ).

4) Après avoir déterminé explicitement la représentation infinitésimale de π_{ε,i}, on montre enfin que, pour tout couple (ε, i), l’idéal Annπ_{ε,i} est complètement premier et vérifie:

V (Annπ_{ε,i}) = \overline{O_{10,ℂ}}.

On conclut ce travail par l’étude des restrictions à G des représentations minimales des groupes S̃O_{+}(4, 4) et S̃O_{+}(5, 3), dont les orbites minimales sont de dimension 10. On montre que ces restrictions se décomposent en facteurs irréductibles appartenant à la famille obtenue précédemment. 0.3. L’algèbre de Lie 𝔤. Nous désignerons par G le revêtement universel de SO_{+}(4, 3), 𝔤 son algèbre de Lie. Soit (e_{i}, e_{−i}), 1 ≤ i ≤ 4, une base de ℝ^{8} et B une forme quadratique sur ℝ^{8} , choisies telles que la base (e_{i}, e_{−i}) soit orthogonale relativement à B et telles que: ∀i, B(e_{i}, e_{i}) = 1, B(e_{−i}, e_{−i}) = −1. Soit (E_{ij}), i, j ∈ ±{1, 2, 3, 4}, la base usuelle de gl(8) qui s’en déduit, 𝔥 la sousalgèbre de Cartan déployée de so(4, 3) dont une base est H_{i} = E_{i,i} − E_{−i−i}, 1 ≤ i ≤ 3. Soit η_{i}, 1 ≤ i ≤ 3 la base duale des (H_{i}) dans 𝔥^{∗}. Le système de racines de 𝔥 dans 𝔤 est de type B_{3} , donné par:

Δ = {±(η_{i} ± η_{j}), 1 ≤ i < j ≤ 3, ±η_{i}, 1 ≤ i ≤ 3}

Soit Δ^{+} = {(η_{i} ± η_{j}), 1 ≤ i < j ≤ 3; (η_{i}), 1 ≤ i ≤ 3} le système de racines positives et Π = {α_{1} = η_{1} − η_{2}, α_{2} = η_{2} − η_{3}, α_{3} = η_{3}} le système de racines simples correspondant.

A chaque racine α de Δ, on associe les éléments H_{α}, X_{α}, X_{−α} d’une base de Chevalley de 𝔤 et la sous-algèbre sl_{2}(α) engendrée par H_{α}, X_{α}, X_{−α}. Soit W_{α} = X_{α} − X_{−α}.

Nous adopterons, pour la suite, les notations suivantes:

∀α ∈ Δ, ∀t ∈ ℝ, x_{α}(t) = exp tX_{α}, w_{α}(t) = exp tW_{α}, ∀t ∈ ℝ^{∗}, h_{α}(t) = exp ln |t|H_{α}

En particulier, on pose: w_{α} = w_{α}(\frac{π}{2} ), w = w_{η_{1}−η_{2}}, γ = w_{η_{1}−η_{3}}(\frac{π}{2} ), σ = w_{η_{3}}(\frac{π}{2} ). Les crochets, dans 𝔤, sont donnés par: (d_{ij} = 1 si i < j, = −1, sinon)

[X_{η_{i}−η_{j}}, X_{η_{j}−η_{k}}] = X_{η_{i}−η_{k}}

[X_{η_{i}−η_{j}}, X_{η_{j}+η_{k}}] = d_{ik}d_{jk}X_{η_{i}+η_{k}}

[X_{η_{i}+η_{j}}, X_{−η_{j}−η_{k}}] = −d_{ij}d_{jk}X_{η_{i}−η_{k}}

[X_{η_{i}−η_{j}}, X_{−η_{i}−η_{k}}] = −d_{ik}d_{jk}X_{−η_{j}−η_{k}}

[X_{η_{i}−η_{j}}, X_{η_{j}}] = X_{η_{i}}

[X_{η_{i}−η_{j}}, X_{−η_{i}}] = −X_{−η_{j}}

[X_{η_{i}+η_{j}}, X_{−η_{j}}] = −d_{ij}X_{η_{i}}

[X_{η_{i}}, X_{η_{j}}] = −2d_{ij}X_{η_{i}+η_{j}}

[X_{η_{i}}, X_{−η_{j}}] = 2X_{η_{i}−η_{j}}

[X_{η_{i}}, X_{−η_{i}−η_{j}}] = d_{ij}X_{−η_{j}}

[X_{−η_{i}}, X_{−η_{j}}] = 2d_{ij}X_{−η_{i}−η_{j}} 0.4. Le sous-groupe compact maximal. On choisit un sous-groupe compact maximal K de G, que l’on identifie à SU(2)^{3} de la manière suivante: Soit E = ⟨e_{i}, 1 ≤ i ≤ 4⟩, F = ⟨e_{−i}, 1 ≤ i ≤ 4⟩, 𝔨′ = so(4, 4) ∩ so(8) et K′ le sous-groupe analytique d’un revêtement simplement connexe de SO_{+}(4, 4), d’algèbre de Lie 𝔨′. Le groupe K′ s’identifie à un revêtement de SO(E)×SO(F). Désignons ensuite par H le corps des quaternions.

Soit h_{E} : E ⟶ H,  h_{F} : F ⟶ H
e_{1} ⟶ 1  e_{−1} ⟶ 1
e_{2} ⟶ i  e_{−2} ⟶ i
e_{3} ⟶ j  e_{−3} ⟶ j
e_{4} ⟶ k  e_{−4} ⟶ k

On sait que SU(2) est la sphère unité de H. Soit S = SU(2)^{4} . Posons ensuite:

\begin{aligned}∀(a, b) ∈ SU(2)^{2}, ∀x ∈ E, ∀y ∈ F, a.x.b & = h_{E}^{−1}(a.h_{E}(x).b), \\ a.y.b & = h_{F}^{−1}(a.h_{F} (y).b). \end{aligned}

Alors S agit sur E ⊕F par: (a, b, c, d).(x, y) = (a.x.b^{−1}, c.y.d^{−1}), et cette action permet d’identifier, via leurs algèbres de Lie, K′ et S. Dans ces conditions on a:

K = {(a, b, c, d) ∈ S/c.k.d^{−1} = k} = {(a, b, c, k^{−1}.c.k), (a, b, c) ∈ SU(2)^{3}}

0.5. Les sous-groupes paraboliques maximaux standards de G. Soit 𝔫 =< X_{α}, α ∈ Δ^{+} >, 𝔟 = 𝔥 ⊕ 𝔫 et B le sous-groupe de Borel de G, d’algèbre de Lie 𝔟 et de décomposition de Langlands B = MAN.

Soit, pour 1 ≤ i ≤ 3, 𝔭_{i} la sous-algèbre parabolique maximale standard associée à la racine simple α_{i}, 𝔭_{i} = 𝔪_{i} ⊕ 𝔞_{i} ⊕ 𝔫_{i} sa décomposition de Langlands et P_{i} le sous-groupe parabolique de G correspondant. Soit Γ_{a} le sous-groupe de G engendré par a.

1) Soit Π_{1} = {α_{2}, α_{3}}, Δ(Π_{1}){±(η_{2} + η_{3}), ±(η_{2} − η_{3}), ±(η_{2}), ±(η_{3})}

• Δ_{1} = Δ−Δ(Π_{1}), Δ_{1}^{+} = Δ_{1}∩Δ^{+} = {η_{1}−η_{2}, η_{1}+η_{2}, η_{1}−η_{3}, η_{1}+η_{3}, η_{1}}.

• 𝔥_{1} = ⟨H_{α_{2}}, H_{α_{3}}⟩

• 𝔪_{1} = 𝔥_{1} ⊕ ∠X_{α}, α ∈ Δ(Π_{1})⟩

• 𝔞_{1} = ⟨H_{η_{1}}⟩

• 𝔫_{1} = ⟨X_{α}, α ∈ Δ_{1}^{+}⟩, 𝔫_{1}^{−} = ⟨X_{α}, −α ∈ Δ_{1}^{+}⟩.

• 𝔭_{1} = 𝔪_{1} ⊕ 𝔞_{1} ⊕ 𝔫_{1} est une sous-algèbre parabolique maximale de dimension 16 de 𝔤.

• M_{1} = Γ_{w^{2}}.(M_{1})_{o} est le normalisateur de 𝔪_{1} dans G.

• A_{1} = exp 𝔞_{1}, N_{1} = exp 𝔫_{1}, P_{1} = M_{1}A_{1}N_{1} .

2) Soit Π_{2} = {α_{1}, α_{3}}, Δ(Π_{2}) = {±(η_{1} − η_{2}), ±(η_{3})}

• Δ_{2} = Δ − Δ(Π_{2}), Δ_{2}^{+} = Δ_{2} ∩ Δ^{+} = {η_{2}, η_{1} + η_{2}, η_{1} ± η_{3}, η_{2} ± η_{3}, η_{1}}.

• 𝔥_{2} = ⟨H_{α_{1}}, H_{α_{3}}⟩

• 𝔪_{2} = 𝔥_{2} ⊕ ⟨X_{α}, α ∈ Δ(Π_{2})⟩

• 𝔞_{2} = ⟨H_{η_{1}+η_{2}}⟩

• 𝔫_{2} = ⟨X_{α}, α ∈ Δ_{2}^{+}⟩, 𝔫_{2}^{−} = ⟨X_{α}, −α ∈ Δ_{2}^{+}⟩.

• 𝔭_{2} = 𝔪_{2} ⊕ 𝔞_{2} ⊕ 𝔫_{2} est une sous-algèbre parabolique maximale de dimension 14 de 𝔤.

• M_{2} = Γ_{w_{α_{2}}^{2}} .(M_{2})_{o} est le normalisateur de 𝔪_{2} dans G.

• A_{2} = exp 𝔞_{2}, N_{2} = exp 𝔫_{2}, P_{2} = M_{2}A_{2}N_{2} .

3) Soit Π_{3} = {α_{1}, α_{2}}, Δ(Π_{3}) = {±(η_{1} − η_{2}), ±(η_{1} − η_{3}), ±(η_{2} − η_{3})}

• Δ_{3} = Δ − Δ(Π_{3}), Δ_{3}^{+} = Δ_{3} ∩ Δ^{+} = {η_{1}, η_{2}, η_{1} + η_{2}, η_{2} + η_{3}, η_{1} + η_{3}, η_{3}}.

• 𝔥_{3} = ⟨H_{α_{1}}, H_{α_{2}}⟩
• 𝔪_{3} = 𝔥_{3} ⊕ ⟨X_{α}, α ∈ Δ(Π_{3})⟩
• 𝔞_{3} = ⟨H_{α_{1}} + 2H_{α_{2}} + 3H_{α_{3}}⟩
• 𝔫_{3} = ⟨X_{α}, α ∈ Δ_{3}^{+}⟩, 𝔫_{3}^{−} = ⟨X_{α}, −α ∈ Δ_{3}^{+}⟩.

• 𝔭_{3} = 𝔪_{3} ⊕ 𝔞_{3} ⊕ 𝔫_{3} est une sous-algèbre parabolique maximale de dimension 15 de 𝔤.

• M_{3} = Γ_{w_{α_{3}+}^{2}}.(M_{3})_{o} est le normalisateur de 𝔪_{3} dans G.
• A_{3} = exp 𝔞_{3}, N_{3} = exp 𝔫_{3}, P_{3} = M_{3}A_{3}N_{3} .

1. La méthode de construction

Nous allons rappeler dans ce paragraphe les étapes essentielles de la méthode que nous allons utiliser pour construire les représentations souhaitées. On pourra se rapporter à [11], paragraphe 1, pour de plus amples détails. 1.1. La stratégie que l’on utilise repose tout d’abord sur l’existence d’une paramétrisation du dual unitaire d’un groupe presque algébrique réel, dû à Duflo.

Soit P un groupe presque algébrique réel, d’algèbre de Lie 𝔭, soit q un élément de 𝔭^{∗}, 𝔭(q) et P (q), respectivement le stabilisateur de q dans 𝔭 et P. Soit B_{q} la forme bilinéaire alternée sur 𝔭, définie par: ∀X, Y ∈ 𝔭, B_{q}(X, Y) = q([X, Y]). Dans [4], Duflo introduit les notions suivantes:

Définition 1.1 Une sous-algèbre 𝔟 de 𝔭 est dite de type fortement unipotent relativement à q si 𝔟 est algébrique, coisotrope relativement à la forme B_{q}, et si l’on a: 𝔟 = 𝔭(q) +^{u} 𝔟.

Définition 1.2 La forme q est dite de type unipotent si les deux conditions suivantes sont réalisées:

Il existe un facteur réductif de 𝔭(q) contenu dans ker q.

Il existe une sous-algèbre de type fortement unipotent relativement à q. Soit R(q) un facteur réductif de P (q), 𝔯(q) son algèbre de Lie. L’es-

pace 𝔭/𝔭(q) est naturellement muni d’une structure d’espace symplectique R(q)- invariante et cette structure permet de définir l’extension métaplectique R(q)^{𝔭} de R(q). Le noyau de cette extension admet un et un seul élément non trivial, noté dorénavant ε. On rappelle que tout élément de R(q)^{𝔭} peut s’écrire sous la forme (x, φ(x)), x ∈ R(q), φ étant une fonction sur l’espace des lagrangiens de 𝔭/𝔭(q) à valeurs dans les complexes de module 1, calculée par Lion [7].

Soit Y (q) = {τ ∈ R̂(q)^{𝔭} | τ(ε) = −Id} et 𝔼 = {(q, τ) | q de type unipotent, τ ∈ Y (q)}. Le groupe P opère dans 𝔼 et Duflo établit, dans [4], une bijection de 𝔼/P sur P̂. L’image par cette bijection d’un couple (q, τ) sera notée π_{q,τ} et sera appelée P -représentation ”de type Duflo”.

Soit donc (q, τ) un élément de 𝔼. q étant de type unipotent, il existe des sous-algèbres de type fortement unipotent relativement à q, P (q)-invariantes; choisissons-en une, soit 𝔟. Posons ^{u}𝔟 = 𝔞, le radical unipotent de 𝔟. Soit A le sous-groupe analytique de P correspondant; alors B = P (q).A = R(q) × A est un sous-groupe fermé de P, d’algèbre de Lie 𝔟. Soit μ la restriction de q à 𝔞. R(q) opère dans 𝔞 en laissant stable μ, de sorte que l’extension R(q)^{𝔞} est bien définie et que l’on peut associer à τ un élément τ̃ de ˆ (R(q)^{𝔞}), défini par la formule suivante:

∀(x, φ(x)) ∈ R(q)^{𝔞}, τ̃(x, φ(x)) = \frac{ϕ(x)}{φ(x)}τ(x, ϕ(x)).

(Cette formule ne dépend pas du choix du représentant (x, ϕ(x)) de x dans R(q)^{𝔭}).

Soit T_{μ} la classe de représentations de A associée à μ par la correspondance de Kirillov, d’espace 𝔏_{μ}, et S_{μ} la représentation métaplectique associée. On définit une représentation du groupe B, notée τ ⊗ S_{μ}T_{μ}, dans le produit tensoriel de l’espace de τ et de l’espace de T_{μ}, soit V_{τ} ⊗ 𝔏_{μ}, en posant :

∀x ∈ R(q), ∀y ∈ A, (τ ⊗ S_{μ}T_{μ})(xy) = τ̃(x, φ(x)) ⊗ S_{μ}(x, φ(x)).T_{μ}(y). (1)

Posons:

π_{q,τ,𝔟} = Ind_{B}^{P}(τ ⊗ S_{μ}T_{μ}).

D’après [4], 3.16, on sait que si 𝔟 et 𝔟′ sont deux sous-algèbres de type fortement unipotent relativement à q, P (q)-invariantes, alors les représentations π_{q,τ,𝔟} et π_{q,τ,𝔟′} sont irréductibles et équivalentes. La classe d’équivalence de ces représentations est la P -représentation de type Duflo π_{q,τ}.

Soit, maintenant, X(q) = {τ ∈ Y (q)/dτ est un multiple de iq_{|𝔯(q)}}. L’orbite P.q sera dite admissible si X(q) ≠ Ø. Les éléments de X(q) sont alors appelés “paramètres d’admissibilité” de l’orbite. Le cas le plus favorable à cette construction a lieu lorsque l’orbite envisagée est admissible.

Supposons G simple connexe et simplement connexe de rang supérieur ou égal à 3 et plaçons-nous dans le cas où l’algèbre de Lie 𝔤 de G admet une unique G-orbite nilpotente coadjointe minimale et admissible O_{min}. Soit (P_{i}) une famille de sous-groupes paraboliques maximaux standards de G . On vérifie que, pour chaque i, O_{min} contient une et une seule P_{i} -orbite ouverte dense, isomorphe à une P_{i} -orbite coadjointe, et que chacune de ces P_{i} -orbites est admissible et de type unipotent. On peut donc associer à chaque P_{i} une famille π_{i,τ} de P_{i} -représentations de type Duflo. On utilise ensuite un résultat fondamental de Tits [12] selon lequel G est somme amalgamée de ses sousgroupes paraboliques maximaux standard suivant leurs intersections pour en déduire l’existence d’une famille π_{τ} de G-représentations unitaires irréductibles. 1.2. La construction précédente repose, comme on vient de le voir, sur le fait que les orbites considérées sont “de type unipotent”. Citons, plus généralement, une paramétrisation de la représentation coadjointe due encore à Duflo ([4], chapitre 1). En reprenant les notations précédentes, considérons une forme de type unipotent q sur 𝔭 et soit 𝔭(q) = 𝔯(q) ⊕^{u} 𝔭(q). On introduit les ensembles suivants:

L(q) = {λ ∈ 𝔭(q)^{∗} | λ_{|^{u}𝔭(q)} = q_{|^{u}𝔭(q)}},
D = {(q, λ) | q de type unipotent, λ ∈ L(q)}.

Notons que l’opération “restriction” induit un isomorphisme de L(q) sur 𝔯(q)^{∗} et que le groupe P opère naturellement sur D.

Soit maintenant (q, λ) ∈ D et 𝔟 une sous-algèbre de type fortement unipotent relativement à q. Soit f ∈ 𝔭^{∗} telle que:

f_{|^{u}𝔟} = q_{|^{u}𝔟}, f_{|𝔭(q)} = q_{|𝔭(q)}.

Duflo établit les résultats suivants:

La P -orbite P.f ne dépend pas des choix de 𝔟 et f. On note O_{q,λ} cette orbite.

L’application (q, λ) ⟶ O_{q,λ} induit une bijection de D/P sur 𝔭^{∗}/P. En particulier, si f est de type unipotent, P.f = O_{f,0} .

2. Les G-orbites nilpotentes de dimension 10 de 𝔤

2.1. On sait que l’on peut classifier les G_{ℂ} -orbites nilpotentes adjointes à l’aide des partitions de l’entier 7 (voir, par exemple [3], ch.5 ). On constate ainsi qu’il existe une seule G_{ℂ} -orbite de dimension 10 associée à la partition (3, 1, 1, 1, 1).

La classification des G-orbites s’obtient aussi à partir des partitions de 7. A chaque partition, on associe un diagramme de Young ”signé”, c’est-à-dire un diagramme dont les boîtes sont remplies de signes ” +” ou ”–” selon une règle donnée par le théorème 9.3.4 du ch.9 de [3]. Si l’on applique ce théorème à la partition (3, 1, 1, 1, 1), on obtient deux diagrammes:

– + –  + – +
+  +
+  O_{1}  +  O_{−1}
+  –
–  –

Soit X_{ε} = \frac{X_{−η_{1}−η_{2}} + εX_{η_{2}−η_{1}}}{4} , ε = ±1. On a de plus:

O_{ε} = G.X_{ε}, ε = ±1.

On notera f_{ε} l’élément du dual 𝔤^{∗} de 𝔤 correspondant à X_{ε} par la forme de Killing K.

Posons:

\begin{aligned}X_{1,ε} & = X_{η_{2}+η_{3}} + εX_{η_{3}−η_{2}}, \\ X_{2,ε} & = X_{η_{2}−η_{3}} + εX_{−η_{2}−η_{3}}, \\ X_{3,ε} & = X_{η_{2}} + εX_{−η_{2}}. \end{aligned}

Soit 𝔤(X_{ε}) le stabilisateur dans 𝔤 de X_{ε}. On obtient:

𝔤(X_{ε}) = sl_{2}(η_{3}) ⊕ ⟨X_{i,ε}, 1 ≤ i ≤ 3⟩ ⊕ 𝔫_{1}^{−}

Proposition 2.1.

(1) Le stabilisateur G(X_{ε}) de X_{ε} dans G est donné par:

G(X_{ε}) = Γ_{w^{2}}.G(X_{ε})_{0}.

(2) L ’orbite O_{ε} est G-admissible et possède 3−ε paramètres d’admissibilité.

Preuve. 1) Soit H = H_{η_{1}+η_{2}} + H_{η_{1}−η_{2}} . L’algèbre 𝔤 se décompose suivant l’action adjointe de H en sous-espaces propres de la manière suivante:

𝔤 = 𝔤(−2) ⊕ 𝔤(0) ⊕ 𝔤(2), 𝔤(−2) = 𝔫_{1}^{−}, 𝔤(0) = 𝔪_{1} ⊕ 𝔞_{1}, 𝔤(2) = 𝔫_{1}

Soit G(0) le stabilisateur de H dans G. On a: G(0) = M_{1}.A_{1}, G(0)_{0} = (M_{1})_{0}.A_{1} la composante neutre de G(0). On obtient:

G(X_{ε}) = Γ_{w^{2}}G(0)_{0}(X_{ε}).N_{1}^{−}.

Choisissons pour 𝔫_{1}^{−} la base (B) suivante:

\begin{matrix}\frac{1}{\sqrt{2}}X_{−η_{1}}, X_{η_{3}−η_{1}} + X_{−η_{1}−η_{3}}, X_{−η_{1}−η_{2}} + X_{η_{2}−η_{1}}, \\ X_{−η_{1}−η_{3}} − X_{−η_{1}+η_{3}}, X_{−η_{1}−η_{2}} − X_{η_{2}−η_{1}}. \end{matrix}

Moyennant cette base, 𝔫_{1}^{−} s’identifie à ℝ^{5} . Le groupe (M_{1})_{0} agit de manière naturelle sur 𝔫_{1}^{−} ≃ ℝ^{5} et s’identifie à la composante neutre du groupe des automorphismes de ℝ^{5} laissant invariante la forme quadratique définie dans la base (B) par:

q(x_{1}, x_{2}, x_{3}, x_{4}, x_{5}) = x_{1}^{2} + x_{2}^{2} + x_{3}^{2} − x_{4}^{2} − x_{5}^{2}

Ainsi,

(M_{1})_{0} ∼ S̃O_{+}(3, 2).

L’action de G(0)_{0} sur X_{ε} est donnée par:

∀x ∈ (M_{1})_{0}, x. exp tH_{η_{1}}.X_{ε} = e^{−t}(x.X_{ε}).

Donc q(x exp tH_{η_{1}}X_{ε}) = e^{−2t}q(X_{ε}), et, comme le vecteur X_{ε} est non isotrope, il s’en suit que: G(0)_{0}(X_{ε}) ⊂ (M_{1})_{0} . Plus précisément on constate, en considérant l’orthogonal de X_{ε} pour la forme q, que G(0)_{0}(X_{1}) s’identifie au sous-groupe de S̃O_{+}(3, 2) des automorphismes de ℝ^{4} laissant invariante la forme quadratique:

q_{1}(x_{1}, x_{2}, x_{4}, x_{5}) = x_{1}^{2} + x_{2}^{2} − x_{4}^{2} − x_{5}^{2}.

D’où: G(0)_{0}(X_{1}) = S̃O_{+}(2, 2).

G(0)_{0}(X_{−1}) s’identifie au sous-groupe de S̃O_{+}(3, 2) des automorphismes de ℝ^{4} laissant invariante la forme quadratique:

q_{−1}(x_{1}, x_{2}, x_{3}, x_{5}) = x_{1}^{2} + x_{2}^{2} + x_{3}^{2} − x_{5}^{2}.

D’où: G(0)_{0}(X_{−1}) = S̃O_{0}(3, 1). On en déduit bien le résultat annoncé.

2) On constate que:

Γ_{w^{2}} ∩ G(X_{1})_{0} = {1, w^{4}}, Γ_{w^{2}} ∩ G(X_{−1})_{0} = {1}.

Il s’en suit que le stabilisateur G(X_{1}) possède deux composantes connexes tandis que G(X_{−1}) en possède quatre.

Soit 𝔯_{ε} = sl_{2}(η_{3}) ⊕ ⟨X_{i,ε}, 1 ≤ i ≤ 3⟩, (R_{ε})_{0} le sous-groupe analytique de G d’algèbre de Lie 𝔯_{ε} et R_{ε} = Γ_{w^{2}}.(R_{ε})_{0} un facteur réductif de G(X_{ε}). Pour déterminer l’extension métaplectique R_{ε}^{𝔤}, on vérifie que l’on peut identifier 𝔫_{1} à un sous-espace lagrangien L de 𝔤/𝔤(X_{ε}). On constate ensuite que: ∀x ∈ R_{ε}, x.L = L. On choisit une orientation L̃ sur L et on pose: t(x)^{2} = ε(L̃, x.L̃), où ε(L̃, L̃′) désigne l’orientation relative des lagrangiens orientés L̃ et L̃′. Suivant les définitions de [7], On en déduit que:

R_{ε}^{𝔤} = {(x, t(x)), x ∈ R_{ε}}.

On vérifie successivement que:

1) Γ_{w^{2}} s’identifie à un sous-groupe, noté Γ̃_{w^{2}} , de R_{ε}^{𝔤}, l’image de w^{2} dans Γ̃_{w^{2}} étant (w^{2}, −i).

2) Pour tout x de (R_{ε})_{0}, t(x)^{2} = 1.

3) ((R_{ε})_{0})^{𝔤} possède exactement deux composantes connexes et x ↦ (x, 1) définit bien un morphisme injectif de groupes, identifiant (R_{ε})_{0} à la composante neutre de ((R_{ε})_{0})^{𝔤}.

4) On a l’isomorphisme de groupes suivant:

R_{ε}^{𝔤} ≃ Γ̃_{w^{2}}.((R_{ε})_{0})^{𝔤},

avec:

Γ̃_{w^{2}} ∩ ((R_{1})_{0})^{𝔤} = {(1, 1); (w^{4}, −1)}, Γ̃_{w^{2}} ∩ ((R_{−1})_{0})^{𝔤} = {(1, 1)}.

Soit χ le caractère de ((R_{ε})_{0})^{𝔤} et τ_{s,ε} le caractère de Γ̃_{w^{2}} , définis respectivement par:

χ(x, t(x)) = 1, ∀x ∈ (R_{ε})_{0}, χ(1, −1) = −1,

τ_{s,ε}(w^{2}, −i) = exp −iπ \frac{s(3 + ε) + (1 + ε)}{4}, s ∈ ℕ, 0 ≤ s ≤ 3.

On en déduit que X(f_{ε}) = {τ_{s,ε} ⊗ χ, 0 ≤ s ≤ 3}, d’où le résultat.

2.2 Les P_{i} -orbites associées à O_{ε}. Soit f_{i,ε} la restriction de f_{ε} à 𝔭_{i} et r_{i} : 𝔤^{∗} ⟶ 𝔭_{i}^{∗} l’application restriction.

Proposition 2.2.

(1) Pour 1 ≤ i ≤ 3, la P_{i} -orbite P_{i}.X_{ε} est l’unique P_{i} -orbite ouverte, dense, contenue dans O_{ε}.

(2) L’application r_{i} induit un difféomorphisme de P_{i}.X_{ε} sur P_{i}.f_{i,ε}.

(3) Chaque P_{i} -orbite P_{i}.f_{i,ε} est P_{i} -admissible.

(4) La forme f_{1,_{ε}} est de type unipotent, par contre, la forme f_{i,ε}, i = 2, 3 n’est pas de type unipotent.

Preuve. 1) Il suffit de montrer que O_{ε} contient une et une seule B -orbite ouverte dense. Or on peut écrire:

B.X_{ε} = N_{1}A_{1}Γ_{w^{2}}(B ∩ (M_{1})_{0}).X_{ε} ⊂ N_{1}A_{1}Γ_{w^{2}}(M_{1})_{0}.X_{ε},

sachant que N_{1}.G(0).N_{1}^{−} est un ouvert dense de G et que N_{1}^{−} ⊂ G(X_{ε}); on en déduit que le nombre de B -orbites ouvertes dans G.X_{ε} est égal au nombre de (B ∩ (M_{1})_{0})-orbites ouvertes dans (M_{1})_{0}.X_{ε}, ou encore au nombre de (B ∩ (M_{1})_{0})-orbites ouvertes de l’espace symétrique (M_{1})_{0}/(M_{1})_{0}(X_{ε}). On utilise, pour calculer ce nombre, les résultats de Matsuki ([8], Proposition 1).

Soit 𝔥_{11} = 𝔥 ∩ 𝔪_{1}, 𝔥_{11}^{ε} = 𝔥 ∩ 𝔪_{1}(X_{ε}), K_{1}^{ε} = K ∩ (M_{1})_{0}(X_{ε}). Posons:
W (𝔥_{11}) = {w ∈ W/w(𝔥_{11}^{ε}) = 𝔥_{11}^{ε}}, W (K_{1}^{ε}) = N_{K_{1}^{ε}}(𝔥_{11})/Z_{K_{1}^{ε}}(𝔥_{11}).

On a:

♮((B ∩ (M_{1})_{0}) \ (M_{1})_{0}/(M_{1})_{0}(X_{ε})) = \frac{|W (𝔥_{11})|}{|W (K_{1}^{ε}|)}.

Le calcul effectué dans notre situation montre que ce cardinal est 1.

2) Désignons par b_{ε} la restriction de f_{ε} à 𝔟, par r_{b} : 𝔤^{∗} ⟶ 𝔟^{∗} la projection canonique, et montrons que r_{b} induit un difféomorphisme de B.f_{ε} sur B.b_{ε}, ce qui revient à démontrer l’égalité des stabilisateurs.

L’inclusion B(X_{ε}) ⊂ B(b_{ε}) est triviale. Il est donc clair que: B ∩ G(0)(X_{ε}) ⊂ B(X_{ε}) ⊂ B(b_{ε}).

D’autre part, soit b_{ε,n_{1}} la restriction de f_{ε} à 𝔫_{1} . On a: B(b_{ε}) ⊂ B(b_{ε,n_{1}}) = B ∩ G(0)(X_{ε}).N_{1} . D’où:

B ∩ G(0)(X_{ε}) ⊂ B(b_{ε}) ⊂ B ∩ G(0)(X_{ε}).N_{1}.

Ainsi on a: B(b_{ε}) = B ∩ G(0)(X_{ε}).N_{1}(b_{ε}). Comme N_{1}(b_{ε}) = {1}, on en déduit l’égalité:

B(X_{ε}) = B(b_{ε}).

De ce qui précède on déduit que l’application restriction r_{i} induit un difféomorphisme de B.X_{ε} sur B.f_{i,ε}. Ces deux B -orbites sont, respectivement, ouvertes, denses dans P_{i}.X_{ε} et P_{i}.f_{i,ε}, ce qui induit le difféomorphisme annoncé entre les P_{i} -orbites.

3) On constate l’existence d’un isomorphisme de 𝔤/𝔤(X_{ε}) sur 𝔭_{i}/𝔭_{i}(X_{ε}) qui permet d’identifier les deux structures symplectiques correspondantes. On peut donc considérer P_{i}(X_{ε})^{𝔭_{i}} comme un sous-groupe de G(X_{ε})^{𝔤}. Il s’en suit que la restriction d’un paramètre d’admissibilité de O_{ε} à P_{i}(X_{ε})^{𝔭_{i}} est un paramètre d’admissibilité de P_{i}.X_{ε}.

4) Il suffit, pour la forme f_{1,ε}, de considérer la sous-algèbre 𝔟_{1} = 𝔭_{1}(f_{1,ε}) ⊕ 𝔫_{1} et de constater que celle-ci est de type fortement unipotent relativement à f_{1,ε} pour conclure.

Soit 𝔟_{2} = 𝔪_{2} ⊕ 𝔫_{2} . On vérifie facilement que cette algèbre est coisotrope relativement à f_{2,ε} et qu’elle satisfait à la condition de Pukansky. Selon la terminologie de Duflo [4], 𝔟_{2} est donc de type unipotent. Or elle n’est pas de type fortement unipotent car 𝔟_{2} ≠ 𝔭_{2}(f_{2,ε}) +^{u}𝔟_{2} . En utilisant le lemme 22, ch.1 de [4], on en déduit que f_{2,ε} n’est pas de type unipotent. On raisonne de la même façon pour f_{3,ε} en considérant, cette fois, la sous-algèbre

𝔟_{3} = sl_{2}(η_{1} − η_{2}) ⊕ ⟨H_{η_{3}}⟩ ⊕ ⟨X_{η_{3}−η_{1}}, X_{η_{3}−η_{2}}⟩ ⊕ 𝔫_{3}

3. Une famille de représentations unipotentes associées à O_{10,ℂ}

La méthode de construction décrite dans le paragraphe 1 va nous permettre, dans un premier temps, de faire correspondre à un triplet (O_{ε}, τ_{i}, P_{i}), 1 ≤ i ≤ 3, τ_{i} ∈ Y (f_{i,ε}) , une famille π_{ε,τ,i} de P_{i} -représentations unitaires irréductibles. 3.1. Considérons, tout d’abord, le cas du parabolique P_{1} . Soit B_{1,ε} = R_{ε}.N_{1} . La formule (1), appliquée à cette situation, permet de définir un caractère ρ_{s,ε} de B_{1,ε} de la manière suivante:

∀x ∈ R_{ε}, (x, t(x)) ∈ (R_{ε})^{𝔤}, ∀Y ∈ 𝔫_{1}, ρ_{s,ε}(x exp Y) = τ_{s,ε}(x)t(x)e^{−2iπf_{1,ε}(Y)}.

Posons, dans ces conditions:

π_{ε,s}^{1} = Ind_{B_{1,ε}}^{P_{1}} ρ_{s,ε}

Cette représentation est une P_{1} -représentation de type Duflo, associée au couple (f_{1,ε}, τ_{s,ε}). 3.2. Puisque la P_{2} -orbite dense n’est pas de type unipotent, on ne peut pas, à priori, lui associer de P_{2} -représentation “de type Duflo” selon la méthode de construction du paragraphe 1. Cependant on peut utiliser la paramétrisation de la représentation coadjointe décrite dans ce même paragraphe.

Soit f_{2} l’élément de 𝔭_{2}^{∗} associé via la forme de Killing à X_{−η_{1}−η_{2}} . f_{2} est de type unipotent, la P_{2} -orbite correspondante étant en fait la P_{2} -orbite dense de l’orbite minimale. On note RSL_{2}(ℝ) le revêtement à deux feuillets de SL_{2}(ℝ) et on rappelle, à ce sujet (voir [11], 3.3), que R_{2} = SL_{2}(η_{3}) × RSL_{2}(η_{1} − η_{2}) est un facteur réductif du stabilisateur P_{2}(f_{2}) et que R_{2}^{𝔭_{2}} = SL_{2}(η_{3}) × (RSL_{2}(η_{1} − η_{2}))^{𝔭_{2}} . Soit λ_{2,ε} la restriction de f_{2,ε} à R_{2} . Suivant la terminologie du paragraphe 1, on obtient:

P_{2}.f_{2,ε} = O_{f_{2},λ_{2,ε}}.

Compte-tenu de cette situation on va construire des P_{2} -représentations “de type Duflo” associées au couple (f_{2}, τ), τ ∈ Y (f_{2}) étant, d’une certaine manière, lié au paramètre λ_{2,ε} de l’orbite.

L’extension (RSL_{2}(η_{1} − η_{2}))^{𝔭_{2}} a été décrite explicitement dans [11], 3.2, en tant que sous-groupe de (RSL_{2}(η_{1} − η_{2}))^{𝔤} ([11], proposition 2.3.1). On peut dire, en particulier, que:

Un élément de (RSL_{2}(η_{1} − η_{2}))^{𝔭_{2}} s’écrit sous la forme (x, t(x)), x ∈ RSL_{2}(η_{1} − η_{2}), t(x) étant une racine quatrième de l’unité telle que:

t(w^{2}) = −i.  (2)

On peut identifier RSL_{2}(η_{1} − η_{2}) à un sous-groupe de RSL_{2}(η_{1} − η_{2})^{𝔭_{2}} .

Un élément quelconque de Y (f_{2}) est de la forme η ⊗ τ où η ∈ ŜL_{2}(η_{3}) et τ est une représentation unitaire irréductible de (RSL_{2}(η_{1} − η_{2}))^{𝔭_{2}} telle que τ(ε) = −Id. A l’aide des rappels précédents, on constate que τ est alors entièrement déterminé par sa restriction τ_{r} à RSL_{2}(η_{1} − η_{2}). Considérons dans ce cas l’ensemble Z = {τ ⊗ 1/τ_{r} ∈ R̂SL_{2}(η_{1} − η_{2})}. On peut, entre autres, motiver ce choix par le fait que la restriction du paramètre λ_{2,ε} à SL_{2}(η_{3}) est triviale. Z est inclus dans Y (f_{2}), on peut donc utiliser la formule (1) et on définit ainsi la représentation:

π_{τ}^{2} = Ind_{B_{2}}^{P_{2}} τ ⊗ S_{2}.T_{2}, τ ∈ Z,

où:

B_{2} = M_{2}.N_{2} .

μ_{2} est la restriction de f_{2} à 𝔫_{2} .

𝔩_{2} = ⟨X_{η_{1}}, X_{η_{1}±η_{3}}, X_{η_{1}+η_{2}}⟩, L_{2} = exp 𝔩_{2}, t_{2} = e^{−2iπμ_{2}} .

T_{2} = Ind_{L_{2}}^{N_{2}} t_{2} est la N_{2} -représentation de Kirillov associée à μ_{2} .

S_{2} est la représentation métaplectique de l’extension R_{2}^{𝔭_{2}} dans l’espace de T_{2} . 3.3. On procède de la même façon pour le parabolique P_{3} . On note f_{3} l’élément de 𝔭_{3}^{∗} associée à X_{−η_{1}−η_{2}} par la forme de Killing. Soit R_{3} = Γ_{σ^{2}}. exp ℝH_{η_{3}}.RSL_{2}(η_{1} − η_{2}) un facteur réductif de P_{3}(f_{3}) et λ_{3,ε} la restriction de f_{3,ε} à R_{3} . On montre dans ce cas que:

P_{3}.f_{3,ε} = O_{f_{3},λ_{3,ε}}.

On peut comme précédemment identifier Z à un sous-ensemble de Y (f_{3}) et on définit la représentation:

π_{τ}^{3} = Ind_{B_{3}}^{P_{3}} τ ⊗ S_{3}.T_{3}, τ ∈ Z,

où:

B_{3} = R_{3}. exp 𝔲_{3}, 𝔲_{3} = 𝔫_{3} ⊕ ⟨X_{η_{3}−η_{1}}, X_{η_{3}−η_{2}}⟩.

μ_{3} est la restriction de f_{3} à 𝔲_{3} .

T_{3} est la U_{3} -représentation de Kirillov associée à μ_{3} .

S_{3} est la représentation métaplectique de l’extension R_{3}^{𝔭_{3}} dans l’espace de T_{3} . 3.4. La construction d’une famille de G-représentations unitaires irréductibles à partir des P_{i} -représentations définies précédemment repose sur le théorème suivant, dont la démonstration est en tout point conforme à celle du théorème 2.4.2 de [11]:

Théorème 3.1. Soit G un groupe simple réel déployé, connexe et simplement connexe, de rang n supérieur ou égal à 3. Soit B un sous-groupe de Borel de G, soit P_{i} la famille des sous-groupes maximaux standards de G. Soit π_{i} une représentation unitaire irréductible de P_{i}. On suppose que:

(1) Pour tout i la restriction de π_{i} à B est irréductible.

(2) Pour tous i, j tels que 1 ≤ i < j ≤ n les restrictions de π_{i} et π_{j} à P_{i} ∩ P_{j} sont équivalentes.

Alors il existe une représentation unitaire irréductible π de G, et une seule à équivalence près, telle que:

π_{|P_{i}} = π_{i}, ∀i.

Tout revient, donc, à étudier dans quelle mesure les P_{i} -représentations précédentes satisfont aux deux conditions du théorème 3.1. 3.5. Nous noterons dorénavant C_{0} = RSL_{2}(η_{1} − η_{2}), B_{0} = Γ_{w^{2}}.A_{0}N_{0}, S_{0} = A_{0}.N_{0} . Pour répondre à la question posée, nous avons besoin de précisions sur le dual unitaire de RSL_{2}(ℝ). Ce dual, selon des résultats bien connus à lire, par exemple, dans [1], se décompose, en dehors de la représentation triviale, en trois catégories:

La série principale.

La série complémentaire.

La série discrète et les limites de la série discrète, D_{±n}, n ∈ ℕ^{∗}/2.

Intéressons-nous, en particulier, à la série discrète et aux limites de la série discrète. L’ensemble des représentations correspondantes est paramétré par

l’ensemble des demi-entiers \frac{ℤ^{∗}}{2} . Il nous faut préciser les espaces de réalisation utilisés dans chaque cas. Supposons tout d’abord n ∈ ℕ^{∗}/2, n > 1 et soit

P = {z ∈ ℂ | Im(z) > 0}

le demi-plan de Poincaré. Posons:

Θ_{n} = {f, analytique sur P, telle que ∫_{P} |f(z)|^{2}y^{n−2}dxdy < +∞}.

Θ_{n} est un espace de Hilbert dont le produit scalaire est donné par:

∀f, g ∈ Θ_{n}, < f, g >= \frac{Γ(n − 1)}{(2π)^{n−1}} ∫_{P} f(z)\overline{g(z)}y^{n−2}dxdy.

D’autre part, on rappelle que le groupe C_{0} peut se réaliser de la manière suivante :

C_{0} = \{(g, ϕ), g = ( \begin{matrix}a & b \\ c & d \end{matrix} ) , ϕ holomorphe sur P telle que ϕ(z)^{2} = cz + d\}.

On fait agir C_{0} sur Θ_{n} par la formule:

∀(g, ϕ) ∈ C_{0}, ∀f ∈ Θ_{n}, D_{n}(g, ϕ).f(z) = (a − cz)^{−n}f(\frac{dz − b}{a − cz}).

Les D_{n}, n > 1, forment la série discrète holomorphe de C_{0} .

Soit Θ_{−n} = \{f | \overline{f} ∈ Θ_{n}\}. C_{0} agit sur Θ_{−n} par:

∀(g, ϕ) ∈ C_{0}, ∀f ∈ Θ_{−n}, D_{n}^{−}(g, ϕ).f(z) = (a − c\overline{z})^{−n}f(\frac{dz − b}{a − cz}).

Les D_{−n}, n > 1, forment la série discrète anti-holomorphe de C_{0} .

Considérons maintenant le cas n = 1. Posons:

Θ_{1} = \{f analytique sur P, telle que lim_{ε⟶0} \frac{1}{Γ(ε)} ∫_{P} |f(z)|^{2}y^{−1−ε}dxdy < +∞\}
Θ_{−1} = \{f | \overline{f} ∈ Θ_{1}.\}

Ces espaces sont des espaces de Hilbert, leurs produits scalaires respectifs se déduisant, comme précédemment, de la définition de Θ_{1} . Le groupe C_{0} agit sur ces espaces selon les mêmes formules que celles qui définissent D_{±n}, n > 1 . On note D_{1} et D_{−1} les représentations correspondantes.

Restent les cas n = ±\frac{1}{2} . La représentation D_{\frac{1}{2}} est la composante paire de la représentation métaplectique, dont un espace de réalisation est L^{2}(ℝ^{+∗}). On pose: Θ_{\frac{1}{2}} = Θ_{− \frac{1}{2}} = L^{2}(ℝ^{+∗}). On rappelle les formules qui décrivent D\frac{ε}{2} :

\begin{aligned}∀f ∈ L^{2}(ℝ^{+∗}), ∀u ∈ ℝ, D\frac{ε}{2} (x_{η_{1}−η_{2}}(u)).f(t) & = e^{−iπεut^{2}}f(t), \\ D\frac{ε}{2} (h_{η_{1}−η_{2}}(e^{u})).f(t) & = e^{\frac{u}{2}} f(te^{u}), \\ D\frac{ε}{2} (w).f(t) & = e^{\frac{−iπε}{4}} ∫ e^{−2iπεxt}f(x)dx. \end{aligned} .

Les D_{n}, n ∈ \{±\frac{1}{2}, ±1\}, sont les limites de la série discrète de C_{0} .

3.6. Soit n ∈ \frac{ℕ^{∗}}{2} , n ≥ 1. Considérons les espaces suivants:

L_{n}^{2}(ℝ^{+∗}) = L^{2}(ℝ^{+∗}, (2t)^{n−1}dt)

On définit les opérateurs:

∀f ∈ L_{n}^{2}(ℝ^{+∗}), ∀z ∈ P, ψ_{n}(f)(z) = ∫_{ℝ^{+∗}} e^{2iπzt}f(t)(2t)^{n−1}dt,
∀f ∈ L^{2}(ℝ^{+∗}), ∀t ∈ ℝ^{+∗}, ψ′_{n}(f)(t) = (2t)^{\frac{1−2n}{4}} f(\sqrt{2t}).

On vérifie que ψ_{n} est une isométrie de L_{n}^{2}(ℝ^{+∗}) sur Θ_{n}, que ψ′_{n} est une isométrie de L^{2}(ℝ^{+∗}) sur L_{n}^{2}(ℝ^{+∗}). En conséquence, posons:

I_{n,1}(f)(z) = ψ_{n} ∘ ψ′_{n}(f)(z)
= ∫_{ℝ^{+∗}} e^{iπzt^{2}}t^{n− \frac{1}{2}} f(t)dt, n ≥ 1,
I_{n,−1}(f)(z) = \overline{I_{n,1}(\overline{f})(z)}, n ≥ 1,
I_{\frac{1}{2} ,ε} = Id.

En utilisant [5] théorème 13.1.1 on obtient le résultat suivant:

Proposition 3.2. Pour tout n ∈ \frac{ℕ^{∗}}{2} , I_{n,ε}, ε = ±1, est un opérateur unitaire

de L^{2}(ℝ^{+∗}) sur Θ_{εn}. Faisons agir le sous-groupe de Borel B_{0} sur L^{2}(ℝ^{+∗}), selon les formules suivantes:

\begin{aligned}S_{ε,s}(x_{η_{1}−η_{2}}(u)).f(t) & = e^{−iεπut^{2}}f(t), \\ S_{ε,s}(h_{η_{1}−η_{2}}(e^{u})).f(t) & = e^{\frac{u}{2}} f(te^{u}), \\ S_{ε,s}(w^{2}).f(t) & = τ_{s,ε}(w^{2})f(t). \end{aligned}

Le résultat qui suit se vérifie immédiatement.

Lemme 3.3. Soit n ∈ \frac{ℕ^{∗}}{2} . L’opérateur I_{n,ε} entrelace S_{ε,s} et la restriction de D_{εn} à B_{0} si et seulement si:

n ≡ \frac{s(3 + ε) + (1 + ε)}{4} mod(2).

On notera dorénavant:

∀s, 0 ≤ s ≤ 3, D_{ε,s} = \{D_{εn}, n ∈ \frac{ℕ^{∗}}{2} , n ≡ \frac{s(3 + ε) + (1 + ε)}{4} mod(2)\}.

3.7. Considérons maintenant les représentations π_{ε,s}^{1} et π_{τ}^{2} et étudions leur restriction à P_{1} ∩ P_{2} . Pour cela posons:

R = R_{ε} ∩ P_{2} = Γ_{w^{2}}.SL_{2}(η_{3}).

B_{12} = B_{1,ε} ∩ P_{2} = R.N_{1} . B′_{12} = B_{2} ∩ P_{1} = R. exp ℝH_{η_{1}−η_{2}}.N_{12} , où N_{12} = exp 𝔫_{12} et 𝔫_{12} = 𝔫_{1} + 𝔫_{2} .

L’orbite B.X_{ε} est ouverte et dense dans G.X_{ε}, il en est donc de même dans P_{1}.X_{ε}. Il s’en suit que R_{ε}.B est un ouvert de Zariski de P_{1} . Comme B_{1,ε} contient R_{ε}, l’ensemble B_{1,ε}.P_{1} ∩ P_{2} contient donc un ouvert de P_{1} dont le complémentaire dans P_{1} est une sous-variété de codimension supérieure ou égale à 1. De ceci on peut déduire que:

π_{ε,s|P_{1}∩P_{2}}^{1} = Ind_{B_{12}}^{P_{1}∩P_{2}}(ρ_{ε,s|B_{12}}).

En utilisant le procédé d’induction par étages on en déduit l’équivalence:

π_{ε,s|P_{1}∩P_{2}}^{1} ≃ Ind_{B′_{12}}^{P_{1}∩P_{2}}(Ind_{B_{12}}^{B′_{12}}(ρ_{ε,s|B_{12}})).

De manière tout à fait analogue, on montre que:

π_{τ|P_{1}∩P_{2}}^{2} = Ind_{B′_{12}}^{P_{1}∩P_{2}}(τ ⊗ S_{2}.T_{2})_{|B′_{12}}.

Tout revient à établir l’équivalence entre les deux représentations Ind_{B_{12}}^{B′_{12}}(ρ_{ε,s|B_{12}}) et (τ ⊗ S_{2}.T_{2})_{|B′_{12}} . Pour cela posons: B”_{12} = R. exp ℝH_{η_{1}−η_{2}}.N_{1} , puis ξ_{ε,s} = Ind_{B_{12}}^{B”_{12}} ρ_{ε,s}. La représentation ξ_{ε,s} admet une réalisation dans l’espace L^{2}(ℝ^{+∗}) selon le modèle suivant:

Soit H_{ε,s} l’espace de ξ_{ε,s} en tant que représentation induite et soit φ : H_{ε,s} ⟶ L^{2}(ℝ^{+∗}), défini par:

φ(f)(t) = t^{− \frac{1}{2}} f(j(t)), avec j(t) = exp(− ln t.H_{η_{1}−η_{2}}).

On vérifie sans difficulté que φ est un opérateur unitaire d’inverse donné par:

∀f ∈ C_{c}^{∞}(ℝ^{∗}), φ^{−1}(f)(j(t)x) = ρ_{ε,s}(x)^{−1}.t^{\frac{1}{2}} .f(t), ∀x ∈ B_{12}.

Les formules de la représentation sont les suivantes:

\begin{aligned}ξ_{ε,s}(h_{η_{1}−η_{2}}(e^{u})).f(t) & = e^{\frac{u}{2}} f(te^{u}), \\ ξ_{ε,s}(x_{η_{1}−η_{2}}(u)).f(t) & = e^{−iπεut^{2}}f(t), \\ ξ_{ε,s}(w^{2}).f(t) & = τ_{s,ε}(w^{2})t(w^{2})f(t), \\ ξ_{ε,s}(x).f(t) & = f(t), ∀x ∈ SL_{2}(η_{3}), \\ ξ_{ε,s}(x_{η_{1}+η_{2}}(u)).f(t) & = e^{−iπu}f(t), \\ ξ_{ε,s}(x_{α}(u)).f(t) & = f(t), α = η_{1}, η_{1} ± η_{3}. \end{aligned}

Le groupe B”_{12} peut se décomposer ainsi: B”_{12} = (R × S_{0}).L_{2} .

Soit t_{ε}(exp Y) = e^{−2iπf_{1,ε}(Y)} le caractère de L_{2} . Les formules précédentes permettent alors de montrer que:

\begin{aligned}ξ_{ε,s} & ≃ t.S_{ε,s} ⊗ t_{ε}, \\ Ind_{B_{12}}^{B′_{12}} ρ_{ε,s} & ≃ Ind_{B”_{12}}^{B′_{12}}(t.S_{ε,s} ⊗ t_{ε}). \end{aligned}

(t : x ↦ t(x) est la fonction utilisée dans la définition des éléments des extensions métaplectiques correspondantes et on a pris soin de prolonger t.S_{ε,s} à R.S_{0} en posant (t.S_{ε,s})(x) = t(x).Id, ∀x ∈ SL_{2}(η_{3}).) On désignera par V_{s,ε} l’espace de cette représentation.

Considérons maintenant la représentation (τ ⊗ S_{2}.T_{2})_{|B′_{12}} et faisons, dorénavant, l’hypothèse suivante:

(H_{s}) : τ ∈ D_{ε,s}.

Posons:

\begin{matrix}F = \{f : N_{2} ⟶ L^{2}(ℝ^{+∗}) | & f(nl) = t_{ε}(l)^{−1}f(n), ∀l ∈ L_{2}, ∀n ∈ N_{2}, \\ ∫_{N_{2}/L_{2}} ||f(n)||_{L^{2}(ℝ^{+∗})}^{2}dn < +∞\} \end{matrix}

La représentation (τ ⊗ S_{2}.T_{2})_{|B′_{12}} se réalise dans F par:

\begin{aligned}(τ ⊗ S_{2}.T_{2})(y).f(n) & = f(y^{−1}n), ∀y, n ∈ N_{2}, \\ (τ ⊗ S_{2}.T_{2})(x).f(n) & = S_{ε,s}(x).t(x).f(x^{−1}nx), ∀x ∈ R.S_{0}, ∀n ∈ N_{2}. \end{aligned}

Posons γ = Ind_{B”_{12}}^{B′_{12}}(t.S_{ε,s}⊗t_{ε}), γ′ = (τ ⊗S_{2}.T_{2})_{|B′_{12}} . Soit maintenant θ : V_{s,ε} ⟶ F défini par:

θ(f)(n) = f(n), ∀n ∈ N_{2}.

Montrons que θ entrelace γ et γ′. En effet, on peut écrire:

∀y, n ∈ N_{2}, θ(γ(y).f)(n) = f(y^{−1}n) = γ′(y)θ(f)(n),
∀x ∈ R.S_{0}, θ(γ(x).f)(n) = f(x^{−1}n),
= f(x^{−1}nxx^{−1})
= S_{ε,s}(x)t(x)f(x^{−1}nx)
= γ′(x)θ(f)(n).

Ainsi, sous l’hypothèse (H_{s}), les restrictions de π_{ε,s}^{1} et π_{τ}^{2} à P_{1} ∩ P_{2} sont bien équivalentes.

On peut établir suivant une méthode tout à fait analogue les mêmes résultats pour les restrictions à P_{1}∩P_{3} ou P_{2}∩P_{3} des représentations concernées. On a donc le résultat suivant:

Proposition 3.4. Soit s ∈ {0, 1, 2, 3}, soit τ ∈ D_{ε,s}. Alors, les restrictions de π_{ε,s}^{1}, π_{τ}^{2} et π_{τ}^{3} aux paraboliques P_{1} ∩ P_{2}, P_{1} ∩ P_{3}, ou P_{2} ∩ P_{3} sont deux à deux équivalentes.

Proposition 3.5. Soit s ∈ {0, 1, 2, 3}, soit τ ∈ D_{ε,s}. Alors la restriction à B de π_{ε,s}^{1}, π_{τ}^{2} ou π_{τ}^{3} est irréductible. Preuve. Il suffit de le vérifier pour π_{ε,s}^{1} . On constate que la forme b_{ε} est de type unipotent et on montre facilement que la restriction à B de π_{ε,s}^{1} n’est autre qu’une B -représentation de type Duflo associée au couple (τ_{s|R∩B}, b_{ε}). Elle est donc bien irréductible. 3.8. Compte-tenu des propositions 3.4, 3.5 et du théorème 3.1, on peut maintenant énoncer le théorème suivant:

Théorème 3.6. Soit ε = ±1, s ∈ {0, 1, 2, 3} et τ = D_{εn} ∈ D_{ε,s}. Il existe une représentation unitaire irréductible de G, notée π_{ε,s,n}, unique à équivalence près, telle que:

\begin{aligned}π_{ε,s,n|P_{1}} & = π_{ε,s}^{1}, \\ π_{ε,s,n|P_{2}} & = π_{τ}^{2}, \\ π_{ε,s,n|P_{3}} & = π_{τ}^{3}. \end{aligned}

3.9. Il est important pour la suite de pouvoir décrire explicitement la représentation π_{ε,s,n}. On remarque pour cela que G est engendré par P_{1} et w, si bien qu’il suffit de déterminer π_{ε,s,n}(x), ∀x ∈ P_{1} et π_{ε,s,n}(w).

Soit 𝔰_{1} = ⟨H_{η_{1}−η_{2}}, H_{η_{1}+η_{2}}, X_{η_{2}}, X_{η_{2}−η_{3}}, X_{η_{2}+η_{3}}⟩ une sous-algèbre supplémentaire de 𝔟_{1,ε} dans 𝔭_{1} , et S_{1} le sous-groupe analytique de G correspondant. L’ensemble S_{1}.B_{1,ε} est un ouvert de P_{1} . Posons ensuite: ∀(a, b, c, t, u) ∈ ℝ^{3} × ℝ^{∗} × ℝ^{+∗},

j_{1}(a, b, c, t, u) = w_{η_{1}−η_{3}}^{1−e(t)}h_{η_{1}+η_{2}}(t)x_{η_{2}−η_{3}}(a)x_{η_{2}+η_{3}}(b)x_{η_{2}}(c)h_{η_{1}−η_{2}}(\frac{1}{u}), e(t) = \frac{t}{|t|}.

spOn constate que l’ensemble j_{1}(ℝ^{3} × ℝ^{∗} × ℝ^{+∗}).B_{1,ε} est un ouvert de P_{1} dont le complémentaire dans P_{1} est une sous-varièté de codimension supérieure ou égale à 1. Soit alors J_{1}(f) = f ∘ j_{1} . Il s’en suit que J_{1} est un opérateur unitaire de l’espace H_{ε,s,1} de π_{ε,s}^{1} sur L^{2}(ℝ^{3} × ℝ^{∗} × ℝ^{+∗}), d’inverse défini par:

∀f ∈ C_{c}^{∞}, ∀x ∈ B_{1}, J_{1}^{−1}(f)(j_{1}(a, b, c, t, u)x) = δ_{1}(x)^{\frac{1}{2}} .ρ_{s,ε}(x)^{−1}.f(a, b, c, t, u),

où δ_{1} est la fonction module de P_{1} relativement à B_{1,ε}.

On peut donc réaliser π_{ε,s}^{1} dans l’espace L^{2}(ℝ^{3} ×ℝ^{∗} ×ℝ^{+∗}) et on obtient les formules suivantes pour un système de générateurs de P_{1} .

Proposition 3.7. Soit f ∈ L^{2}(ℝ^{3} × ℝ^{∗} × ℝ^{+∗}), (a, b, c, t, u) ∈ ℝ^{3} × ℝ^{∗} × ℝ^{+∗}, v ∈ ℝ. On a :

\begin{aligned}π_{ε,s,n}(x_{η_{1}−η_{2}}(v))f(a, b, c, t, u) & = e^{iπe(t)(c^{2}+ab−εu^{2})v}f(a, b, c, t, u), \\ π_{ε,s,n}(h_{η_{1}−η_{2}}(e^{v}))f(a, b, c, t, u) & = f(ae^{v}, be^{v}, ce^{v}, t, ue^{v}), \\ π_{ε,s,n}(x_{η_{1}+η_{2}}(v))f(a, b, c, t, u) & = e^{−iπe(t) \frac{v}{t^{2}}} f(a, b, c, t, u), \\ π_{ε,s,n}(x_{η_{2}−η_{3}}(v))f(a, b, c, t, u) & = f(a − \frac{v}{t} , b, c, t, u), \\ π_{ε,s,n}(x_{η_{3}}(v))f(a, b, c, t, u) & = f(a, b − v^{2}a − 2vce(t), c + vae(t), t, u), \\ π_{ε,s,n}(x_{−η_{3}}(v))f(a, b, c, t, u) & = f(a − v^{2}b + 2vce(t), b, c − vbe(t), t, u), \\ π_{ε,s,n}(x_{η_{3}−η_{2}}(v))f(a, b, c, t, u) & = \\ \frac{λ_{s}(v, t, a)}{|1 − vta|^{\frac{3}{4}}} & f(\frac{a}{|1 − vta|^{\frac{1}{2}}} , \frac{b − vt(c^{2} + ab)}{|1 − vta|^{\frac{1}{2}}}, αc, αt, αu), \end{aligned}

avec

λ_{s}(v, t, a) = e^{−is \frac{π}{2} \frac{1−e(1−vta)}{2}} (−1)^{\frac{(2−e(t)+e(v))(1−e(1−vta))}{4}} , α = \frac{e(1 − vta)}{|1 − vta|^{\frac{1}{2}}}

Les calculs qui permettent d’obtenir ces formules sont analogues à ce qui a été fait dans [11], Prop. 3.5.2 et 3.5.3; nous ne les reproduirons pas ici.

Décrivons maintenant la réalisation de π_{ε,s,n}(w) dans L^{2}(ℝ^{3} × ℝ^{∗} × ℝ^{+∗}). Soit j_{2}(t) = j_{1}(0, 0, 0, t, 1). L’ensemble j_{2}(ℝ^{∗}.B_{2}) est un ouvert de P_{2} dont le complémentaire est une sous-variété de codimension supérieure ou égale à 1. L’opérateur J”_{2} : f ⟶ f ∘ j_{2} est un opérateur unitaire de l’espace H_{τ,2} de π_{τ}^{2} dans L^{2}(ℝ^{∗}, V_{2}), où V_{2} est l’espace de la représentation T_{2} . Soit r_{2} : f ⟶ r_{2}(f)(a, b, c) = f(j_{1}(a, b, c, 1, 1)). r_{2} est un opérateur de V_{2} sur L^{2}(ℝ^{3}, V_{n}), V_{n} étant l’espace de τ. Ainsi on peut réaliser par transport de structure π_{τ,2} dans l’espace L^{2}(ℝ^{∗}, L^{2}(ℝ^{3}, V_{n})) à l’aide de l’opérateur J′_{2} : f ⟶ J_{2}(f)(t) = r_{2}(f ∘ j_{2}(t)), dont l’inverse est donnée par:

\begin{aligned}J_{2}^{′−1}(f)(j_{2}(t)x) & = δ_{2}(x)^{−1}(τ ⊗ S_{2}.T_{2}).r_{2}^{−1}(f(t)), ∀x ∈ B_{2}, \\ r_{2}^{−1}(f)(j_{1}(a, b, c, 1, 1)l) & = t_{2}(l)^{−1}.f(a, b, c), ∀l ∈ L_{2}, \end{aligned}

où δ_{2} est la fonction module de P_{2} relativement à B_{2} .

A l’aide des opérateurs I_{n,ε} on peut donc réaliser π_{τ}^{2} dans l’espace L^{2}(ℝ^{∗}, L^{2}(ℝ^{3}, L^{2}(ℝ^{+∗}))) en utilisant l’opérateur:

J_{2,n,ε}(f)(t)(a, b, c) = I_{n,ε}(J′_{2}(f)(t)(a, b, c))

Soit enfin l’opérateur φ : L^{2}(ℝ^{∗}, L^{2}(ℝ^{3}, L^{2}(ℝ^{+∗}))) ⟶ L^{2}(ℝ^{3} × ℝ^{∗} × ℝ^{+∗}) défini par :

φ(f)(a, b, c, t, u) = f(t)(a, b, c)(u)

Lemme 3.8. L’application canonique φ est un opérateur unitaire qui entrelace les restrictions de π_{ε,s}^{1} et π_{τ}^{2} à P_{1} ∩ P_{2} .

Preuve. La preuve de ce résultat est conséquence de la détermination explicite d’un opérateur d’entrelacement entre les représentations Ind_{B_{12}}^{B′_{12}} ρ_{ε,s} et (τ ⊗ S_{2}.T_{2})_{|B′_{12}} . Pour cela on suit le procédé décrit dans [11], 3.5.1.

On obtient finalement une réalisation de π_{τ}^{2} dans L^{2}(ℝ^{3} × ℝ^{∗} × ℝ^{+∗}), notée de la même façon, par la formule:

∀x ∈ P_{2}, π_{τ}^{2}(x) = φ ∘ J_{2,n,ε} ∘ π_{τ}^{2}(x) ∘ J_{2,n,ε}^{−1} ∘ φ^{−1}.

Proposition 3.9. Soit f ∈ L^{2}(ℝ^{3} × ℝ^{∗} × ℝ^{+∗}), (a, b, c, t, u) ∈ ℝ^{3} × ℝ^{∗} × ℝ^{+∗}. On a:

\begin{matrix}π_{ε,s,n}(w).f(a, b, c, t, u) & = \\ \frac{e^{−i \frac{π}{4} e(t)}}{2} & ∫_{ℝ^{3}} e^{iπe(t)(αb+βa+2γc)}(τ_{ε,n}(w).f_{∗}(α, β, γ, t))(u)dαdβdγ, \end{matrix}

avec

τ_{ε,n}(w) = I_{n,ε}^{−1} ∘ τ(w) ∘ I_{n,ε}.

f_{∗}(a, b, c, t) est l’élément de L^{2}(ℝ^{+∗}) défini par:

f_{∗}(a, b, c, t)(u) = f(a, b, c, t, u).

Preuve. Pour établir cette formule on utilise une méthode analogue à celle de [11], paragraphe 3.5.3.

3.10. Il reste maintenant à établir que la représentation π_{ε,s,n} répond bien au problème posé, à savoir qu’elle est associée à l’orbite O_{10,ℂ}.

Soit E = L^{2}(ℝ^{3} × ℝ^{∗} × ℝ^{+∗}) , E^{∞} l’espace des vecteurs C^{∞} de E pour la représentation π_{ε,s,n}, π_{ε,s,n}^{∞} la représentation de l’algèbre enveloppante U(𝔤_{ℂ}) dans E^{∞} induite par π_{ε,s,n}, et soit J_{ε,s,n} l’annulateur de π_{ε,s,n}^{∞} dans U(𝔤_{ℂ}). On notera V (J_{ε,s,n}) la variété des zéros dans 𝔤_{ℂ} de l’idéal gradué associé dans l’algèbre symétrique S(𝔤_{ℂ}) à l’idéal J_{ε,s,n}.

La représentation π_{ε,s,n} sera dite associée à l’orbite nilpotente O_{10,ℂ} si l’on a:

V (J_{ε,s,n}) = \overline{O_{10,ℂ}}

Rappelons d’autre part que, d’après un résultat obtenu indépendamment par A.Joseph [6] et W.Borho-J.L.Brylinski [2], tout idéal primitif de U(𝔤_{ℂ}) a pour variété des zéros la clôture de Zariski d’une et d’une seule orbite nilpotente. De ceci on déduit que π_{ε,s,n} est associée à une orbite nilpotente de 𝔤_{ℂ}, soit O_{ε,s,n}.

Nous savons, de plus, que:

GKdim(U(𝔤_{ℂ})/J_{ε,s,n}) = dim O_{ε,s,n}.

(GKdim est la dimension de Gelfand-Kirillov.)

Soit J_{1,ε,s,n} = J_{ε,s,n} ∩ U(𝔭_{1,ℂ}) l’idéal annulateur de la représentation π_{ε,s,n}^{1,∞}. En utilisant [4], théorème 4.16 et proposition 4.13, on a:

GKdim(U(𝔭_{1,ℂ})/J_{1,ε,s,n}) ≥ 10.

L’injection naturelle U(𝔭_{1,ℂ}) ⟶ U(𝔤_{ℂ}) induit une injection de U(𝔭_{1,ℂ})/J_{ε,s,n} dans U(𝔤_{ℂ})/J_{1,ε,s,n}. D’où:

GKdim(U(𝔤_{ℂ})/J_{ε,s,n}) ≥ 10.  (3)

On va en fait montrer que cette inégalité est une égalité, ce qui, compte tenu de ce qui prècède et du fait qu’il n’y a qu’une seule orbite de dimension 10 dans 𝔤_{ℂ}, aboutit au résultat souhaité.

Tout repose maintenant sur la proposition suivante dont l’analogue dans le cas minimal est dû à P.Torasso ( [13], Prop.6.2). On rappelle que si X est une variété algébrique affine irréductible complexe lisse et D(X) l’algèbre des opérateurs différentiels réguliers sur X, alors D(X) est un domaine d’intégrité et on a: GKdim(D(X)) = 2 dim X.

Proposition 3.10. Il existe un espace vectoriel complexe V de dimension 5, un ouvert affine U de V et un morphisme d’algèbres:

D_{ε,s,n} : U(𝔤_{ℂ}) ⟶ D(U)

tel que J_{ε,s,n} = ker D_{ε,s,n}.

Tout revient en fait à déterminer la représentation π_{ε,s,n}^{∞}, ce qui revient à déterminer π_{ε,s,n}^{∞}(X) pour X ∈ 𝔭_{1} et π_{ε,s,n}^{∞}(X_{η_{2}−η_{1}}).

Soit E_{1}^{∞} l’espace des vecteurs C^{∞} pour la restriction de π_{ε,s,n} à P_{1} . Cette restriction est une représentation induite et on est dans la même situation que celle décrite dans [13], paragraphe 6. On rappelle à ce propos les deux résultats suivants:

Lemme 3.11. ([13], Lemme 6.10) Soit G un groupe de Lie, ρ une représentation continue de G dans un espace de Banach E, Ω une variété C^{∞} et ϕ : Ω ⟶ E une application à valeurs dans le sous-espace E^{∞} des vecteurs C^{∞} de E pour ρ qui est C^{∞} pour la topologie de E^{∞}. Alors l’application: Φ : Ω × G ⟶ E^{∞}, définie par: Φ(x, g) = ρ(g).ϕ(x), est C^{∞}.

Lemme 3.12. ([9], Th.5.1) Soit G un groupe de Lie d’algèbre de lie 𝔤, U(𝔤_{ℂ}) l’algèbre enveloppante de 𝔤_{ℂ}, H un sous-groupe fermé de G, π une représentation unitaire de H d’espace H, ρ = Ind_{H}^{G} π la représentation induite d’espace H_{ρ} et H_{ρ}^{∞} l’espace des vecteurs C^{∞} de H_{ρ}. Alors H_{ρ}^{∞} est l’espace des fonctions φ ∈ C^{∞}(G, H) telles que, pour tout a de U(𝔤_{ℂ}), a.φ ∈ H_{ρ}. Si φ est dans H_{ρ}^{∞}, alors elle prend ses valeurs dans l’espace des vecteurs C^{∞} de π. De plus, on a:

∀a ∈ U(𝔤_{ℂ}), ρ(a)φ = a.φ

(a.φ désigne l’action usuelle de a sur φ en tant qu’opérateur différentiel agissant sur C^{∞}(G, H)). De ceci on déduit le résultat suivant, analogue à [13], Lemme 6.12:

Proposition 3.13. On a: E_{1}^{∞} ⊂ C^{∞}(ℝ^{3} × ℝ^{∗} × ℝ^{+∗}). Il existe un unique homorphisme d’algèbres: D_{ε,s,n} : U(𝔭_{1,ℂ}) ⟶ D(ℂ^{3} × ℂ^{∗2}) tel que:

∀φ ∈ E_{1}^{∞}, ∀a ∈ U(𝔭_{1,ℂ}), π_{ε,s,n}^{∞}(a).φ = D_{ε,s,n}(a).φ.

D’ailleurs des calculs de dérivation simples donnent les formules suivantes pour un système de générateurs de 𝔭_{1} .

Proposition 3.14. Soit f ∈ E_{1}^{∞}, (a, b, c, t, u) le système de coordonnées canonique dans ℝ^{3} × ℝ^{∗} × ℝ^{+∗}. On a:

\begin{aligned}π_{ε,s,n}^{∞}(X_{η_{1}−η_{2}}).f & = iπe(t)(c^{2} + ab − εu^{2}).f, \\ π_{ε,s,n}^{∞}(H_{η_{1}−η_{2}}).f & = a\frac{∂f}{∂a} + b\frac{∂f}{∂b} + c\frac{∂f}{∂c} + u\frac{∂f}{∂u} , \\ π_{ε,s,n}^{∞}(X_{η_{2}−η_{3}}).f & = −\frac{1}{t} \frac{∂f}{∂a} , \\ π_{ε,s,n}^{∞}(X_{η_{3}}).f & = ae(t)\frac{∂f}{∂c} − 2ce(t)\frac{∂f}{∂b} , \\ π_{ε,s,n}^{∞}(X_{−η_{3}}).f & = −be(t)\frac{∂f}{∂c} − 2ce(t)\frac{∂f}{∂a} , \\ π_{ε,s,n}^{∞}(X_{η_{3}−η_{2}}).f & = −c^{2}t\frac{∂f}{∂b} + \frac{at}{2}(\frac{3}{2}f + a\frac{∂f}{∂a} − b\frac{∂f}{∂b} + c\frac{∂f}{∂c} + t\frac{∂f}{∂t} + u\frac{∂f}{∂u}). \end{aligned}

Il reste à déterminer l’opérateur π_{ε,s,n}^{∞}(X_{η_{2}−η_{1}}). On utilise pour cela la formule suivante:

π_{ε,s,n}^{∞}(X_{η_{2}−η_{1}}) = −π_{ε,s,n}(w) ∘ π_{ε,s,n}^{∞}(X_{η_{1}−η_{2}}) ∘ π_{ε,s,n}(w^{−1}).

Soit E_{2}^{∞} l’espace des vecteurs C^{∞} pour la restriction de π_{ε,s,n} à P_{2} . Cette restriction est une représentation induite. A l’aide des lemmes 3.11 et 3.12, on obtient:

E_{2}^{∞} ⊂ C^{∞}(ℝ^{3} × ℝ^{∗}, L^{2}(ℝ^{+∗})^{∞}).

où L^{2}(ℝ^{+∗})^{∞} désigne l’espace des vecteurs C^{∞} de τ_{ε,n}.

D’après [10], théorème 5., on a: L^{2}(ℝ^{+∗})^{∞} ⊂ C^{∞}(ℝ^{+∗}) et donc:
E_{2}^{∞} ⊂ C^{∞}(ℝ^{3} × ℝ^{∗} × ℝ^{+∗}).

Maintenant des calculs simples de dérivation sous le signe intégral donnent:

\begin{aligned}∀f ∈ E_{2}^{∞}, \frac{∂^{2}}{∂c^{2}} (π_{ε,s,n}(w).f) & = −4π^{2}π_{ε,s,n}(w)(c^{2}.f), \\ \frac{∂^{2}}{∂a∂b}(π_{ε,s,n}(w).f) & = −π^{2}π_{ε,s,n}(w)(ab.f). \end{aligned}

On adoptera pour la suite la notation suivante: μ_{n}(f)(u) = u^{n}.f(u), n ∈ ℤ, f étant une fonction quelconque. A l’aide des formules précédentes, on aboutit au résultat suivant:

∀f ∈ E_{2}^{∞}, (π_{ε,s,n}^{∞}(X_{η_{2}−η_{1}}).f)_{∗} = \frac{ie(t)}{4π}(Δf)_{∗} + iπe(t)εμ_{2,n,ε}.f_{∗},

avec

Δ = \frac{∂^{2}}{∂c^{2}} + 4\frac{∂^{2}}{∂a∂b}, μ_{2,n,ε} = τ_{ε,n}(w) ∘ μ_{2} ∘ τ_{ε,n}(w^{−1}).

Tout revient finalement à déterminer l’opérateur μ_{2,n,ε}.

Considérons le cas ε = 1 et supposons, tout d’abord, n ≥ 1.

Pour tout g de L^{2}(ℝ^{+∗})^{∞}, on a:

μ_{2,n,1}(g) = I_{n,1}^{−1} ∘ τ(w) ∘ I_{n,1} ∘ μ_{2} ∘ I_{n,1}^{−1} ∘ τ(w^{−1}) ∘ I_{n,1}(g).

On suppose, tout d’abord, que g appartient à l’espace C_{c}^{∞}(ℝ^{+∗}) des fonctions

C^{∞} sur ℝ^{+∗} à support compact. Soit δ l’opérateur suivant: δ(g)(u) = \frac{1}{u}g′(u). Les deux formules suivantes ont bien un sens et se vérifient facilement:

\frac{∂}{∂z} I_{n,1}(g) = iπI_{n,1} ∘ μ_{2}(g)  (4)

∀ϕ ∈ Θ_{εn}, τ(w)(\frac{∂}{∂z} τ(w^{−1})ϕ)(z) = nzϕ(z) + z^{2} \frac{∂}{∂z} ϕ(z)  (5)

Ainsi on a:

μ_{2,n,1}(g) = \frac{1}{iπ} I_{n,1}^{−1} ∘ τ(w)(\frac{∂}{∂z} [(τ(w^{−1}) ∘ I_{n,1}(g)]), d’après (4)

= \frac{n}{iπ} (I_{n,1}^{−1} ∘ μ_{1})(I_{n,1}(g)) + \frac{1}{iπ} (I_{n,1}^{−1} ∘ μ_{2})(\frac{∂}{∂z} I_{n,1}(g))], d’après (5).

On a par ailleurs les formules suivantes:

∀z ∈ P, z.I_{n,1}(g)(z) = \frac{i}{2π} ((n − \frac{3}{2})I_{n,1}(μ_{−2}g) + I_{n,1} ∘ δ(g)),  (6)

z^{2}.\frac{∂}{∂z} I_{n,1}(g)(z) = −\frac{i}{4π} ((n − \frac{3}{2})^{2}I_{n,1}(μ_{−2}g) + (n − \frac{3}{2})(I_{n,1} ∘ δ(g)))

+(n − \frac{3}{2})[2I_{n,1}(μ_{−2}g) + I_{n,1} ∘ δ(f)] + 3I_{n,1} ∘ δ(g) + I_{n,1}(g”).  (7)

On en déduit ainsi que:

μ_{2,n,1}(g)(u) = \frac{1}{4π^{2}} [(n − \frac{3}{2})(n − \frac{1}{2})\frac{g(u)}{u^{2}} − g”(u)].  (8)

Comme d’après [10], théorème 5, l’espace C_{c}^{∞}(ℝ^{+∗}) est un sous-espace dense de L^{2}(ℝ^{+∗})^{∞}, la formule (8) reste valable pour tout g de L^{2}(ℝ^{+∗})^{∞}. Les calculs classiques sur la représentation métaplectique permettent de vérifier que cette formule reste vraie pour n = \frac{1}{2} . D’où:

∀f ∈ E_{2}^{∞}, π_{1,s,n}^{∞}(X_{η_{2}−η_{1}})(f) = \frac{ie(t)}{4π}Δf+\frac{i}{π} e(t)(n−\frac{3}{2})(n−\frac{1}{2})(f)−\frac{i}{π} e(t)\frac{∂^{2}f}{∂u^{2}} (9)

Il est clair que l’on peut établir des formules totalement analogues pour l’opérateur π_{−1,s,n}^{∞}(X_{η_{2}−η_{1}}).

Soit U = ℂ^{3} × ℂ^{∗2} . C’est un ouvert affine de l’espace vectoriel complexe ℂ^{5} . D’autre part on sait que E^{∞} ⊂ E_{1}^{∞} ∩E_{2}^{∞}. La proposition 3.13 et la formule (9) permettent de définir les opérateurs différentiels D_{ε,s,n}(a), a ∈ U(𝔭_{1,ℂ}), et D_{ε,s,n}(X_{η_{2}−η_{1}}) appartenant à D(U) et tels que:

\begin{aligned}∀φ ∈ E^{∞}, π_{ε,s,n}^{∞}(a).φ & = D_{ε,s,n}(a).φ, ∀a ∈ U(𝔭_{1,ℂ}), \\ π_{ε,s,n}^{∞}(X_{η_{2}−η_{1}}).φ & = D_{ε,s,n}(X_{η_{2}−η_{1}}).φ. \end{aligned}

On sait par ailleurs que l’action de D(U) sur l’espace des distributions sur ℝ^{3} × ℝ^{∗} × ℝ^{+∗} est fidèle et continue. On en déduit donc l’existence d’un morphisme d’algèbres, D_{ε,s,n}, de U(𝔤_{ℂ}) à valeurs dans l’algèbre D(U) des opérateurs différentiels réguliers sur U et il est clair que ce morphisme a pour noyau l’annulateur J_{ε,s,n}, ce qui démontre la proposition 3.10.

Comme GK dim(D(U)) = 10, on en déduit que:

GK dim(U(𝔤_{ℂ})/J_{ε,s,n}) ≤ 10,

ce qui implique l’égalité, d’après (3). D’où le résultat suivant:

Proposition 3.15. Soit ε = ±1, s ∈ {0, 1, 2, 3}, D_{εn} ∈ D_{ε,s}. La représentation π_{ε,s,n} est associée à l’orbite O_{10,ℂ}.

4. La restriction à G des représentations minimales

de S̃O(4, 4) et S̃O(5, 3)

4.1. Soit G_{1} = S̃O(4, 4), 𝔤_{1} = so(4, 4). Le plongement de 𝔤_{1} dans 𝔤 s’effectue de la manière suivante:

En reprenant les notations de 0.2., on considère la base usuelle H_{i}, 1 ≤ i ≤ 4, d’une sous-algèbre de Cartan 𝔥_{1} de 𝔤_{1} contenant 𝔥, le système de racines Δ_{1} = {±ε_{i} ± ε_{j}, 1 ≤ i < j ≤ 4}. Le plongement de 𝔤 dans 𝔤_{1} est donné, outre l’inclusion naturelle 𝔥 ⊂ 𝔥_{1} , par:

\begin{aligned}X_{±η_{i}±η_{j}} & = X_{±ε_{i}±ε_{j}}, 1 ≤ i < j ≤ 3, \\ X_{η_{i}} & = X_{ε_{i}+ε_{4}} + X_{ε_{i}−ε_{4}}, 1 ≤ i ≤ 3, \\ X_{−η_{i}} & = X_{ε_{i}+ε_{4}} + X_{ε_{4}−ε_{i}}, 1 ≤ i ≤ 3. \end{aligned}

4.2. Désignons par O_{1,min} la G_{1} -orbite nilpotente minimale.

Proposition 4.1. La G_{1} -orbite O_{1,min} contient une et une seule G-orbite ouverte dense de dimension 10, et cette G-orbite est un revêtement d’ordre 2 de O_{1} . Preuve. Posons: Y_{1} = X_{1}+(X_{ε_{4}−ε_{1}} −X_{−ε_{4}−ε_{1}}). On vérifie que Y_{1} appartient à O_{1,min}. On constate tout d’abord que 𝔤(X_{1}) = 𝔤(Y_{1}) et donc que la G-orbite G.Y_{1} est de dimension 10. Le fait que cette orbite soit dense dans O_{1,min} se démontre de la même façon que dans la proposition 5.1.1 de [11].

Le plongement de 𝔤 dans 𝔤_{1} induit, par passage au dual et via la forme de Killing, une application G-équivariante et surjective j de 𝔤_{1} dans 𝔤 et on constate que j(G.Y_{1}) = G.X_{1} = O_{1} . Par ailleurs le calcul des stabilisateurs donne:

G(Y_{1}) = ⟨w^{4}⟩.G(Y_{1})_{0}, G(X_{1}) = ⟨w^{2}⟩.G(X_{1})_{0}.

Comme G(Y_{1})_{0} = G(X_{1})_{0} , le résultat s’en suit.

Venons-en à la projection de O_{1,min} sur les paraboliques standards de G. Pour cela, nous désignerons par ξ_{1} l’élément de 𝔤_{1}^{∗} associé à Y_{1} par la forme de Killing. On constate que la restriction de ξ_{1} à 𝔭_{j}, 1 ≤ j ≤ 3 est égale à f_{j,1} . En utilisant les mêmes techniques que celles introduites dans la démonstration de la proposition 2.2 on obtient le résultat suivant:

Proposition 4.2. Pour tout j ∈ {1, 2, 3}, la P_{j} -orbite P_{j}.Y_{1} est l’unique P_{j} - orbite ouverte dense contenue dans G.Y_{1} , et cette P_{j} -orbite est un revêtement d’ordre 2 de P_{j}.f_{j,1} . 4.3. Soit π_{1,min} la représentation minimale de G_{1} . L’existence de cette représentation est assurée par les travaux de P.Torasso ([13]). Sa construction, qui repose sur la restriction aux paraboliques standards, est identique à celle réalisée pour la représentation minimale de G dans ([11]). Intéressons-nous à la restriction de π_{1,min} aux paraboliques P_{j}. La restriction à P_{1} . On a défini au paragraphe 2 les groupes B_{1,ε}. On vérifie tout d’abord que:

π_{1,min|P_{1}} ≃ Ind_{(B_{1,1})_{0}}^{P_{1}} ρ_{1},

où ρ_{1} est le caractère de (B_{1,1})_{0} , trivial sur son facteur réductif et égal à e^{−2iπf_{1,1}} sur N_{1} . D’où:

π_{1,min|P_{1}} ≃ Ind_{B_{1,1}}^{P_{1}}(Ind_{(B_{1,1})_{0}}^{B_{1,1}} ρ_{1})

On constate enfin l’équivalence: Ind_{(B_{1,1})_{0}}^{B_{1,1}} ρ_{1} ≃ ρ_{1,0} ⊕ ρ_{1,1} . Ainsi on a:

π_{1,min|P_{1}} ≃ π_{1,0}^{1} ⊕ π_{1,1}^{1}.

La restriction à P_{2} . On procède, pour étudier cette restriction, comme dans ([11]), paragraphe 5.2. On note, respectivement, S^{+} et S^{−} les composantes paires et impaires de la représentation métaplectique de RSL_{2}(ℝ) et on obtient :

π_{1,min|P_{2}} ≃ Ind_{B_{2}}^{P_{2}} S^{+} ⊗ S_{2}.T_{2} ⊕ Ind_{B_{2}}^{P_{2}} S^{−} ⊗ S_{2}.T_{2}.

On sait par ailleurs, suivant la terminologie introduite dans le paragraphe 3, que S^{+} = D_{\frac{1}{2}} et S^{−} = D_{\frac{3}{2}} . Donc on a:

π_{1,min|P_{2}} ≃ π_{D_{\frac{1}{2}}}^{2} ⊕ π_{D_{\frac{3}{2}}}^{2} .

La restriction à P_{3} . On obtient pour les mêmes raisons:

π_{1,min|P_{3}} ≃ π_{D_{\frac{1}{2}}}^{3} ⊕ π_{D_{\frac{3}{2}}}^{3} .

La représentation π_{1,min} se réalise dans l’espace F = L^{2}(ℝ^{3}×ℝ^{∗2}) et on obtient, suivant la même méthode que celle décrite dans 3.9., des formules explicites. Soit π_{1, \frac{1}{2}} et π_{1, \frac{3}{2}} les deux représentations de G obtenues par amalgames respectifs de (π_{1,0}^{1}, π_{D_{\frac{1}{2}}}^{2} , π_{D_{\frac{1}{2}}}^{3} ) et (π_{1,1}^{1}, π_{D_{\frac{3}{2}}}^{2} , π_{D_{\frac{3}{2}}}^{3} ). Soit:

F_{p} = {f ∈ F/f(a, b, c, t, −u) = f(a, b, c, t, u), ∀(a, b, c, t, u) ∈ ℝ^{3} × ℝ^{∗2}}.
F_{i} = {f ∈ F/f(a, b, c, t, −u) = −f(a, b, c, t, u), ∀(a, b, c, t, u) ∈ ℝ^{3} × ℝ^{∗2}}.

On vérifie que F_{p} est stable par π_{1, \frac{1}{2}} et que F_{i} est stable par π_{1, \frac{3}{2}} . On aboutit alors au résultat suivant:

Proposition 4.3. La restriction à G de la représentation minimale de S̃O(4, 4) n’est pas irréductible. Elle se décompose en facteurs irréductibles dans la famille (π_{ε,s,n}) et on obtient :

π_{1,min|G} = π_{1,0, \frac{1}{2}} ⊕ π_{1,1, \frac{3}{2}} .

4.4. Soit G_{2} = S̃O(5, 3). La restriction à G de la représentation minimale π_{2,min} de G_{2} s’étudie de manière tout à fait analogue; nous en passerons les détails. Désignons par O_{2,min} la G_{2} -orbite nilpotente minimale.

Proposition 4.4. La G_{2} -orbite O_{2,min} contient une et une seule G-orbite ouverte, dense, de dimension 10, et cette G-orbite est un revêtement d’ordre 2 de O_{−1} .

Proposition 4.5. La restriction à G de la représentation minimale de S̃O(5, 3) n’est pas irréductible. Elle se décompose en facteurs irréductibles dans la famille (π_{ε,s,n}) et on obtient:

π_{2,min|G} = π_{−1,1, \frac{1}{2}} ⊕ π_{−1,3, \frac{3}{2}} .

References

[1] Bargmann, V., Irreducible unitary representations of the Lorentz group, Ann. of Math. 48 (1947), 568–640.

[2] Borho, W., and J. L. Brylinski, Differential operators on homogeneous spaces III, Inventiones Math. 80 (1985), 1–68.

[3] Collingwood, D. H., and W. M. Mac Govern, “Nilpotent orbits in semisimple Lie algebras,” Van Nostrand Reinhold, Mathematics series.

[4] Duflo, M., Théorème de Mackey pour les groupes de Lie algébriques, Acta Math. 149 (1982), 153–213.

[5] Faraut, J., and A. Koranyi, “Analysis on symmetric cones,” Oxford mathematical monographs, Clarendon press, Oxford, 1994.

[6] Joseph, A., The minimal orbit in a simple Lie algebra and its associated maximal ideal, Ann. Sci. E.N.S., 4e série, 9 (1976), 1–29.

[7] Lion, G., and M. Vergne, “The Weil representation, Maslov index and theta series,” Birkkhauser, Boston, 1980.

[8] Matsuki, T., The orbits of affine symmetric spaces under the action of minimal parabolic subgroups, J. Math. Soc. Japan. 31:2 (1979), 331–357.

[9] Poulsen, N. S., On C^{∞} -vectors and intertwining bilinear forms for representations of Lie groups, J. Funct. Anal. 9 (1972), 87–120.

[10] Ranga Rao, R., Unitary representations defined by boundary conditions - The case of sl(2, ℝ), Acta Math. 139 (1976), 185–216.

[11] Sabourin, H., Une représentation unipotente associée à l’orbite minimale: le cas de so(4, 3), J. Funct. Anal. 137 (1996), 394–465.

[12]  Serre, J.P, “Arbres, amalgames, SL_{2} ,” Astérisque 46.

[13] Torasso, P., Méthode des orbites de Kirillov-Duflo et représentations minimales des groupes simples sur un corps local de caractéristique nulle, Duke Math. J. 90 (1997), 261–377.

Hervé Sabourin UPRESA 6086 Département de Mathématiques Téléport 2, BP 30179 Boulevard Marie et Pierre Curie 86962 Futuroscope-Chasseneuil. sabourin@mathlabo.univ-poitiers.fr

Received March 2, 1999 and in final form January 17, 2000