Journal of Lie Theory Volume 8 (1998) 25–50 C ◯1998 Heldermann Verlag

Nouvelle Désintégration Lisse De L^{2}(G) Pour Les Groupes Résolubles Exponentiels

Ali Baklouti

Communicated by Jean Ludwig

Abstract. Nous présentons dans cet article une nouvelle désintégration (lisse) de L^{2}(G) lorsque G est un groupe de Lie résoluble exponentiel. Ainsi, nous explicitons un opérateur d’entrelacement lisse entre une représentation monomiale induite à partir d’un sous-groupe invariant et sa décomposition en irréductibles qui ne tient pas compte des multiplicités intervenants dans la décomposition.

1. Introduction

Soit G un groupe de Lie résoluble exponentiel d’algèbre de Lie 𝔤. La méthode des orbites permet de paramétrer le dual unitaire Ĝ de G par l’espace des orbites coadjointes 𝔤^{⋆}/G de G. Plus précisèment, si f est un point du dual 𝔤^{⋆} de 𝔤, il existe des polarisations réelles 𝔟 en f qui vérifient la condition de Pukanszky. La représentation monomiale ρ(f, 𝔟, G) de G, induite par un caractère unitaire χ_{f} du sous-groupe B = exp 𝔟 dont la différentielle est −if|_{𝔟} est irréductible. De plus, la classe d’équivalence de ρ(f, 𝔟, G) ne dépend que de l’orbite coadjointe G · f de f. Cette construction nous donne une bijection de l’espace des orbites 𝔤^{⋆}/G sur Ĝ (voir [3], [4], [12]).

Soient 𝔟_{1} et 𝔟_{2} deux polarisations de 𝔤 en f ∈ 𝔤^{⋆} vérifiant la condition de Pukanszky. Le problème posé par Vergne et qui consiste à construire un opérateur d’entrelacement entre ρ(f, 𝔟_{1}, G) et ρ(f, 𝔟_{2}, G) a été entièrement résolue par Lion [14] dans le cas nilpotent et par Arnal, Fujiwara et Ludwig dans [1] pour les groupes résolubles exponentiels.

Lorsque 𝔥 est une sous-algèbre vérifiant f([𝔥, 𝔥]) = 0 qui n’est pas une polarisation réelle vérifiant la condition de Pukanszky, la representation τ = ρ(f, 𝔥, G) n’est plus irréductible. On la décompose ou on la désintègre en une intégrale directe d’irréductibles. D’aprés [5], la désintégration centrale de τ s’écrit:

τ ≃ ∫ ⊕ ; Ĝ m(π)πdν(π),  (1.1)

ISSN 0949–5932 / $2.50 ^{_{C} ◯} Heldermann Verlag où ν est l’image par l’application de Kirillov-Bernat d’une mesure positive finie sur Γ_{f} = f +𝔥^{⊥} ⊂ 𝔤^{⋆} équivalente à la mesure de Lebesgue et m(π) est le nombre des H−orbites contenues dans Γ_{f} ∩ Ω_{π}, (Ω_{π} étant l’orbite coadjointe associée à la représentation π).

La construction explicite d’un opérateur d’entrelacement entre τ et sa désintégration, apparut comme une question naturelle de cette théorie. Dans [2], nous avons donné une réponse quasi-définitive à cette question dans le cadre des groupes de Lie nilpotents. Dans ce papier, nous commençons la recherche de cet opérateur pour des groupes résolubles exponentiels. Plus précisement nous allons essayer d’expliciter un opérateur d’entrelacement lorsque 𝔥 est un idéal de 𝔤. Nous espérons que nos résultats vont se généraliser à une classe plus grande de sous-algèbres 𝔥 de 𝔤.

Le papier se compose de cinq sections. Dans la première et la deuxième, nous donnons quelques rappels sur les groupes exponentiels ainsi que sur la décomposition des représentations induites. Dans la troisième section, nous déterminons à partir d’une bonne suite de sous-algèbres 𝔰 = (𝔞_{i})_{i=0}^{n} qui passe par 𝔥, un sous-espace affine V de f + 𝔥^{⊥}, ainsi qu’une mesure dλ sur V telle que

Ind_{H}^{G} χ_{f} ≃ ∫_{V}^{⊕} π_{ϕ}dλ(ϕ),

où π_{ϕ} sont les représentations irréductibles associées à ϕ. Dans la quatrième section, nous construisons un opérateur d’entrelacement unitaire explicite et on donne son inverse. La construction de cet opérateur U se fait de la façon suivante. Nous partons de la bonne suite 𝔰, nous déduisons une base coexponentielle B à 𝔥 dans 𝔤, nous obtenons notre espace de désintégration V avec la mesure de Lebesgue dλ. La base B nous définit une mesure invariante sur G/H, donc la norme sur l’espace H_{τ} de τ. Nous construisons ensuite un ouvert de Zariski V_{0} de V , pour chaque ϕ ∈ V_{0} la polarisation de Vergne 𝔟(ϕ) en ϕ relativement à la bonne suite 𝔰. Ces polarisations contiennent évidemment 𝔥. Nous déterminons ensuite pour tout ϕ ∈ V_{0} une base coexponentielle X(ϕ) à 𝔟(ϕ) dans 𝔤, cette base va nous fixer une forme positive G−invariante ν_{G,B(ϕ)} sur K(G, B(ϕ)) qui est l’espace des fonctions numériques continues sur G, à support compact modulo B(ϕ) = exp(𝔟(ϕ)) et qui vérifient:

F (gb) = Δ_{B(ϕ),G}(b)F (g) (g ∈ G, b ∈ B(ϕ)),

donc la norme sur l’espace H_{ϕ} de la représentation irréductible π_{ϕ} = Ind_{B(ϕ)}^{G} χ_{ϕ}. De la même manière une base coexponentielle Y (ϕ) à 𝔥 dans 𝔟(ϕ) donc une mesure invariante d_{B(ϕ),H} sur B(ϕ)/H. Toutes ces bases varient de façon continue en ϕ ∈ V_{0} et nous permettent de définir l’espace

H = ∫_{V}^{⊕} H_{ϕ}dλ(ϕ)

de la désintégration de τ. Nous assoçions maintenant à chaque fonction infiniment différentiable ξ sur G à support compact modulo H vérifiant

ξ(gh) = χ_{f}(h^{−1})Δ_{H,G}^{1/2}(h)ξ(g), (g ∈ G, h ∈ H)

et à chaque ϕ ∈ V_{0} le vecteur C^{∞}

T_{𝔟(ϕ),𝔥}ξ(g) = ∫_{B(ϕ)/H} ξ(gb)χ_{ϕ}(b)Δ_{B(ϕ),G}^{−1/2}(b) d_{B(ϕ),H}(b), g ∈ G

de H_{ϕ}. Nous montrerons dans (4.5) que

∫_{V} ∥T_{𝔟(ϕ),𝔥}ξ∥_{H_{ϕ}}^{2}dλ(ϕ) = ∥ξ∥_{H_{τ}}^{2}

et que nous obtenons de cette façon un opérateur d’entrelacement isométrique qui transforme τ en une intégrale des π_{ϕ} sur V et dans (4.7) que cet opérateur est inversible.

Dans la dernière section, nous examinons des exemples et nous décrivons une nouvelle désintégration (lisse) de L^{2}(G).

2. Notations et Rappels

2.1. Soit toujours G = exp 𝔤 un groupe de Lie résoluble exponentiel d’algèbre de Lie 𝔤, c’est à dire un groupe de Lie réel tel que l’application exponentielle:

exp : 𝔤 ⟶ G

est un difféomorphisme de 𝔤 sur G. Soit 𝔤^{⋆} l’espace vectoriel dual de 𝔤. G agit sur 𝔤^{⋆} par la représentation coadjointe. Si f est un point de 𝔤^{⋆}, on définit la forme bilinéaire alternée B_{f} sur 𝔤 × 𝔤 par:

B_{f}(X, Y) = f([X, Y]).

Si 𝔭 est un sous-espace vectoriel de 𝔤, on pose:

𝔭^{⊥}(𝔤^{⋆}) = {l ∈ 𝔤^{⋆} : l|_{𝔭} = 0},

l|_{𝔭} est ici la restriction de l à 𝔭 et:

𝔭^{f} = 𝔭(f) = {X ∈ 𝔤 : B_{f}(X, 𝔭) = 0}.

Pour simplifier les notations, lorsque cela ne prête pas à une confusion, on notera 𝔭^{⊥} l’espace 𝔭^{⊥}(𝔤^{⋆}).

Si 𝔭 ⊂ 𝔭(f) (resp. 𝔭 = 𝔭(f)), on dit que 𝔭 est un sous-espace isotrope (resp. lagrangien) pour B_{f}. On note S(f, 𝔤) (resp. M(f, 𝔤)) l’ensemble des sous-algèbres isotropes (resp. lagrangiennes) pour B_{f}. Alors un élément 𝔟 de S(f, 𝔤) est dans M(f, 𝔤) si et seulement si:

dim 𝔟 = \frac{1}{2} (dim 𝔤 + dim 𝔤(f))

(cf. [4], chap. IV).

Soient dg une mesure de Haar à gauche sur G et Δ_{G} la fonction module de G de sorte que l’on a:

∫_{G} F (gx^{−1}) dg = Δ_{G}(x) ∫_{G} F (g) dg (x ∈ G)

pour toute fonction F appartenant à l’espace K(G) des fonctions continues sur G à support compact. Il est bien connu que:

Δ_{G}(x) = |det Ad x|^{−1} (x ∈ G).

Soit H un sous-groupe fermé d’algèbre de Lie 𝔥. On note Δ_{H,G} le caractère de H à valeurs dans ℝ_{+} défini par:

Δ_{H,G}(h) = \frac{Δ_{H}(h)}{Δ_{G}(h)}.

On a, pour X dans 𝔥,

Δ_{H,G}(exp X) = exp(T r ad_{𝔤/𝔥} X).

Il est clair que lorsque H est un sous groupe normal de G, alors Δ_{H,G}(h) = 1 pour tout h ∈ H.

Soit K(G, H) l’espace des fonctions numériques F continues sur G, à support compact modulo H et qui vérifient:

F (gh) = Δ_{H,G}(h)F (g) (g ∈ G, h ∈ H).

G agit sur cet espace par translation à gauche. On sait ([4]) que, à un scalaire multiplicatif près, il existe une et une seule forme linéaire positive G-invariante sur K(G, H). On la note ν_{G,H} et on l’écrit sous la forme d’une intégrale:

ν_{G,H}(F) = ∮_{G/H} F (g) dν(g).

Si Δ_{H} = Δ_{G} sur H, ν_{G,H} est une mesure G-invariante sur l’espace homogène G/H.

On prend maintenant un sous-groupe fermé K de H. Le lemme suivant jouera dans la suite un rôle fondamental.

Lemme 2.2. (Formule de transitivité [4], chap. V) Soient K ⊂ H des sousgroupes fermés de G et F une fonction ν_{G,K} - intégrable. Alors l’ensemble des g de G tels que la fonction sur H:

h ↦ F (gh)Δ_{H,G}^{−1}(h)

ne soit pas ν_{H,K} -intégrable est ν_{G,H} -négligeable, la fonction définie sur G par:

g ↦ ∮_{H/K} F (gh)Δ_{H,G}^{−1}(h) dν_{H,K}(h)

est ν_{G,H} -intégrable et, à une normalisation près, on a la formule:

∮_{G/K} F (x) dν_{G,K}(x) = ∮_{G/H} dν_{G,H}(g) ∮_{H/K} F (gh)Δ_{H,G}^{−1}(h) dν_{H,K}(h).

2.3. Soit π une représentation unitaire de H dans un espace de Hilbert H. On note K_{π}(G, H) l’espace des fonctions F continues sur G à valeurs dans H qui vérifient:

F (gh) = Δ_{H,G}^{1/2}(h)π(h)^{−1}F (g) (g ∈ G, h ∈ H)

et dont le support est compact modulo H. Si F appartient à K_{π}(G, H), la fonction g ↦ ∥F (g)∥_{H}^{2} appartient à K(G, H) et l’on pose:

∥F ∥^{2} = ∮_{G/H} ∥F (g)∥_{H}^{2} dν(g).

La représentation induite Ind_{H}^{G} π de G se réalise par translation à gauche dans l’espace de Hilbert complété de K_{π}(G, H) muni de la norme définie ci-dessus.

Etant donné un élément 𝔥 de S(f, 𝔤), on note χ_{f} le caractère unitaire de H = exp 𝔥 défini par:

χ_{f}(exp X) = e^{−if(X)} (X ∈ 𝔥).

Ce caractère induit donc une représentation unitaire ρ(f, 𝔥, G) = Ind_{H}^{G} χ_{f} de G dans l’espace de Hilbert H(f, 𝔥, G), complété de l’espace K(f, 𝔥, G) des fonctions numériques continues F sur G à support compact modulo H et vérifiant:

F (gh) = χ_{f}^{−1}(h)Δ_{H,G}^{1/2}(h)F (g)  (g ∈ G, h ∈ H).  (2.3.1)

Il est clair que lorsque H est un sous groupe normal de G, alors la condition (2.3.1) sur F devient

F (gh) = χ_{f}^{−1}(h)F (g)  (g ∈ G, h ∈ H).  (2.3.2)

On désigne par I(f, 𝔤) le sous-ensemble de S(f, 𝔤) formé des sousalgèbres 𝔟 telles que ρ(f, 𝔟, G) soit irréductible.

Théorème 2.4. (Critère de Pukanszky [16]; [4], chap. VI) Soit 𝔟 un élément de S(f, 𝔤). Alors les conditions suivantes sont équivalentes:

i) B · f = f + 𝔟^{⊥};

ii) 𝔟 appartient à M(f, 𝔤) et f + 𝔟^{⊥} ⊂ G · f;

iii) Pour tout point l de 𝔟^{⊥}, 𝔟 appartient à M(f + l, 𝔤);

iv) 𝔟 appartient à I(f, 𝔤).

Si les conditions équivalentes du théorème (2.4) sont remplies, on dit que 𝔟 vérifie la condition de Pukanszky.

On connaît bien un procédé standard dû à M. Vergne pour construire un élément de I(f, 𝔤). Soit 𝔰 = (𝔞_{j})_{j=0}^{n} une bonne suite de sous-algèbres de 𝔤, c’est à dire une suite de sous-algèbres telle que:

{0} = 𝔞_{0} ⊂ 𝔞_{1} ⊂ ⋯ ⊂ 𝔞_{n−1} ⊂ 𝔞_{n} = 𝔤,

pour tout j, 1 ≤ j ≤ n, dim 𝔞_{j}/𝔞_{j−1} = 1 et telle que, si 𝔞_{j} n’est pas un idéal de 𝔤, 𝔞_{j−1} et 𝔞_{j+1} sont toutes les deux des idéaux de 𝔤 et 𝔞_{j+1}/𝔞_{j−1} est un 𝔤−module irréductible. Dans ce cas 𝔞_{j−1} est toujours un idéal de 𝔞_{j} pour 1 ≤ j ≤ n. Soit f_{j} la restriction f_{|_{𝔞_{j}}} de f à 𝔞_{j}, pour 1 ≤ j ≤ n.

Théorème 2.5. (cf. [4], chap. IV) Le sous-espace 𝔟 = ∑_{j=1}^{n} 𝔞_{j}(f_{j}) est une polarisation en f qui vérifie la condition de Pukanszky.

Nous appellerons polarisations de Vergne les polarisations qui sont construites par ce procédé.

2.6. Soit 𝔨 une sous-algèbre de 𝔤. Un ensemble ordonné {X_{1}, X_{2}, …, X_{d}} d’éléments de 𝔤 s’appelle une base coexponentielle à 𝔨 dans 𝔤 si l’application:

((x_{1}, x_{2}, …, x_{d}), Y) ↦ (∏_{j=1}^{d} exp (x_{j}X_{j})) exp Y

est un difféomorphisme de ℝ^{d} ×𝔨 sur le groupe G. Une telle base existe toujours (cf. [4], chap. I).

Conservons nos notations. Par exemple G = exp 𝔤 désigne un groupe de Lie résoluble exponentiel d’algèbre de Lie 𝔤, etc… Soit f un point de 𝔤^{⋆} et H = exp(𝔥) un sous-groupe normal de G. On construit la représentation monomiale τ = Ind_{H}^{G} χ_{f}. D’après ce qui précède τ se réalise par translations à gauche dans l’espace de Hilbert H_{τ} des fonctions ξ sur G qui sont continues et qui vérifient (2.3.2) quels que soient g dans G et h dans H et de carré intégrable sur G/H pour la mesure G−invariante. Un résultat sur la désintégration de τ a été obtenu dans [15] par Lipsman:

Théorème 2.7. Soit G = exp(𝔤) un groupe résoluble exponentiel et H = exp(𝔥) un sous-groupe normal de G, alors

τ ≃ ∫_{(f+𝔥^{⊥})/H}^{⊕} π_{l}dμ(l),  (2.7.1)

où μ est l’image par l’application de Kirillov-Bernat d’une mesure positive finie sur Γ_{f} ⊂ 𝔤^{⋆} équivalente à la mesure de Lebesgue. D’autre part, les multiplicités intervenants dans cette décomposition sont identiquement 1 ou +∞ suivant que

dim(H · l) = dim(G · l ∩ Γ_{f})

ou non pour l générique dans Γ_{f}; de manière équivalente

2 dim(H · l) = dim(G · l)

ou non. En tout cas la multiplicité de π_{l} dans τ est le nombre de H−orbites dans G · l ∩ Γ_{f}.

Nous allons rappeler maintenant un résultat bien connu, et qui sera utilisé plus tard à maintes reprises. Soient 𝔤_{0} un idéal de 𝔤 tel que dim 𝔤/𝔤_{0} = 1 et G_{0} = exp 𝔤_{0} . Soit p : 𝔤^{⋆} ⟶ 𝔤_{0}^{⋆} la projection canonique. Par rapport à 𝔤_{0} , les orbites coadjointes de G, donc aussi les représentations unitaires et irréductibles de G, se classent en deux catégories. On note G(f) le stabilisateur de f ∈ 𝔤^{⋆} dans G, dont l’algèbre de Lie s’écrit 𝔤(f). Dans la suite, on dit que l’orbite Ω de f est une orbite saturée par rapport à 𝔤_{0} (respectivement non saturée par rapport à 𝔤_{0} ) si 𝔤(f) ⊂ 𝔤_{0} (respectivement si 𝔤(f) ⊄ 𝔤_{0} ).

Théorème 2.8. (cf. [11,17]) Soient Ω une orbite coadjointe de G, f ∈ Ω et π(Ω) la représentation unitaire et irréductible de G, associée à Ω. On a l’alternative suivante:

(i) Si Ω est une orbite saturée par rapport à 𝔤_{0} , alors p(Ω) est réunion de G_{0}−orbites ω_{t} à un paramètre t ∈ ℝ, ω_{t} exp(tX) · ω_{0} avec X ∉ 𝔤_{0}

et Ω = p^{−1}(p(Ω)). D’autre part, π(Ω)_{|_{G_{0}}} ≃ ∫_{ℝ}^{⊕} π(ω_{t})dt tandis que

Ind_{G_{0}}^{G} π(ω_{t}) est irréductible. (ii) Si Ω est une orbite non saturée par rapport à 𝔤_{0} , alors p(Ω) est une G_{0}−orbite, notée ω, et p^{−1}(ω) est réunion de G−orbites Ω_{t} à un paramètre t ∈ ℝ. D’autre part, π(Ω_{t})_{|_{G_{0}}} est irréductible et Ind_{G_{0}}^{G} π(ω) ≃

∫_{ℝ}^{⊕} π(Ω_{t})dt.

3. Désintégration des représentations induites

3.1. Fixons 𝔰 = (𝔞_{j})_{j=0}^{n} une bonne suite de sous-algèbres de 𝔤, comme 𝔥 est un idéal de 𝔤, il est bien connue qu’on peut toujours choisir 𝔰 de façon que 𝔥 = 𝔞_{p} pour certain p ∈ {1, …, n}.

Une bonne suite de sous-algèbres de 𝔤 vérifiant la propriété ci-dessus sera appellée une bonne suite de sous-algèbres de 𝔤 adaptée à 𝔥.

A partir de cette bonne suite de sous-algèbres de 𝔤 adaptée à 𝔥, nous pouvons extraire une base de Malcev {Z_{1}, …, Z_{n}} de 𝔤, qui vérifie pour tout i ∈ {1, …, n},

𝔞_{i} = vect(Z_{1}, …, Z_{i})

et B = {X_{1}, …, X_{r}} = {Z_{p+1}, …, Z_{n}}, (r = n − p), est une base de Malcev relative à 𝔥 qui est en même temps une base coexponentielle à 𝔥 dans 𝔤. Nous utiliserons B pour déterminer une mesure G-invariante sur G/H, donc pour fixer la norme sur l’espace de l’induite Ind_{H}^{G} χ_{f}. Cette mesure G-invariante que nous noterons d_{G,H} sera définie comme suit: pour toute fonction continue à support compact ã sur G/H nous avons

∫_{G/H} ã(g)d_{G,H}(g) = ∫_{ℝ^{r}} ã(exp(t_{r}X_{r}) ⋯ exp(t_{1}X_{1}))dt_{r} ⋯ dt_{1}.  (3.1.1)

Nous notons dans tout le reste du texte X = X_{r}, 𝔤_{0} = 𝔞_{n−1} et 𝔰_{0} = (𝔞_{j})_{j=0}^{n−1} qui est en fait une bonne suite de sous-algèbres de 𝔤_{0} adaptèe à 𝔥. Notons de même que la base B_{0} = {X_{1}, …, X_{r−1}} qui est coexponentielle à 𝔥 dans 𝔤_{0} nous définie comme dans (3.1.1) une mesure G_{0}−invariante d_{G_{0},H} sur G_{0}/H, où G_{0} = exp(𝔤_{0}).

3.2. Soit 𝔰 = (𝔞_{j})_{j=0}^{n} une bonne suite de sous-algèbres de 𝔤 adaptée à 𝔥 et B = {X_{1}, …, X_{r}} une base coexponentielle de 𝔤 par rapport à 𝔥 extraite de 𝔰 comme dans (3.1). Nous notons B^{⋆} = {f_{1}, …, f_{r}} ⊂ 𝔥^{⊥} sa base duale et A_{j} = exp(𝔞_{j}).

Nous considérons pour tout j = 0, …, n et tout ϕ ∈ Γ_{f}, ϕ_{j} = ϕ_{|𝔞_{j}}. Nous posons

d_{j}(ϕ) = dim (A_{j} · ϕ_{j}) = rang ((⟨ϕ, [Z_{i}, Z_{i′}]⟩)_{1≤i,i′≤j}) et

d_{j} = max_{ϕ∈Γ_{f}} d_{j}(ϕ), d_{0} = 0.

Nous posons encore

L^{H} = {j ∈ {1, …, r}, d_{j+p} = d_{j−1+p}} et

K^{H} = {1, …, r} \ L^{H} = {j ∈ {1, …, r}; d_{j+p} > d_{j−1+p}}.

Il est clair que pour tout j dans K^{H}, presque toutes les A_{j+p}− orbites dans

Γ_{f}^{j+p} = Γ_{f}_{|𝔞_{j+p}}

sont saturées par rapport à 𝔞_{j−1+p}. De même, pour tout j dans L^{H} presque aucune A_{j+p}− orbite dans Γ_{f}^{j+p} n’est saturée par rapport à 𝔞_{j−1+p}.

Nous notons Γ_{f}^{0} l’ensemble des éléments ϕ ∈ Γ_{f} qui vérifient

d_{j+p}(ϕ) = d_{j+p}, ∀j ∈ {1, …, r}.

Alors Γ_{f}^{0} est un ouvert de Zariski dans Γ_{f}. Les éléments de Γ_{f}^{0} seront appelés en position générale. Il est clair que nous pouvons toujours prendre f dans Γ_{f}^{0} et donc V′ = V ∩ Γ_{f}^{0} est un ouvert de Zariski non vide de V où

V = {f + ∑_{i∈L^{H}} t_{i}f_{i}, t_{i} ∈ ℝ } ⊂ Γ_{f}.  (3.2.1)

Soit dλ la mesure de Lebesgue sur V .

4. Construction de l’opérateur d’entrelacement

4.1. Différentes constructions. Soit 𝔰 = (𝔞_{j})_{j=0}^{n} notre bonne suite de sousalgèbres de 𝔤 qui est adaptée à 𝔥, nous en déduisons une base coexponentielle B = {X_{1}, …, X_{r}} à 𝔥 dans 𝔤. Nous obtenons notre espace de désintégration V avec la mesure de Lebesgue dλ comme dans (3.2). La base B nous définit une mesure invariante sur G/H, ce qui permet de fixer la norme

∥ξ∥_{L^{2}(G/H,f)} = (∫_{G/H} |ξ(g)|^{2}d_{G,H}(g))^{1/2}

des éléments de l’espace H_{τ} = L^{2}(G/H, f) de τ.

Nous allons construire dans la suite un ouvert de Zariski V_{0} de V , pour ϕ ∈ V_{0} nous allons considérer la polarisation de Vergne 𝔟(ϕ) en ϕ relativement à la bonne suite 𝔰 et puisque cette bonne suite est adaptée à 𝔥, nous avons forcement 𝔥 ⊂ 𝔟(ϕ) pour tout ϕ ∈ V_{0} . Nous allons construire ensuite pour ϕ ∈ V_{0} , une base coexponentielle X(ϕ) à 𝔟(ϕ) dans 𝔤, une base coexponentielle Y (ϕ) à 𝔥 dans 𝔟(ϕ). Toutes ces bases varient de façon continue sur V_{0} .

Pour ϕ ∈ V′ et j = 1, …, n, nous notons

J_{j}(ϕ) = {k ∈ {1, …, j} : 𝔞_{j}(ϕ_{j}) + 𝔞_{k−1}⫋ 𝔞_{j}(ϕ_{j}) + 𝔞_{k}}.

L’ensemble d’indice J_{j}(ϕ) n’est généralement pas constant lorsque ϕ décrit V′ mais son cardinal est constant et est égale à d_{j} pour tout j = 1, …, n. Notant donc

J_{j}(ϕ) = {i_{1}(ϕ) < ⋯ < i_{d_{j}}(ϕ)},

nous pouvons mettre sur les J_{j}(ϕ), ϕ ∈ V′ l’ordre lexicographique définit par

{i_{1}(ϕ) < ⋯ < i_{d_{j}}(ϕ)} < {i_{1}(ϕ′) < ⋯ < i_{d_{j}}(ϕ′)}

s’il existe σ ∈ {1, …, d_{j}} tel que i_{1}(ϕ) = i_{1}(ϕ′), …, i_{σ−1}(ϕ) = i_{σ−1}(ϕ′), i_{σ}(ϕ) < i_{σ}(ϕ′). Posons à l’aide de cet ordre

J_{j} = min_{ϕ∈V′}J_{j}(ϕ) = {i_{1} < ⋯ < i_{d_{j}}}

j = 1, …, n. Dans la suite nous notons V_{0} l’ensemble des éléments de V′ qui vérifient pour tout j = 1, …, n, J_{j}(ϕ) = J_{j} et

Q_{j}(ϕ) = det((⟨ϕ, [Z_{i}, Z_{i′}]⟩)_{i,i′∈J_{j}})

est un polynôme non nul. Il est clair que V_{0} est un ouvert de Zariski non vide de V .

Pour ϕ ∈ V_{0} et k = 1, …, n, nous notons
M_{k}(ϕ) = ((⟨ϕ, [Z_{i}, Z_{i′}]⟩)_{1≤i,i′≤k}), M_{0}(ϕ) = 0,

et pour tout j = 1, …, n,

I_{j}(ϕ) = {k ∈ {1, …, j} : 𝔞_{k}(ϕ_{k}) ⊄ 𝔞_{k−1}}
= {k ∈ {1, …, j} : rang(M_{k}(ϕ)) = rang(M_{k−1}(ϕ))}.

Cette fois les I_{j}(ϕ) sont constants en ϕ, i.e I_{j}(ϕ) = I_{j} pour tout ϕ ∈ V_{0} . Soit maintenant

B_{j}(ϕ) = Z_{j}, pour j ≤ p
B_{j}(ϕ) = Z_{j} + ∑_{k=1}^{j−1} a_{k}(ϕ)Z_{k}, pour j > p et j ∈ I_{n}  (4.1.1)

où a_{k} sont des fonctions rationnelles non singulières sur V_{0} qui sont solution du système linéaire suivant

⟨ϕ, [Z_{j}, Z_{l}]⟩ = ∑_{k=1}^{j−1} a_{k}(ϕ)⟨ϕ, [Z_{l}, Z_{k}]⟩, l ∈ {1, …, j},

qui admette au moins une solution puisque ϕ est dans V_{0} .

Alors, il est clair que les B_{j}(ϕ) forment une base de Jordan-Hölder de la polarisation 𝔟(ϕ).

Lemme 4.1.1. Pour tout ϕ ∈ V_{0} , les vecteurs Z_{k}, k ∉ I_{j} pour tout j = 1, …, n constituent également une base coexponentielle à 𝔟(ϕ) dans 𝔤, (c’est la base X(ϕ) cherchée). Preuve. Nous raisonnons par récurrence sur la dimension de G. Supposons en premier temps que l’orbite de ϕ est saturée par rapport à 𝔤_{0} , ceci veut dire que 𝔤(ϕ) ⊂ 𝔤_{0} et donc 𝔟(ϕ) ⊂ 𝔤_{0} . Dans ce cas n ∉ I_{n} et donc I_{n} = I_{n−1} . D’autre part,

𝔟(ϕ) = 𝔟(ϕ_{0})  (4.1.1.1)

où 𝔟(ϕ_{0}) est la polarisation de Vergne en ϕ_{0} = ϕ_{|𝔤_{0}} par rapport à la bonne suite 𝔰_{0} . L’hypothèse de récurrence nous affirme que les vecteurs Z_{k}, k ∉ I_{j} pour tout j = 1, …, n − 1 constituent également une base coexponentielle à 𝔟(ϕ) dans 𝔤_{0} , et puisque {Z_{n}} est une base coexponentielle à 𝔤_{0} dans 𝔤 nous avons le résultat.

Passons enfin au cas où l’orbite de ϕ n’est pas saturée par rapport à 𝔤_{0} , ce qui veut dire que 𝔤(ϕ) ⊄ 𝔤_{0} et donc 𝔟(ϕ) ⊄ 𝔤_{0} et

𝔟(ϕ_{0}) = 𝔟(ϕ) ∩ 𝔤_{0}  (4.1.1.2)

est la polarisation de Vergne en ϕ_{0} = ϕ_{|𝔤_{0}} par rapport à la bonne suite 𝔰_{0} . Dans ce cas n ∈ I_{n}. L’hypothèse de récurrence nous affirme que les vecteurs Z_{k}, k ∉ I_{j} pour tout j = 1, …, n−1 constituent également une base coexponentielle à 𝔟(ϕ_{0}) dans 𝔤_{0} qui est en fait une base coexponentielle à 𝔟(ϕ) dans 𝔤.

4.1.2. Soit {Z_{i_{1}}, …, Z_{i_{q}}}, i_{1} < ⋯ < i_{q} la base coexponentielle à 𝔟(ϕ) dans 𝔤 déterminée dans le lemme (4.1.1) et B(ϕ) = exp(𝔟(ϕ)). Pour F ∈ K(G, B(ϕ)), l’intégrale

∫_{ℝ^{q}} F (exp(t_{q}Z_{i_{q}}) ⋯ exp(t_{1}Z_{i_{1}}))dt_{q} ⋯ dt_{1}.  (4.1.2.1)

définit une forme linéaire positive G−invariante sur K(G, B(ϕ)). Comme dans

(2.1), nous la notons ∮_{G/B(ϕ)} F (g)dν_{G,B(ϕ)}(g). Cette forme va nous fixer, donc

la norme sur l’espace H_{ϕ} de la représentation irréductible π_{ϕ} = Ind_{B(ϕ)}^{G} χ_{ϕ}.

Les vecteurs {B_{j}(ϕ), j > p, j ∈ I_{n}} = {B_{j_{1}}(ϕ), …, B_{j_{m}}(ϕ)} constituent la base Y (ϕ) coexponentielle à 𝔥 dans 𝔟(ϕ) que nous cherchons. En respectant l’ordre de ces vecteurs, cette base va nous définir comme dans (3.1.1) une mesure d_{B(ϕ),H} qui est B(ϕ)−invariante sur l’espace B(ϕ)/H. Cette mesure va nous permettre d’écrire notre opérateur d’entrelacement.

Comme dans le Lemme précédent lorsque 𝔟(ϕ) est incluse dans 𝔤_{0} , les Z_{k}, k ∉ I_{j} pour tout j = 1, …, n−1 nous constituent également une base X_{0}(ϕ) coexponentielle à 𝔟(ϕ) (qui est égale à 𝔟(ϕ_{0}) en vertue de (4.1.1.1)) dans 𝔤_{0} et donc une forme positive ν_{G_{0},B(ϕ)} sur K(G_{0}, B(ϕ_{0})) où B(ϕ_{0}) = exp(𝔟(ϕ_{0})).

Lorsque 𝔟(ϕ) n’est pas incluse dans 𝔤_{0} , alors n ∈ I_{n}, et comme dans (4.1.1.2) 𝔟(ϕ_{0}) = 𝔟(ϕ)∩𝔤_{0} est la polarisation de Vergne en ϕ_{0} = ϕ_{|𝔤_{0}} par rapport à la bonne suite 𝔰_{0} . Nous avons alors que

B(ϕ) = B(ϕ_{0}) · exp(ℝB_{n}(ϕ)), 𝔤 = 𝔤_{0} ⊕ ℝB_{n}(ϕ),

et donc G/B(ϕ) ≃ G_{0}/B(ϕ_{0}). Nous avons donc deux formes positives ν_{G,B(ϕ)} sur K(G, B(ϕ)) et ν_{G_{0},B(ϕ_{0})} sur K(G_{0}, B(ϕ_{0})).

Les vecteurs {B_{j}(ϕ), j > p, j ∈ I_{n−1}} = {B_{j_{1}}(ϕ), …, B_{j_{m−1}}(ϕ)} constituent une base Y_{0}(ϕ) coexponentielle à 𝔥 dans 𝔟(ϕ_{0}). De la même manière, cette base va nous définir comme dans (3.1.1) une mesure B(ϕ_{0})−invariante d_{B(ϕ_{0}),H} sur l’espace homogène B(ϕ_{0})/H.

4.2. Soit 𝔰 = (𝔞_{j})_{j=0}^{n} une bonne suite de sous-algèbres de 𝔤 adaptée à 𝔥. Pour ϕ ∈ V_{0}, B(ϕ) = exp(𝔟(ϕ)) la polarisation de Vergne en ϕ extraite à partir de 𝔰. Vu que 𝔥 ⊂ 𝔟(ϕ) pour tout ϕ ∈ V_{0} nous avons que

Δ_{B(ϕ),G}(h) = 1 (h ∈ H).

Cela étant, si ξ est un vecteur de C_{c}^{∞}(G/H, f) qui est l’espace des vecteurs C^{∞} qui sont à support compact modulo H et g un point de G, la fonction Φ_{g} sur B(ϕ) définie par:

Φ_{g}(b) = ξ(gb)χ_{ϕ}(b)Δ_{B(ϕ),G}^{−1/2}(b)

vérifie la relation:

Φ_{g}(bh) = Φ_{g}(b) (h ∈ H, b ∈ B(ϕ)).

Nous sommes donc en mesure d’écrire formellement l’intégrale:

T_{𝔟(ϕ),𝔥}ξ(g) = ∫_{B(ϕ)/H} ξ(gb)χ_{ϕ}(b)Δ_{B(ϕ),G}^{−1/2}(b) d_{B(ϕ),H}(b)  (g ∈ G), (4.2.1)

où d_{B(ϕ),H} est la mesure invariante sur l’espace homogène B(ϕ)/H déterminée en (4.1).

Au moins au niveau formel, il est clair que T_{𝔟(ϕ),𝔥}ξ vérifie la condition de covariance (2.3.1) pour ϕ, B(ϕ) et G requise pour appartenir à H(ϕ, 𝔟(ϕ), G) et que T_{𝔟(ϕ),𝔥} commute à l’action de G par translation à gauche. De plus, l’intégrale (4.2.1) converge sur C_{c}^{∞}(G/H, f). Il n’est donc pas éxagéré de dire que le seul problème pour le moment est de prouver que l’intégrale (4.2.1) est en fait une intégrale d’entrelacement isométrique en τ et sa décomposition en irréductibles sous réserve d’une normalisation correcte des mesures sur les espaces homogènes en jeu.

Pour ξ ∈ C_{c}^{∞}(G/H, f), nous allons prouver dans ce qui suit que l’élément T_{𝔟(ϕ),𝔥}ξ est un vecteur C^{∞} pour la représentation π_{ϕ} = Ind_{B(ϕ)}^{G} χ_{ϕ}.

Proposition 4.3. Soit ϕ ∈ V_{0} et B(ϕ) = exp(𝔟(ϕ)) la polarisation de Vergne en ϕ par rapport à la bonne suite 𝔰, alors le vecteur T_{𝔟(ϕ),𝔥}ξ est un vecteur C^{∞} de la représentation π_{ϕ} = Ind_{B(ϕ)}^{G} χ_{ϕ} pour tout ξ ∈ C_{c}^{∞}(G/H, f).

Preuve. Pour ϕ ∈ V_{0} , la fonction

(t_{1}, …, t_{q}) ↦ ∫_{B(ϕ)/H} ξ(exp(t_{q}Z_{i_{q}}) ⋯ exp(t_{1}Z_{i_{1}}) · b)χ_{ϕ}(b)Δ_{B(ϕ),G}^{−1/2}(b) d_{B(ϕ),H}(b)

est à support compact dans ℝ^{q} et donc la fonction T_{𝔟(ϕ),𝔥}ξ est C^{∞} sur G et son support est compact modulo B(ϕ).

Notation 4.4. Prenons V comme dans (3.2.1) et pour tout ϕ ∈ V_{0}, B(ϕ) comme dans (2.5). Nous notons C(V_{0}, L^{2}) l’ensemble des applications

ψ : V_{0} ⟶ ⋃_{ϕ∈V_{0}} L^{2}(G/B(ϕ), ϕ)

telles que (ϕ, g) ↦ ψ(ϕ)(g) soient continues sur V_{0} × G, ψ(ϕ) ∈ L^{2}(G/B(ϕ), ϕ) et qui vérifient

∥ψ∥_{2}^{2} = ∫_{V} ∥ψ(ϕ)∥_{L^{2}(G/B(ϕ),ϕ)}^{2}dλ(ϕ) < ∞.  (4.4.1)

Nous définissons

L^{2}(V , L^{2}) = ∫_{V}^{⊕} L^{2}(G/B(ϕ), ϕ)dλ(ϕ)

comme étant le complété de C(V_{0}, L^{2}) pour la norme ∥ ∥_{2}.

Soit {Z_{i_{1}}, …, Z_{i_{q}}}, i_{1} < ⋯ < i_{q} la base coexponentielle à 𝔟(ϕ) dans 𝔤 pour tout ϕ ∈ V_{0} déterminée dans le lemme (4.1.1). Nous définissons C_{c}^{∞}(V_{0}, C_{c}) comme étant le sous-espace de C(V_{0}, L^{2}) formé de tous les éléments ψ telles que (ϕ, g) ↦ ψ(ϕ)(g) soient C^{∞} sur V_{0} × G et tels que l’application

(ϕ, t_{1}, …, t_{q}) ↦ ψ(ϕ)(exp(t_{q}Z_{i_{q}}) ⋯ exp(t_{1}Z_{i_{1}}) )

est C^{∞} à support compact sur V_{0}×ℝ^{q}. La relation (4.4.1) devient alors évidente pour les éléments de C_{c}^{∞}(V_{0}, C_{c}). Il est clair que ce dernier espace est dense dans L^{2}(V , L^{2}).

Maintenant nous sommes prêts pour prouver notre théorème principal.

Théorème 4.5. Soit G = exp 𝔤 un groupe de Lie résoluble exponentiel d’algèbre de Lie 𝔤. Soit H = exp(𝔥) un sous-groupe normal de G et f un point de 𝔤^{⋆} telle que f([𝔥, 𝔥]) = 0, et τ = Ind_{H}^{G} χ_{f}. Soit 𝔰 = (𝔞_{j})_{j=0}^{n} une bonne suite de sous-algèbres de 𝔤 adaptée à 𝔥 et B = {X_{1}, …, X_{r}}, une base coexponentielle à 𝔥 dans 𝔤 extraite de cette suite. V ⊂ Γ_{f} étant le sous-espace affine décrit en (3.2.1) et dλ sa mesure. Soit V_{0} l’ouvert de Zariski de V décrit en (4.1), et pour ϕ ∈ V_{0}, B(ϕ) = exp(𝔟(ϕ)) la polarisation de Vergne en ϕ par rapport à 𝔰. Alors nous avons que

τ ≃ ∫_{V}^{⊕} π_{ϕ,B(ϕ)}dλ(ϕ).  (4.5.1)

L’opérateur U défini pour tout ξ ∈ C_{c}^{∞}(G/H, f) par :

U(ξ)(ϕ) = T_{𝔟(ϕ),𝔥}ξ

est linéaire isométrique, à valeurs dans C(V_{0}, L^{2}) et se prolonge par continuité sur H(f, 𝔥, G) en un opérateur d’entrelacement isométrique de (4.5.1), lorsque les mesures sur G/B(ϕ) et sur B(ϕ)/H sont convenablement normalisées comme dans (4.1).

Preuve. Notons tout d’abord que (4.5.1) est un résultat immédiat du Théorème (2.8). D’autre part, il est clair que l’opérateur U du théorème entrelace formellement (4.5.1).

Soit ξ ∈ C_{c}^{∞}(G/H, f) et ϕ ∈ V_{0} . Soit Y (ϕ) = {B_{j_{1}}(ϕ), …, B_{j_{m}}(ϕ)} la base coexponentielle à 𝔥 dans 𝔟(ϕ) construite dans (4.1.2), nous avons pour g ∈ G que

U(ξ)(ϕ)(g) =

∫_{ℝ^{m}} ξ(g exp(t_{m}B_{j_{m}}(ϕ)) ⋯ exp(t_{1}B_{j_{1}}(ϕ)))e^{−iϕ(t_{m}B_{jm} (ϕ)+···+t_{1}B_{j_{1}} (ϕ))}

Δ_{B(ϕ),G}^{− \frac{1}{2}}( exp(t_{m}B_{j_{m}}(ϕ)) ⋯ exp(t_{1}B_{j_{1}}(ϕ)))dt_{m} ⋯ dt_{1}.

Il en résulte que (ϕ, g) ↦ U(ξ)(ϕ)(g) est manifestement continue sur V_{0} × G. Nous allons raisonner par récurrence sur dim (G/H) et nous allons prouver que U est une isométrie ce qui va nous conduire au fait que U(ξ) ∈ C(V_{0}, L^{2}).

Nous notons dans toute la preuve V^{0} = V_{0}_{|𝔤_{0}} et nous allons distinguer deux cas différents, le premier cas arrive lorsque pour tout ϕ ∈ V_{0} le stabilisateur 𝔤(ϕ) est inclu dans 𝔤_{0} . Dans ce cas, pour ϕ_{0} = ϕ_{|𝔤_{0}} , π_{ϕ} = Ind_{G_{0}}^{G} π_{ϕ_{0}} est irréductible et donc l’indice r ∈ K^{H}. En plus, l’application ϕ ↦ ϕ_{0} = ϕ_{|𝔤_{0}} est un isomorphisme d’espace affine qui respecte les mesures dλ sur V et dλ^{0} sur V^{0} . De même, la polarisation de Vergne 𝔟(ϕ) est encore incluse dans 𝔤_{0} pour tout ϕ ∈ V_{0} et elle est égale à la polarisation de Vergne 𝔟(ϕ_{0}) en ϕ_{0} dans 𝔤_{0} par rapport à la bonne suite de sous-algèbres 𝔰_{0} qui est adaptée à 𝔥.

Tout élément g de G s’écrit de manière unique sous la forme g = exp(tX) · g_{0} , avec t ∈ ℝ, et g_{0} ∈ G_{0} . Pour une fonction ξ sur G, nous notons ξ_{t} la fonction sur G_{0} définit par ξ_{t}(g_{0}) = ξ(exp(tX)g_{0}) pour tout g_{0} ∈ G_{0} . Nous notons f_{0} = f_{|𝔤_{0}} .

Vu que

Δ_{B(ϕ_{0}),G}(b) = Δ_{B(ϕ_{0}),G_{0}}(b), b ∈ B(ϕ_{0}),  (4.5.2)

nous avons pour tout ξ ∈ C_{c}^{∞}(G/H, f) que

U(ξ)(ϕ)(g) = T_{𝔟(ϕ),𝔥}ξ(g) = T_{𝔟(ϕ_{0}),𝔥}ξ_{t}(g_{0}) = U_{0}(ξ_{t})(ϕ_{0})(g_{0}).  (4.5.3)

Ajoutons que la mesure d_{G,H} sur G/H, définie à partir de la base de Malcev B est égale à la mesure définie à partir de la mesure venant de la base de Malcev {X}∪B_{0} . Nous avons donc pour tout η ∈ C_{c}^{∞}(G_{0}/H, f_{0}) via l’hypothèse de récurrence

∥η∥_{L^{2}(G_{0}/H,f_{0})}^{2} = ∫_{V_{0}} ∥T_{𝔟(ϕ_{0}),𝔥}η∥_{L^{2}(G_{0}/B(ϕ_{0}),ϕ_{0})}^{2}dλ^{0}(ϕ_{0}).

et donc pour tout ξ ∈ C_{c}^{∞}(G/H, f)

∥U(ξ)∥_{2}^{2} = ∫_{V} ∥U(ξ)(ϕ)∥_{L^{2}(G/B(ϕ),ϕ)}^{2}dλ(ϕ)= ∫_{V} ∥T_{𝔟(ϕ),𝔥}ξ∥_{L^{2}(G/B(ϕ),ϕ)}^{2}dλ(ϕ)

= ∫_{ℝ} ∫_{V_{0}} ∥T_{𝔟(ϕ_{0}),𝔥}ξ_{t}∥_{L^{2}(G_{0}/B(ϕ_{0}),ϕ_{0})}^{2}dλ^{0}(ϕ_{0})dt

(nous appliquons l’hypothèse de récurrence sur G_{0} )

= ∫_{ℝ} ∥ξ_{t}∥_{L^{2}(G_{0}/H,f_{0})}^{2}dt = ∥ξ∥_{L^{2}(G/H,f)}^{2}.

Passons au second cas qui arrive lorsque l’indice r ∈ L^{H}, c. à d. les G− orbites associées aux éléments en position générales ne sont pas saturées par rapport à 𝔤_{0} . Nous avons alors que

V_{0} = {ϕ + sX^{⋆}, s ∈ ℝ, ϕ ∈ V_{0}, ϕ(X) = 0} ≃ V^{0} × ℝ.

Remarquons dans ce cas que pour tout ϕ ∈ V_{0} , 𝔤(ϕ) n’est pas inclu dans 𝔤_{0} et donc il en est de même pour les polarisations 𝔟(ϕ). Comme dans (4.1.1.2)

𝔟(ϕ_{0}) = 𝔟(ϕ) ∩ 𝔤_{0}

est la polarisation de Vergne en ϕ_{0} = ϕ_{|𝔤_{0}} dans 𝔤_{0} par rapport à la bonne suite 𝔰_{0} et que 𝔟(ϕ) = 𝔟(ϕ_{0}) ⊕ ℝB_{n}(ϕ), où

B_{n}(ϕ) = X + Z_{0}(ϕ)

et Z_{0}(ϕ) ∈ 𝔤_{0} ne dépend que de ϕ_{0} d’aprés (4.1.1). Pour ϕ ∈ V_{0} , nous pouvons écrire que ϕ = ϕ_{0}+sX^{⋆} où ϕ_{0}+sX^{⋆} est la forme linéaire sur 𝔤 dont la restriction sur 𝔤_{0} est ϕ_{0} et la valeur en X est s.

La formule (4.5.2) est encore vraie dans ce cas et nous avons pour ξ ∈ C_{c}^{∞}(G/H, f) que

T_{𝔟(ϕ),𝔥}ξ(g) = ∫_{B(ϕ)/H} ξ(gb)χ_{ϕ}(b)Δ_{B(ϕ),G}^{−1/2}(b) d_{B(ϕ),H}(b)

= ∫_{ℝ} ∫_{B(ϕ_{0})/H} ξ(g exp(tB_{n}(ϕ))b_{0})χ_{ϕ_{0}}(b_{0})e^{−its}Δ_{B(ϕ),G}^{−1/2}(exp(tB_{n}(ϕ)))

e^{−itϕ_{0}(Z_{0}(ϕ))}Δ_{B(ϕ_{0}),G_{0}}^{−1/2}(b_{0}) d_{B(ϕ_{0}),H}(b_{0})dt

= ∫_{ℝ} T_{𝔟(ϕ_{0}),𝔥}ξ(g exp(tB_{n}(ϕ)))e^{−its}Δ_{B(ϕ),G}^{−1/2}(exp(tB_{n}(ϕ)))e^{−itϕ_{0}(Z_{0}(ϕ))}dt (4.5.4).

Pour tout ξ ∈ C_{c}^{∞}(G/H, f) nous avons que

∥ξ∥_{L^{2}(G/H,f)}^{2} = ∫_{ℝ} ∥ξ_{t}∥_{L^{2}(G_{0}/H,f_{0})}^{2}dt

(nous appliquons l’hypothèse de récurrence sur G_{0} )

= ∫_{ℝ} ∫_{V_{0}} ∮_{G_{0}/B(ϕ_{0})} |T_{𝔟(ϕ_{0}),𝔥}ξ_{t}(g_{0})|^{2}dν_{G_{0},B(ϕ_{0})}(g_{0})dλ^{0}(ϕ_{0})dt

= ∫_{V_{0}} ∫_{ℝ} ∮_{G_{0}/B(ϕ_{0})} |T_{𝔟(ϕ_{0}),𝔥}ξ(exp(tX)g_{0})|^{2}dν_{G_{0},B(ϕ_{0})}(g_{0})dtdλ^{0}(ϕ_{0})

(nous appliquons le lemme (2.2) )

= ∫_{V_{0}} ∮_{G/B(ϕ_{0})} |T_{𝔟(ϕ_{0}),𝔥}ξ(g)|^{2}dν_{G,B(ϕ_{0})}(g)dλ^{0}(ϕ_{0}) (4.5.5)

(nous appliquons encore le lemme (2.2) )

= ∫_{V_{0}} ∮_{G_{0}/B(ϕ_{0})} ∫_{ℝ} |T_{𝔟(ϕ_{0}),𝔥}ξ(g_{0} exp(sB_{n}(ϕ)))Δ_{B(ϕ),G}^{−1/2}(exp(sB_{n}(ϕ)))|^{2}ds

dν_{G_{0},B(ϕ_{0})}(g_{0})dλ^{0}(ϕ_{0})

= ∫_{V_{0}} ∮_{G_{0}/B(ϕ_{0})} ∫_{ℝ} |T_{𝔟(ϕ_{0}),𝔥}ξ(g_{0} exp(sB_{n}(ϕ)))Δ_{B(ϕ),G}^{−1/2}(exp(sB_{n}(ϕ)))

e^{−isϕ_{0}(Z_{0}(ϕ))}|^{2}dsdν_{G_{0},B(ϕ_{0})}(g_{0})dλ^{0}(ϕ_{0})

(nous appliquons la formule de Plancherel)

= ∫_{V_{0}} ∮_{G_{0}/B(ϕ_{0})} ∫_{ℝ} | ∫_{ℝ} T_{𝔟(ϕ_{0}),𝔥}ξ(g_{0} exp(tB_{n}(ϕ)))Δ_{B(ϕ),G}^{−1/2}(exp(tB_{n}(ϕ)))

e^{−its}e^{−itϕ_{0}(Z_{0}(ϕ))}dt|^{2}dsdν_{G_{0},B(ϕ_{0})}(g_{0})dλ^{0}(ϕ_{0})

= ∫_{V_{0}} ∫_{ℝ} ∮_{G/B(ϕ_{0}+sX^{⋆})} |T_{𝔟(ϕ_{0}+sX^{⋆}),𝔥}ξ(g)|^{2}dν_{G,B(ϕ_{0}+sX^{⋆})}(g)dsdλ^{0}(ϕ_{0})

= ∫_{V} ∥T_{𝔟(ϕ),𝔥}ξ∥_{L^{2}(G/B(ϕ),ϕ)}^{2}dλ(ϕ) = ∫_{V} ∥U(ξ)(ϕ)∥_{L^{2}(G/B(ϕ),ϕ)}^{2}dλ(ϕ) = ∥U(ξ)∥_{2}^{2}.

Notons que la base X′(ϕ) = X_{0}(ϕ)∪{B_{n}(ϕ)} est coexponentielle à 𝔟(ϕ_{0}) dans 𝔤, et donc elle nous permet de construire la forme positive ν_{G,B(ϕ_{0})} avec laquelle l’intégrale de la ligne (4.5.5) à été calculée. Donc U est une isométrie sur C_{c}^{∞}(G/H, f) qui est en fait une partie dense de L^{2}(G/H, f), il existe donc une extension unique Ū de U en une isométrie sur H(f, 𝔥, G) tout entier. Nous la notons toujours U. La relation de covariance voulue étant requise sur l’espace tout entier, ce qui achève la preuve.

Nous avons vu dans [2] par un exemple dans le cas nilpotent qu’on ne peut pas prendre n’importe quel choix de polarisations pour obtenir un opérateur d’entrelacement.

4.6. Nous allons prouver maintenant que les formules (4.5.3) et (4.5.4) établies dans la preuve du théorème sur C_{c}^{∞}(G/H, f) sont vraies sur L^{2}(G/H, f) tout entier. Nous reprendrons les cas étudiés dans le théorème précédent.

4.6.1. Dans le premier cas, il est clair que L^{2}(G/H, f) ≃ L^{2}(ℝ, L^{2}(G_{0}/H, f_{0})) et que

∫_{V} L^{2}(G/B(ϕ), ϕ)dλ(ϕ) ∫_{V_{0}} L^{2}(ℝ, L^{2}(G_{0}/B(ϕ_{0}), ϕ_{0}))dλ^{0}(ϕ_{0}).

Ainsi, U = Ũ_{0} ∘ W, où W : L^{2}(G/H, f) → L^{2}(ℝ, L^{2}(G_{0}/H, f)) est le champs d’opérateurs définie par

W (ξ)(t)(g_{0}) = ξ(exp(tX) · g_{0}) = ξ_{t}(g_{0}), g_{0} ∈ G_{0}

et Ũ_{0}(ξ)(t)(g_{0}) = U_{0}(ξ_{t})(g_{0}).

4.6.2. Passons au deuxième cas, soit ϕ ∈ V_{0} et ϕ_{0} = ϕ_{|𝔤_{0}} . Alors ϕ = ϕ_{s} = ϕ_{0} +sX^{⋆} pour un certain s ∈ ℝ. Pour η ∈ C_{c}^{∞}(G/B(ϕ_{0}), ϕ_{0}), soit η^{s} la fonction définie sur G par

η^{s}(g) = ∫_{ℝ} η(g exp(tB_{n}(ϕ)))e^{−its}Δ_{B(ϕ),G}^{−1/2}(exp(tB_{n}(ϕ)))e^{−itϕ_{0}(Z_{0}(ϕ))}dt, g ∈ G.

Alors il est clair que la fonction η^{s} existe pour tout s ∈ ℝ, en plus elle vérifie la relation de covariance (2.3.1) pour G, B(ϕ_{s}) et ϕ_{s}. Vu que G/B(ϕ_{s}) ≃ G_{0}/B(ϕ_{0}), un raisonnement analogue à celui de la proposition (4.3) nous conduit au fait que η^{s} ∈ C_{c}^{∞}(G/B(ϕ_{s}), ϕ_{s}) et donc η^{s} ∈ L^{2}(G/B(ϕ_{s}), ϕ_{s}). Remarquons que s ↦ η^{s}(g) est une fonction de Schwartz pour tout g ∈ G et donc ∫_{ℝ} η^{s}(g)ds = ∫_{ℝ^{2}} η(g exp(tB_{n}(ϕ)))e^{−its}Δ_{B(ϕ),G}^{−1/2}(exp(tB_{n}(ϕ)))e^{−itϕ_{0}(Z_{0}(ϕ))}dtds

= η(g). D’autre part, nous avons que

∥η∥_{L^{2}(G/B(ϕ_{0}),ϕ_{0})}^{2}= ∮_{G/B(ϕ_{0})} |η(g)|^{2}dν_{G,B(ϕ_{0})}(g) (nous appliquons le lemme (2.2) ) = ∮_{G/B(ϕ_{s})} ∫_{ℝ} |η(g exp(tB_{n}(ϕ)))|^{2}Δ_{B(ϕ_{s}),G}^{−1}(exp(tB_{n}(ϕ)))dtdν_{G,B(ϕ_{s})}(g)

= ∮_{G_{0}/B(ϕ_{0})} ∫_{ℝ} |η(g_{0} exp(tB_{n}(ϕ)))Δ_{B(ϕ),G}^{−1/2}(exp(tB_{n}(ϕ)))e^{−itϕ_{0}(Z_{0}(ϕ))}|^{2}dt

dν_{G_{0},B(ϕ_{0})}(g_{0})

(nous appliquons le théorème de Plancherel) = ∮_{G_{0}/B(ϕ_{0})} ∫_{ℝ} | ∫_{ℝ} η(g_{0} exp(tB_{n}(ϕ)))e^{−its}Δ_{B(ϕ),G}^{−1/2}(exp(tB_{n}(ϕ)))

e^{−itϕ_{0}(Z_{0}(ϕ))}dt|^{2}dsdν_{G_{0},B(ϕ_{0})}(g_{0})

= ∮_{G_{0}/B(ϕ_{0})} ∫_{ℝ} |η^{s}(g_{0})|^{2}dsdν_{G_{0},B(ϕ_{0})}(g_{0}) = ∫_{ℝ} ∥η^{s}∥_{L^{2}(G/B(ϕ_{s}),ϕ_{s})}^{2}ds. Par extension, nous pouvons déduire que

L^{2}(G/B(ϕ_{0}), ϕ_{0}) ≃ ∫_{ℝ}^{⊕} L^{2}(G/B(ϕ_{s}), ϕ_{s})ds.

Notons Ψle champs d’opérateurs

Ψ : L^{2}(G/B(ϕ_{0}), ϕ_{0}) → ∫_{ℝ}^{⊕} L^{2}(G/B(ϕ_{s}), ϕ_{s})ds, η ↦ Ψ(η)(s) = η^{s}. Soit encore l’opérateur Ũ^{0} défini sur L^{2}(G/H, f) par

Ũ^{0}(ξ)(ϕ_{0})(exp(tX) · g_{0}) = U_{0}(ξ_{t})(ϕ_{0})(g_{0}).

Il n’est pas difficile de vérifier que pour presque tout ϕ_{0} ∈ V^{0} , Ũ^{0}(ξ)(ϕ_{0}) est dans l’espace L^{2}(G/B(ϕ_{0}), ϕ_{0}). Nous avons alors sur L^{2}(G/H, f) que

U = Ψ ∘ Ũ^{0}.

Le paragraphe suivant consiste à démontrer que l’opérateur U est inversible.

Théorème 4.7. Nous gardons les mêmes hypothèses et les notations que dans le théorème (4.5). Alors l’opérateur d’entrelacement U décrit dans ce théorème est inversible. Son inverse V = U^{−1} est donné pour tout K ∈ C_{c}^{∞}(V_{0}, C_{c}) et g ∈ G par:

V (K)(g) = ∫_{V} K(ϕ)(g)dλ(ϕ).

Preuve. Il est clair que V entrelace formellement la formule (4.5.1) et que V (K) possède la relation de covariance (2.3.2) pour 𝔤, 𝔥 et f. Nous allons démontrer donc que pour K ∈ C_{c}^{∞}(V_{0}, C_{c}), V (K) est un élément de L^{2}(G/H, f). Nous démontrerons en fait que V est une isométrie sur C_{c}^{∞}(V_{0}, C_{c}), et comme dans la preuve du théorème précédent nous pouvons l’étendre de manière unique sur L^{2}(V , L^{2}) tout entier en une isométrie V̄ que nous notons toujours V .

Nous raisonnons comme avant par récurrence sur dim(G/H) et nous gardons toutes les notations du Théorème (4.5). Montrons que

∥V (K)∥_{L^{2}(G/H,f)}^{2} = ∫_{V} ∥K(ϕ)∥_{L^{2}(G/B(ϕ),ϕ)}^{2}dλ(ϕ).

Dans le premier cas ou presque toutes les orbites des éléments en position générale sont saturées par rapport à 𝔤_{0} nous avons pour g = exp(tX)g_{0} que

V (K)(g) = ∫_{V} K(ϕ)(exp(tX)g_{0})dλ(ϕ) = ∫_{V_{0}} K_{t}(ϕ_{0})(g_{0})dλ^{0}(ϕ_{0})

= V_{0}(K_{t})(g_{0}) = V (K)_{t}(g_{0}), (4.7.1)

où K_{t}(ϕ_{0}) = (K(ϕ))_{t}. Ainsi

∥V (K)∥_{L^{2}(G/H,f)}^{2} = ∫_{ℝ} ∥V (K)_{t}∥_{L^{2}(G_{0}/H,f_{0})}^{2}dt

(nous appliquons (4.7.1) )

= ∫_{ℝ} ∥V_{0}(K_{t})∥_{L^{2}(G_{0}/H,f_{0})}^{2}dt

(nous appliquons l’hypothèse de récurrence)

= ∫_{ℝ} ∫_{V_{0}} ∥K_{t}(ϕ_{0}) = ∥_{L^{2}(G_{0}/B(ϕ_{0}),ϕ_{0})}^{2}dλ^{0}(ϕ_{0})dt = ∥K∥_{2}^{2}.

Passons au deuxième cas, nous allons prouver tout d’abord ce lemme.

Lemme 4.7.1. Supposons que nous sommes dans ce deuxième cas. Soit K ∈ C_{c}^{∞}(V_{0}, C_{c}). Pour ϕ_{0} ∈ V^{0} et r ∈ ℝ, nous notons comme dans (4.5) et (4.6.2) ϕ_{0} + rX^{⋆} la forme linéaire sur 𝔤 dont la restriction à 𝔤_{0} est ϕ_{0} et dont la valeur en X est r. La fonction K_{1} définie sur V^{0} × G par

K_{1}(ϕ_{0})(g) = ∫_{ℝ} K(ϕ_{0} + rX^{⋆})(g)dr, ϕ_{0} ∈ V^{0}, g ∈ G

est C^{∞} dont la restriction à V^{0} × G_{0} est dans C_{c}^{∞}(V^{0}, C_{c}).

Preuve. Il est clair que K_{1} existe, car pour ϕ_{0} ∈ V^{0} ⊂ 𝔤_{0}^{⋆} fixé, l’application r ↦ K(ϕ_{0} + rX^{⋆})(g) est continue à support compact dans ℝ. Il est clair que l’application (ϕ_{0}, g) ↦ K_{1}(ϕ_{0})(g) est C^{∞} sur V^{0} × G. D’autre part et d’aprés ce qui précède, la base {Z_{i_{1}}, …, Z_{i_{q}}}, i_{1} < ⋯ < i_{q} est coexponentielle à 𝔟(ϕ) dans 𝔤 pour tout ϕ ∈ V_{0} et à 𝔟(ϕ_{0}) dans 𝔤_{0} pour tout ϕ_{0} ∈ V^{0} . Ainsi, vu que l’application

(ϕ, t_{1}, …, t_{q}) ↦ K(ϕ)(exp(t_{q}Z_{i_{q}}) ⋯ exp(t_{1}Z_{i_{1}}))

est C^{∞} à support compact dans V_{0} × ℝ^{q}, l’application

(ϕ_{0}, t_{1}, …, t_{q}) ↦ K_{1}(ϕ_{0}, exp(t_{q}Z_{i_{q}}) ⋯ exp(t_{1}Z_{i_{1}}))

sera C^{∞} à support compact sur V^{0} × ℝ^{q}.

La relation de covariance voulue se déduit de celle de K(ϕ_{0} + rX^{⋆}) et de la relation (4.5.2).

Retournons à la suite de la preuve du théorème. Soit g = exp(tX)g_{0} ∈ G, nous avons que

V (K)(g) = ∫_{V} K(ϕ)(g)dλ(ϕ) = ∫_{V_{0}} ∫_{ℝ} K(ϕ_{0} + sX^{⋆})(exp(tX)g_{0})dsdλ^{0}(ϕ_{0})

= ∫_{V_{0}} K_{t,1}(ϕ_{0})(g_{0})dλ^{0}(ϕ_{0})V_{0}(K_{t,1})(g_{0}), (4.7.2)

où K_{t,1}(ϕ_{0})(g_{0})= ∫_{ℝ} K_{t}(ϕ_{0} + rX^{⋆})(g_{0})dr.

Vu que la fonction r ↦ K(ϕ_{0} + rX^{⋆})(g) est C^{∞} à support compact, nous avons d’aprés le théorème d’inversion de Fourier que

K(ϕ_{0} + rX^{⋆})(g) = ∫_{ℝ^{2}} K(ϕ_{0} + xX^{⋆})(g)e^{ixt}e^{−irt}dtdx

= ∫_{ℝ^{2}} K(ϕ_{0} + xX^{⋆})(g exp(tB_{n}(ϕ)))Δ_{B(ϕ),G}^{−1/2}(exp(tB_{n}(ϕ)))
e^{−itϕ_{0}(Z_{0}(ϕ))}e^{−irt}dtdx

= ∫_{ℝ} K_{1}(ϕ_{0})(g exp(tB_{n}(ϕ)))Δ_{B(ϕ),G}^{−1/2}(exp(tB_{n}(ϕ)))

e^{−itϕ_{0}(Z_{0}(ϕ))}e^{−irt}dt (4.7.3).

Il en résulte que pour ϕ_{r} = ϕ_{0} + rX^{⋆}, nous avons que

∫_{ℝ} |K(ϕ_{r})(g)|^{2}dr = ∫_{ℝ} |K_{1}(ϕ_{0})(g exp(tB_{n}(ϕ)))|^{2}Δ_{B(ϕ),G}^{−1}(exp(tB_{n}(ϕ)))dt.
(4.7.4)

Ainsi nous avons que ∥K∥_{2}^{2} = ∫_{V} ∥K(ϕ)∥_{L^{2}(G/B(ϕ),ϕ)}^{2}dλ(ϕ).

= ∫_{V_{0}} ∫_{ℝ} ∮_{G/B(ϕ_{r})} |K(ϕ_{r})(u)|^{2}dν_{G,B(ϕ_{r})}(u)drdλ^{0}(ϕ_{0})

= ∫_{V_{0}} ∫_{ℝ} ∮_{G_{0}/B(ϕ_{0})} |K(ϕ_{r})(u_{0})|^{2}dν_{G_{0},B(ϕ_{0})}(u_{0})drdλ^{0}(ϕ_{0})

(nous appliquons (4.7.4) )

= ∫_{V_{0}} ∮_{G_{0}/B(ϕ_{0})} ∫_{ℝ} |K_{1}(ϕ_{0})(g_{0} exp(tB_{n}(ϕ)))|^{2}Δ_{B(ϕ),G}^{−1}(exp(tB_{n}(ϕ)))dt

dν_{G_{0},B(ϕ_{0})}(g_{0})dλ^{0}(ϕ_{0})

(nous appliquons le lemme (2.2) )

= ∫_{V_{0}} ∮_{G/B(ϕ_{0})} |K_{1}(ϕ_{0})(g)|^{2}dν_{G,B(ϕ_{0})}(g)dλ^{0}(ϕ_{0})

= ∫_{V_{0}} ∫_{ℝ} ∮_{G_{0}/B(ϕ_{0})} |K_{t,1}(ϕ_{0})(g_{0})|^{2}dν_{G_{0},B(ϕ_{0})}(g_{0})dtdλ^{0}(ϕ_{0})

= ∫_{ℝ} ∫_{V_{0}} ∮_{G_{0}/B(ϕ_{0})} |K_{t,1}(ϕ_{0})(g_{0})|^{2}dν_{G_{0},B(ϕ_{0})}(g_{0})dλ^{0}(ϕ_{0})dt

(nous appliquons l’hypothèse de récurrence, ensuite (4.7.2)

= ∫_{ℝ} ∥V_{0}(K_{t,1})∥_{L^{2}(G_{0}/H,f)}^{2}dt = ∥V (K)∥_{L^{2}(G/H,f)}^{2}.

Nous allons prouver dans cette dernière étape que U ∘ V = Id, ce qui va impliquer que l’opérateur U est surjectif donc inversible et que son inverse est V . Nous allons prouver cette égalité sur C_{c}^{∞}(V_{0}, C_{c}) qui est une partie dense, et donc nous aurons le résultat partout.

Nous raisonnons encore par récurrence sur dim(G/H).

Soit ϕ ∈ V_{0} , g = exp(tX) · g_{0} ∈ G et K ∈ C_{c}^{∞}(V_{0}, C_{c}), nous avons d’aprés (4.6.1) et (4.7.1) que pour le premier cas:

U ∘ V (K)(ϕ)(g) = U_{0} ∘ V_{0}(K_{t})(ϕ_{0})(g_{0})

(nous appliquons l’hypothèse de récurrence)

= K_{t}(ϕ_{0})(g_{0}) = K(ϕ)(exp(tX)g_{0}) = K(ϕ)(g).

Passons au second cas. Nous pouvons écrire que ϕ = ϕ_{r} pour un certain r ∈ ℝ. D’aprés (4.7.3) nous avons pour g = exp(tX)g_{0} que K(ϕ_{0} + rX^{⋆})(g) = ∫_{ℝ} K_{1}(ϕ_{0})(g exp(sB_{n}(ϕ)))Δ_{B(ϕ),G}^{−1/2}(exp(sB_{n}(ϕ)))

e^{−isϕ_{0}(Z_{0}(ϕ))}e^{−irs}ds

(nous appliquons l’hypothèse de récurrence)

= ∫_{ℝ} U_{0} ∘ V_{0}(K_{t,1})(ϕ_{0})(g_{0} exp(sB_{n}(ϕ)))Δ_{B(ϕ),G}^{−1/2}(exp(sB_{n}(ϕ)))

e^{−isϕ_{0}(Z_{0}(ϕ))}e^{−irs}ds

(nous appliquons (4.6.2) et (4.7.2))

= U ∘ V (K)(ϕ_{0} + rX^{⋆})(g).

Ce qui achève la preuve du théorème (4.7).

5. Applications

5.1. Nouvelle désintégration (rationnelle) de L^{2}(G). Soit G un groupe de Lie résoluble exponentiel d’algèbre de Lie 𝔤, on sait que Ind_{{e}}^{G} 1 est la représentation régulière gauche λ_{G} qui se réalise sur L^{2}(G) par

λ_{G}(g)ξ(x) = ξ(g^{−1}x)

pour tout g, x ∈ G et ξ ∈ L^{2}(G). Ici donc f = 0 et Γ_{f} = 𝔤^{⋆}. Soit donc une bonne suite de sous-algèbre de 𝔤

𝔞_{0} = {0} ⊂ 𝔞_{1} ⊂ 𝔞_{2} ⊂ ⋯ ⊂ 𝔞_{n} = 𝔤  (5.1.1)

à laquelle nous associons une base de Malcev B = {X_{1}, X_{2}, …, X_{n}} de 𝔤, X_{i} ∈ 𝔞_{i} \ 𝔞_{i−1} . Dans ce cas et suivant la définition (3.2) nous avons que K^{{e}} est l’ensemble de tous les j ∈ {1, …, n} tels que presque toutes les A_{j} -orbites sont saturées par rapport à 𝔞_{j−1} ; il en découle que V = {ϕ ∈ 𝔤^{⋆} : ⟨ϕ, X_{j}⟩ = 0, j ∈ K^{{e}}}. Soit ϕ ∈ V , nous notons ϕ_{i} = ϕ_{|𝔞_{i}}, soit B(ϕ) la polarisation de Vergne en ϕ par rapport à la suite de Jordan-Hölder (5.1.1), nous notons 𝔟(ϕ) la sous-algèbre associée à B(ϕ) qui est en fait égale à

𝔟(ϕ) = ∑_{i=1}^{n} 𝔞_{i}(ϕ_{i}),

en outre, nous savons d’aprés la condition de Pukanszky (Théorème 2.4) que

Ad^{⋆}(B(ϕ))ϕ = ϕ + 𝔟(ϕ)^{⊥}.

Soit μ_{G} la mesure de Haar sur G, nous obtenons la désintégration rationnelle de L^{2}(G) suivante:

(L^{2}(G), μ_{G}) ≃ ∫_{V}^{⊕} (L^{2}(G/B(ϕ), ϕ))dλ(ϕ).

L’isométrie est donnée par:

U(ξ)(ϕ)(g) = ∫_{B(ϕ)} ξ(gu)χ_{ϕ}(u)Δ_{B(ϕ),G}^{− \frac{1}{2}}(u)d_{B(ϕ)}(u), g ∈ G

où ξ ∈ C_{c}^{∞}(G) l’ensemble des fonctions C^{∞} à support compact dans G et ϕ ∈ V , d_{B(ϕ)} étant la mesure de Haar sur B(ϕ).

Exemples 5.2. Soit G le groupe de Boidol, son algèbre de Lie 𝔤 est engendrée par les vecteurs A, X, Y, Z tels que [A, X] = X, [A, Y] = −Y, [X, Y] = Z. Soit H = exp(𝔥) = exp(ℝZ) le sous-groupe analytique de G.

5.2.1. Nous posons f = λZ^{⋆}, λ ≠ 0. La bonne suite de sous- algèbres passant par 𝔥 est

𝔥 = ℝZ ⊂ vect(Z, Y) ⊂ vect(Z, Y, X) ⊂ 𝔤.

Il est clair que

V ≃ f + ℝY^{⋆} ⊕ ℝA^{⋆}.

Nous posons V_{0} = V et nous notons par ϕ_{α,β} l’élément λZ^{⋆} + αY^{⋆} + βA^{⋆}. La polarisation de Vergne en un élément ϕ_{α,β} de V_{0} est

B(ϕ_{α,β}) = exp(𝔟(ϕ_{α,β})) = exp(vect(Z, Y, A + \frac{α}{λ}X)).

L’expression de notre opérateur est

U(ξ)(ϕ_{α,β})(g) = ∫_{ℝ^{2}} ξ(g · exp(t(A + \frac{α}{λ}X)) exp(sY))e^{−itβ}e^{−iαs}e^{− \frac{t}{2}} dtds,

où ξ est C^{∞} sur G à support compact modulo H et g ∈ G. Vérifions bien que U est une isométrie

∥U(ξ)∥_{2}^{2} = ∫_{ℝ^{2}} ∫_{ℝ} |U(ξ)(ϕ_{α,β})(exp(xX))|^{2}dxdαdβ

= ∫_{ℝ^{3}} | ∫_{ℝ^{2}} ξ(exp(xX)· exp(t(A + \frac{α}{λ}X)) exp(sY))e^{−itβ}e^{−iαs}e^{− \frac{t}{2}}

dtds|^{2}dxdαdβ

= ∫_{ℝ^{3}} | ∫_{ℝ} ξ(exp(xX) · exp(β(A + \frac{α}{λ}X)) exp(sY))e^{−iαs}ds|^{2}e^{−β}dxdαdβ

= ∫_{ℝ^{3}} | ∫_{ℝ} ξ(exp(xX) · exp(−\frac{α}{λ}X) · exp(βA) · exp(\frac{α}{λ}X) exp(sY))

e^{−iαs}ds|^{2}e^{−β}dxdαdβ = ∫_{ℝ^{3}} |ξ(exp(βA) · exp(e^{−β}xX) · exp(αY))|^{2}e^{−β}dαdxdβ.

= ∫_{ℝ^{3}} |ξ(exp(αY) · exp(xX) exp(βA))|^{2}dαdxdβ = ∥ξ∥_{L^{2}(G/H,f)}^{2}.

L’opérateur inverse est donné pour tout K ∈ C_{c}^{∞}(V_{0}, C_{c}) et g ∈ G par:

V (K)(g) = ∫_{ℝ^{2}} K(ϕ_{α,β})(g)dαdβ.

5.2.2. Soit maintenant H = exp(𝔥) = exp(ℝZ⊕ℝX) le sous-groupe analytique de G. Nous posons f = λZ^{⋆}, λ ≠ 0. La bonne suite de sous- algèbres passant par 𝔥 est

𝔥 = vect(Z, X) ⊂ vect(Z, X, Y) ⊂ 𝔤.

Il est clair que

V ≃ f + ℝA^{⋆}.

Posons V_{0} = V et notons par ϕ_{α} l’élément λZ^{⋆} + αA^{⋆}. La polarisation de Vergne en un élément ϕ_{α} de V_{0} est B(ϕ_{α}) = exp(𝔟(ϕ_{α})) = exp(vect(Z, X, A)).

L’expression de notre opérateur est

U(ξ)(ϕ_{α})(g) = ∫_{ℝ} ξ(g · exp(tA))e^{−itα}e^{\frac{t}{2}} dt,

où ξ est C^{∞} sur G à support compact modulo H et g ∈ G. L’opérateur inverse est donné pour tout K ∈ C_{c}^{∞}(V_{0}, C_{c}) et g ∈ G par:

V (K)(g) = ∫_{ℝ} K(ϕ_{α})(g)dα.

5.2.3. Prenons maintenant H = {e} et f = 0. La bonne suite de sousalgèbres adaptées à 𝔥 qu’on prend est

{0} ⊂ ℝZ ⊂ vect(Z, Y) ⊂ vect(Z, Y, X) ⊂ 𝔤.

Il est clair que

V ≃ ℝZ^{⋆} ⊕ ℝY^{⋆} ⊕ ℝA^{⋆}.

Notons par ϕ_{λ,α,β} l’élément λZ^{⋆} +αY^{⋆} +βA^{⋆}. Posons V_{0} = {ϕ_{λ,α,β} : λ^{2} +α^{2} ≠ 0}. La polarisation de Vergne en un élément ϕ_{λ,α,β} de V_{0} est

B(ϕ_{λ,α,β}) = exp(𝔟(ϕ_{λ,α,β})) = exp(vect(Z, Y, λA + αX)).

L’expression de notre opérateur est

U(ξ)(ϕ_{λ,α,β})(g)

= ∫_{ℝ^{3}} ξ(g · exp(t(λA + αX)) exp(sY) exp(rZ))e^{−itλβ}e^{−iαs}e^{−iλr}e^{− \frac{tλ}{2}} dt ds dr, où ξ est C^{∞} sur G à support compact dans G et g ∈ G.

L’opérateur inverse est donné pour tout K ∈ C_{c}^{∞}(V_{0}, C_{c}) et g ∈ G par:

V (K)(g) = ∫_{ℝ^{3}} K(ϕ_{λ,α,β})(g)dλdαdβ.

Question 5.2.4. Nous ne supposons plus que 𝔥 est un idéal de 𝔤. Soit 𝔤 l’algèbre de ax + b; 𝔤 = ℝX ⊕ ℝY, [X, Y] = Y . Nous prenons f = Y^{⋆} et 𝔥 = ℝX ∈ M(f, 𝔤). Le groupe complètement résoluble G = exp 𝔤 n’a que deux représentations unitaires irréductibles de dimension infinie π_{±} associées à deux orbites ouvertes ±G · Y^{⋆}. La représentation monomiale τ = Ind_{H}^{G} χ_{f}, H exp 𝔥, est équivalente à la somme directe π_{+} ⊕ π_{−}.

Nous réalisons π_{±} comme Ind_{B}^{G} χ_{±Y^{⋆}} où B = exp(ℝY) et nous identifions H_{π_{±}} à L^{2}(ℝ) par l’application

ξ ⟼ ξ̃(t) = ξ(exp tX), (t ∈ ℝ).

Par ailleurs, nous considérons l’opérateur U défini pour un tel ξ et pour un g ∈ G par

U(ξ)(Y^{⋆})(g) = ∫_{ℝ} ξ(g · exp(tY))e^{−it}dt

et

U(ξ)(−Y^{⋆})(g) = ∫_{ℝ} ξ(g · exp(tY))e^{it}dt.

En écrivant tout simplement ξ(t) au lieu de ξ(exp(tY)) et en posant g = exp(bX), ces expressions deviennent

U(ξ)(Y^{⋆})(exp(bX)) = ∫_{ℝ} ξ(t)e^{−ie^{−b}t}e^{− \frac{b}{2}} dt = e^{− \frac{b}{2}} ξ̂(e^{−b})

et U(ξ)(−Y^{⋆})(exp(bX)) = ∫_{ℝ} ξ(t)e^{ie^{b}t}e^{− \frac{b}{2}} dt = e^{− \frac{b}{2}} ξ̂(−e^{−b}).

Nous aurons donc

∥U(ξ)∥_{2}^{2} = ∫_{ℝ} |e^{− \frac{b}{2}} ξ̂(e^{−b})|^{2}db + ∫_{ℝ} |e^{− \frac{b}{2}} ξ̂(−e^{−b})|^{2}db

= ∫_{ℝ} e^{−b}|ξ̂(e^{−b})|^{2}db + ∫_{ℝ} e^{−b}|ξ̂(−e^{−b})|^{2}db

= ∫_{0}^{+∞} |ξ̂(b)|^{2}db + ∫_{−∞}^{0} |ξ̂(b)|^{2}db

= ∫_{ℝ} |ξ(b)|^{2}db = ∥ξ∥_{L^{2}(G/H,f)}^{2}.

Nous remarquons que notre opérateur marche encore dans cette situation. On se pose la question si on peut déterminer une partie V de 𝔤^{⋆} pour laquelle l’opérateur (4.2.1) sera bien défini et entrelace bien (2.7.1)?

Remerciements. Je remercie vivement mon Professeur J. Ludwig pour les discussions que j’ai eues avec lui à propos de ce sujet et le referee pour les suggestions qu’il m’a faites pour la forme finale de cet article.

References

[1] Arnal, D., H. Fujiwara et J. Ludwig, Opérateurs d’entrelacement pour les groupes de Lie exponentiels, Amer. J. Math, 118 (1996), 839–878.

[2] Baklouti, A., et J. Ludwig, Opérateurs d’entrelacement des représentations monomiales des les groupes de Lie nilpotents. Preprint.

[3] Bernat, P., Sur les représentations unitaires des groupes de Lie résolubles, Ann. Scient. Ec. Norm. Sup., 82 (1965), 37–99.

[4] Bernat P. et al, Représentations des groupes de Lie résolubles, Dunod, Paris, 1972.

[5] Fujiwara, H., Représentations monomiales des groupes de Lie résolubles exponentiels, 61–81 dans: Duflo, M., Pedersen, N.V., Vergne, M. (eds), The orbit method in representation theory. Proceeding, Copenhagen 1988: Birkhäuser 1990.

[6] —, Certains opérateurs d’entrelacement pour des groupes de Lie résolubles exponentiels et leurs applications, Mem. Fac. Sci. Kyushu. Univ. Ser. A, 36 (1982), 13–72.

[7] —, Unitary representation theory for solvable Lie groups, Sugaku Expositions, Amer. Math. Soc. 2 (1989), 125–140.

[8] Fujiwara, H., G. Lion et B. Magneron, Opérateurs d’entrelacement et calcul d’obstruction sur des groupes de Lie résolubles, Lect. Notes in Math. (Springer) 880 (1980), 102-137.

[9] Fujiwara H., et S. Yamagami, Certaines représentations monomiales d’un groupe de Lie résoluble exponentiel, Adv. St. Pure Math., 14 (1988), 153– 190.

[10] Grélaud, G., “Sur les représentations des groupes de Lie résolubles,” Thèse, Université de Poitiers, 1984.

[11] —, “Désintégration des representations induites des groupes de Lie résolubles exponentiels,” Thèse de troisième cycle, Univ. de Poitiers, 1973.

[12] Kirillov, A. A., Représentations unitaires des groupes de Lie nilpotents, Uspekhi Math. Nauk, 17 (1962), 57–110.

[13] Leptin, H., and J. Ludwig, “Unitary Representation Theory of Exponential Lie Groups,” De Gruyter Expositions in Mathematics 18, 1994.

[14] Lion, G., Intégrale d’entrelacement sur des groupes de Lie nilpotents et indice de Maslov, Lect. Notes in Math. (Springer) 587 (1977), 160–176.

[15] Lipsman, R. Orbital parameters for induced and restricted representation, Trans. Amer. Math. Soc. 313 (1989), 433–473.

[16] Pukanszky, L. On the theory of exponential groups, Trans. Amer. Math. Soc., 126 (1967), 487–507.

[17] Quint, S. R., “Decomposition of induced representations of solvable exponential Lie groups,” Dissertation, Univ. of California, Berkeley, 1973.

50 Baklouti

[18] Vergne, M., Etudes de certaines représentations induites d’un groupe de Lie résoluble exponentiel, Ann. Scient. Ec. Norm. Sup. 3 (1970), 353–384.

Ali Baklouti Université de Metz, Département de Mathématiques Ile du Saulcy, 57045 METZ Cedex 01 (FRANCE) e-mail: baklouti@poncelet.univ-metz.fr

Received July 1, 1996 and in final form October 16, 1997