Journal of Lie Theory Volume 7 (1997) 121–146 \begin{matrix}c \\ ◯ \end{matrix}1997 Heldermann Verlag

Sur la conjecture de Corwin-Greenleaf

A la mémoire du Professeur Lawrence J. Corwin

Fujiwara Hidenori

Communicated by J. Ludwig

Abstract. Let G=exp( 𝔤) be a nilpotent Lie group, H=exp( 𝔥) a closed subgroup of G. Let χ=χ_{f} be a unitary character of H and τ= ind_{H}^{G}χ the induced representation of G. Let us suppose that the multiplicities of the irreducible representations occuring in the disintegration of τ are finite. We prove in this note the conjecture of Corwin-Greenleaf, which says that the algebra D_{τ} (G/H) of the differential operators which commute with τ is isomorhic to the algebra ℂ[Γ_{τ}]^{H} under the condition that the H -orbits in Γ_{τ} are of dimension ≤1.

Introduction

Il y a bien des années que la méthode des orbites a été lancée par Kirillov [15]. Cette méthode s’est révélée primordiale pour la théorie de représentations unitaires des groupes de Lie résolubles. On s’intéressait d’abord aux polarisations, aux représentations induites correspondantes et y entassait des résultats fascinants. Ensuite c’était des travaux de Benoist, Corwin-Greenleaf et Grélaud qui faisaient une bonne base de départ pour étudier les représentations monomiales plus générales.

Soit toujours G = exp( 𝔤) un groupe de Lie nilpotent connexe et simplement connexe d’algèbre de Lie 𝔤. Etant donnés un sous-groupe fermé connexe H = exp( 𝔥), ayant l’algèbre de Lie 𝔥, et son caractère unitaire χ, on considère la représentation induite τ = ind_{H}^{G}χ de G. Précisons notre façon de l’induction. Soit K(G, χ) l’espace des fonctions (à valeurs dans les nombres complexes) sur G, continues à support compact modulo H, et vérifiant la condition de covariance

ψ(gh) = χ^{−1}(h)ψ(g) (g ∈ G, h ∈ H)  (1)

La norme ∥ψ∥ sur K(G, χ) définie par

∥ψ∥^{2} = ∫_{G/H} |ψ(g)|^{2}dġ,

ISSN 0949–5932 / $2.50 \begin{matrix}c \\ ◯ \end{matrix} Heldermann Verlag dġ désignant une mesure invariante fixée sur G/H, est G-invariante et ainsi G agit de façon isométrique par translations à gauche dans K(G, χ). Nous obtenons la représentation unitaire τ = ind_{H}^{G}χ dans le complété H_{τ} de K(G, χ). En premier lieu on connaît la désintégration centrale canon

τ ≃ ∫ ⊕ ; _{G} m(π)πdμ(π),

Ĝ indiquant le dual unitaire de G. On décrit cette formule en termes de la méthode des orbites (cf. [5], [12], [16]). Soit 𝔤^{∗} l’espace vectoriel dual de 𝔤. Pour l ∈ 𝔤^{∗} on définit la forme bilinéaire B_{l} sur 𝔤 × 𝔤 par B_{l}(X, Y) = l([X, Y]). On voit d’abord que le caractère χ s’écrit sous la forme χ(exp(X)) = e^{if(X)} , (∀X ∈ 𝔥), (i = \sqrt{−1}) pour une certaine forme linéaire f ∈ 𝔤^{∗} telle que f([𝔥, 𝔥]) = {0}. Introduisons l’espace affine Γ_{τ} = f + 𝔥^{⊥} de 𝔤^{∗}, où 𝔥^{⊥} = {l ∈ 𝔤^{∗} : l(𝔥) = {0}}.

Alors la mesure μ est l’image par l’application de Kirillov 𝔤^{∗} → Ĝ d’une mesure finie équivalente à la mesure de Lebesgue sur Γ_{τ}, et la multiplicité m(π) est égale au nombre des H -orbites incluses dans Ω(π) ∩ Γ_{τ}, Ω(π) désignant l’orbite coadjointe de G associée à π ∈ Ĝ (cf. [6], [15]).

On se trouve dans l’alternative suivante: soit il existe un borne uniforme pour toutes les multiplicités m(π) ou soit m(π) ≡ ∞ pour π quelconque.

En second lieu, définissons une certaine algèbre des opérateurs différentiels. On note C^{∞}(G, τ) l’espace des fonctions C^{∞} sur G qui vérifient la relation de covariance (1). Soit Diff(G, τ) l’algèbre des opérateurs différentiels qui sont C^{∞} et qui laissent C^{∞}(G, τ) stable. Notre objet à étudier, c’est D_{τ} (G/H) qui se constitue des restrictions D|C^{∞}(G, τ) de D ∈ Diff(G, τ) commutant à la translation à gauche de G dans C^{∞}(G, τ).

Décrivons d’abord D_{τ} (G/H) en t(cf. [7]). Pour A ∈ U(𝔤), on note R(A) son action à droite. On définit:

U(𝔤, τ) = {A ∈ U(𝔤) : R(A) laisse C^{∞}(G, τ) stable },

𝔞_{τ} : le sous-espace vectoriel de U(𝔤) engendré par Y + if(Y)(Y ∈ 𝔥),

U(𝔤)𝔞_{τ} : l’idéal gauche de U(𝔤) engendré par 𝔞_{τ} .

Alors il se trouve que

U(𝔤, τ) = {A ∈ U(𝔤) : [Y, A] ∈ U(𝔤)𝔞_{τ} , ∀Y ∈ 𝔥}

et que l’application A ↦ R(A)|C^{∞}(G, τ) nous donne un homomorphisme de U(𝔤, τ) sur D_{τ} (G/H) avec le noyau U(𝔤)𝔞_{τ}. En somme,

D_{τ} (G/H) ≃ U(𝔤, τ)/U(𝔤)𝔞_{τ} .

Corwin et Greenleaf se proposent la question suivante (voir aussi [9], [10], [11],

[18] dans un contexte général): quand est-ce que D_{τ} (G/H) est-elle commutative? La commutativité de D_{τ} (G/H) est-elle équivalente à la finitude des multiplicités m(π)? Leur premier résultat dit:

Théorème 1 ([7]). Si m(π) < ∞ μ-presque partout, D_{τ} (G/H) est commutative.

En examinant de près la démonstration du Théorème 1 et bien des exemples, ils posent la conjecture: si m(π) < ∞ μ-presque partout, alors l’algèbre D_{τ} (G/H) est isomorphe à ℂ[Γ_{τ}]^{H}, l’algèbre des fonctions polynomiales H -invariantes sur Γ_{τ}. C’est ce que nous appelons ”la conjecture de Corwin-Greenleaf”. Peu après ils y ont apporté une réponse affirmative. Supposons

(i) m(π) < ∞ μ-presque partout,

(ii) il existe une polarisation 𝔟 commune pour μ-presque toutes l ∈ Γ_{τ} telle que 𝔥 normalise 𝔟.

Sous ces conditions, dont la deuxième est assez gênante, ils établissent le:

Théorème 2 ([8]). Sous les hypothèses (i), (ii), l’algèbre D_{τ} (G/H) est isomorphe à ℂ[Γ_{τ}]^{H}.

Très récemment Baklouti [2] vient de redémontrer le Théorème 2 comme une application de ses résultats sur un opérateur concret d’entrelacement entre τ et sa désintégration.

Nous nous sommes proposés dans [14] d’étudier les deux théorèmes et la conjecture dus à Corwin-Greenleaf par une méthode toute différente de la leur, et y avons redémontré le Théorème 1. Nos raisonnements se basent sur la formule de Plancherel pour τ, et suivent ceux de la seconde moitié de la thèse de Benoist [1].

Cette note succède [14] et établit en des cas bien particuliers la conjecture de Corwin-Greenleaf dans notre ligne de recherches. Ce travail a été entamé, lorsque l’auteur passait un mois en ’95 à l’Université Paris VI. Il remercie vivement le Professeur David Wigner, l’Université Paris VI et tous ses collègues de Paris pour leur hospitalité. Il tient à noter qu’il a profité de discussions avec Michel Duflo et Charles Torossian.

Rappels

Rappelons brièvement ce qu’on a fait dans [14]. Pour une représentation unitaire ρ de G, on note H_{ρ}, H_{ρ}^{∞} et H_{ρ}^{−∞} respectivement l’espace de Hilbert de ρ, l’espace des vecteurs C^{∞} de ρ et l’antidual de H_{ρ}^{∞}. Pour a ∈ H_{ρ}^{±∞} et b ∈ H_{ρ}^{∓∞}, on note ⟨a, b⟩ l’image de b par a. Donc ⟨a, b⟩ = \overline{⟨b, a⟩}.

On revient maintenant à la désintégration

τ = ind_{H}^{G}χ ≃ ∫ ⊕ ; _{G} m(π)πdμ(π),

et on suppose désormais que m(π) < ∞ μ-presque par Plancherel pour τ ([13]). Soit D(G) l’espace des fonctions C^{∞} à support compact sur G. Pour ϕ ∈ D(G) on construit un élément ϕ^{χ} de H_{τ}^{∞}:

ϕ^{χ}(g) = ∫_{H} ϕ(gh)χ(h)dh (∀g ∈ G),

dh dénotant une mesure de Haar fixée sur H. Alors la formule de Plancherel due à Penney [17] se décrit pour τ:

ϕ^{χ}(g) = ∫_{G} ∑_{k=1}^{m(π)}⟨π(ϕ_{g})a_{π}^{k}, a_{π}^{k}⟩dμ(π) (∀g ∈ G),  (2)

où ϕ_{g}(x) = ϕ(gx) pour tout x ∈ G. Ici les distributions tempérées a_{π}^{k} appartenant à

(H_{π}^{−∞})^{H,χ} = {b ∈ H_{π}^{−∞} : π(h)b = χ(h)b, ∀h ∈ H}

sont obtenues comme suit. L’orbite coadjointe Ω(π) de G associée à π rencontre μ-presque partout Γ_{τ} en un nombre m(π) de H -orbites, soient ω_{π}^{1}, ⋯, ω_{π}^{m(π)} . On prend l ∈ ω_{π}^{k} et une polarisation 𝔟 en l pour réaliser π = ind_{B}^{G}χ_{l}, où B = exp(𝔟) et où χ_{l}(expX)=e^{il(X)}(∀X ∈ 𝔟), ce qui nous permet de décrire a_{π}^{k} explicitement: il existe une mesure invariante dḣ sur l’espace homogène H/H∩B telle que

⟨a_{π}^{k}, ψ⟩ = ∫_{H/(H∩B)} \overline{ψ(h)χ(h)}dḣ  (3)

quelque soit ψ ∈ H_{π}^{∞}. Maintenant si l’on applique R(X)(X ∈ 𝔤) à (2), un simple calcul nous amène (cf. [14]) à

(R(X)ϕ^{χ})(g) = ∫_{G} ∑_{k=1}^{m(π)}⟨π(ϕ_{g})a_{π}^{k}, π(X)a_{π}^{k}⟩dμ(π) (∀g ∈ G).

D’où, pour X ∈ U(𝔤, τ) on a

(R(X)ϕ^{χ})(g) = ∫_{G} ∑_{k=1}^{m(π)}⟨π(ϕ_{g})α_{π}^{k}⟩dμ(π) ,  (4)

pour tout g ∈ G. Pour suivre le chemin de Benoist, on espère bien que π(\overline{X})a_{π}^{k}(X ∈ U(𝔤, τ)) est un multiple de a_{π}^{k}. En effet, notons 𝔤(l)(l ∈ 𝔤^{∗}) le noyau de la forme bilinéaire B_{l}, à savoir 𝔤(l) = {X ∈ 𝔤 : B_{l}(X, Y) = 0, ∀Y ∈ 𝔤}. Soit Q l’ensemble des l ∈ Γ_{τ} telles que 𝔥 + 𝔤(l) soit un sous-espace lagrangien pour B_{l}. On voit que Q est un ouvert de Zariski de Γ_{τ}.

Lemme 1 ([14]).Pour l ∈ Q, on construit a(l) ∈ (H_{π}^{−∞})^{H,χ}, où π ∈ Ĝ est associée à l’orbite G · l, par la formule (3). Alors pour tout X ∈ U(𝔤, τ), π(\overline{X})a(l) est un multiple de a(l), c’est-à-dire qu’il existe un caractère λ_{l} : U(𝔤, τ) → ℂ tel que

\overline{X}a(l) = π(\overline{X})a(l) = \overline{λ_{l}(X)}a(l)

pour n’importe quel X ∈ U(𝔤, τ).

On en a retrouvé le Théorème 1 comme corollaire. A chaque X ∈ U(𝔤, τ) on associe ainsi une fonction P_{X} sur Q définie par

P_{X}(l) = λ_{l}(X).

En utilisant un opérateur d’entrelacement, on voit facilement que la fonction P_{X} est H -invariante. En fait, P_{X} ne dépend pas du choix de la polarisation qui réalise la représentation irréductible π associée à l’orbite G · l (cf. [13]). De plus il résulte de la formule de Plancherel pour τ que l’homomorphisme

D_{τ} (G/H) ≃ U(𝔤, τ)/U(𝔤)𝔞_{τ} ∋ [X] ↦ P_{X}

est injectif, ici [X] dénote l’image canonique de X. On est arrivé jusqu’ici dans [14].

Vers la conjecture

Pour atteindre la conjectu suivantes:

1) La fonction P_{X} s’étend-elle en une fonction polynomiale sur Γ_{τ}?

2) Si 1) est le cas, l’homomorphisme

U(𝔤, τ)/U(𝔤)𝔞_{τ} ∋ [X] ↦ P_{X} ∈ ℂ[Γ_{τ}]^{H}

est-il surjectif?

On désigne par S(𝔤) l’algèbre symétrique de 𝔤_{ℂ} et en considère des éléments comme fonctions polynomiales sur i𝔤^{∗}, i = \sqrt{−1}. Alors ℂ[Γ_{τ}]^{H} s’identifie à (S(𝔤)/S(𝔤)\overline{𝔞_{τ}})^{H}, l’ensemble des vecteurs H -invariants sous l’action adjointe. On a donc d’un côté (S(𝔤)/S(𝔤)\overline{𝔞_{τ}})^{H}, et de l’autre côté U(𝔤, τ)/U(𝔤)𝔞_{τ} = (U(𝔤, τ)/U(𝔤)𝔞_{τ})^{H}, et les questions 1), 2) reviennent à dire qu’on y cherche un isomorphisme par

(U(𝔤, τ)/U(𝔤)𝔞_{τ})^{H} ∋ [X] ↦ P_{X} ∈ (S(𝔤)/S(𝔤)\overline{𝔞_{τ}})^{H}.

Donc, notre question fondamentale est:

Question 1. Etant donné X ∈ U(𝔤, τ), comment calculer la fonction P_{X}(l) sur Q?

Comme G est nilpotent, la symétrisation

β : S(𝔤) ⟹ U(𝔤)

nous sera peut-être utile. En effet, c’est le cas pour les espaces symétriques (cf. [1]). Si X ∈ U(𝔤, τ) est de degré inférieur ou égal 1 dans U(𝔤), alors X = λW + α avec W ∈ 𝔤 et λ, α ∈ ℂ, tels que [𝔥, W] ⊂ 𝔥_{0} = 𝔥 ∩ ker(f). Donc W ∈ 𝔥 + 𝔤(l) pour tout l ∈ Q, comme 𝔥 + 𝔤(l) est lagrangien. On calcule:

\begin{aligned}⟨P_{X}(l)a(l), ϕ⟩ & = ⟨\overline{X}a(l), ϕ⟩ = ⟨\overline{α}a(l), ϕ⟩ \\ −⟨\overline{λ}a(l), W ϕ⟩ & = ⟨\overline{α}a(l), ϕ⟩ − \overline{λ} ∫_{H/(H∩B)} \overline{(L(W)ϕ)(h)χ_{f}(h)}dh, \end{aligned}

où L représente l’acH′ = exp(𝔥′), la dernière intégrale s’identifie à

\begin{aligned}∫_{H′/(H′∩B)} \overline{(L(W)ϕ)(h′)χ_{l}(h′)}dh′ & = \overline{il(W)} ∫_{H′/(H′∩B)} \overline{ϕ(h′)χ_{l}(h′)}dh′ \\ & = \overline{il(W)} ∫_{H/(H∩B)} \overline{ϕ(h)χ_{l}(h)}dh. \end{aligned}

A savoir,

\overline{P_{X}(l)}a(l) = \overline{(α − λil(W)})a(l) = β^{−1}(\overline{X})(il)a(l),

i.e. P_{X}(l) = \overline{β^{−1}(\overline{X})(il)} pour l ∈ Q. Lorsque X ∈ U(𝔤) appartient au centre ℨ(𝔤) de U(𝔤), le résultat de Kirillov dit qu’on vérifie P_{X}(l) = \overline{β^{−1}(\overline{X})(il)} pour l ∈ Q quelconque.

Exemple. Soit 𝔤 = ⟨X, U, V, E, Z⟩_{ℝ} avec les crochets non-nuls: [U, V] = E, [X, U] = V , [X, V] = Z. Donc le centre 𝔷 de 𝔤 est égal à ℝZ + ℝE. Soient f = E^{∗} et 𝔥 = ℝX + ℝE. Si l’on prend A = 2UZ − V^{2} et W = A − 2EX, on constate que [𝔥, A] = {0} et que W ∈ Z(𝔤). Pour l ∈ Γ_{τ}, on a 𝔤(l) = 𝔷 + ℝ(X − l(Z)U + l(V)V) et cela entraîne que τ = ind_{H}^{G}χ est à multiplicités finies. On voit que A et W sont deux représentants du même élément de D_{τ} (G/H) ≃ U(𝔤, τ)/U(𝔤)𝔞_{τ} et que

Aa(l) = W a(l) = β^{−1}(W)(il)a(l) = β^{−1}(A)(il)a(l) = (l(V)^{2} − 2l(Z)l(U))a(l).

Par suite,

A^{3}a(l) = W^{3}a(l) = (l(V)^{2} − 2l(Z)l(U))^{3}a(l) = β^{−1}(W^{3})(il)a(l)

puisque W^{3} ∈ Z(𝔤). Un calcul direct dans S(𝔤) nous donne pourtant que

β^{−1}(A^{3}) = (2UZ − V^{2})^{3} − 2Z^{2}E^{2}.

D’où

A^{3}a(l) ≠ β^{−1}(A^{3})(il)a(l).

Cet exemple nous oblige, si nous voulons nous servir pleinement la symétrisation β, qu’il faut bien choisir un élément représentatif dans U(𝔤, τ)/ et même y faire intervenir une partie de 𝔥.

Pour le moment nous allons faire attention aux générateurs rationnels de D_{τ} (G/H) introduits dans [7]. Soit 𝔤_{0} un idéal de codimension 1 dans 𝔤, et qui contient 𝔥. On suppose que presque toutes les H -orbites dans Γ_{τ} sont non-saturées dans la direction (𝔤_{0})^{⊥}. Ecrivons 𝔤 = ℝX + 𝔤_{0} , et considérons une strate E dans 𝔤^{∗} telle que E ∩ Γ_{τ} soit un ouvert de Zariski de Γ_{τ}. Alors il existe (cf. [7]) A = XU + V ∈ U(𝔤, τ) avec V ∈ U(𝔤_{0}) et U ∈ U(𝔤_{0}, τ_{0}), où τ_{0} = ind_{H}^{G_{0}}χ_{f}, tel que ^{t}A soit E -central, i.e. π(^{t}A) opère scalairement dans H_{π}^{∞} pour π associeé à l ∈ E. Ici, ^{t}A dénote l’image de A par l’anti-automorphisme principal de U(𝔤). Si l’on introduit un drapeau de sous-algèbres:

𝔥 = 𝔨_{0} ⊂ 𝔨_{1} ⊂ 𝔨_{2} ⊂ ⋯ ⊂ 𝔨_{p−1} ⊂ 𝔨_{p} = 𝔤, dim((𝔨_{j}/𝔨_{j−1}) = 1,

(pour 1 ≤ j ≤ p = dim((𝔤/𝔥)), on construit un tel élément A_{j} à chaque étape 𝔨_{j} où se réalise la situation décrite plus haut. Ces éléments A_{j} forment une famille de générateurs rationnels de U(𝔤, τ). Maintenant on se donne un élément E -central A ∈ U(𝔤, τ). Pour W ∈ U(𝔤) arbitraire, on a d’après la formule de Plancherel; pour tous ϕ ∈ D(G) et g ∈ G,

(R([W, A])ϕ^{f})(g) = ∫Ĝ ∑_{k=1}^{m(π)}⟨π(ϕ_{g})a_{π}^{k}, \overline{[W, A]}a_{π}^{k}⟩dμ(π)

= ∫Ĝ ∑_{k=1}^{m(π)}(⟨π(ϕ_{g})a_{π}^{k}, \overline{W A}a_{π}^{k}⟩ − ⟨^{t}Aπ(ϕ_{g})a_{π}^{k}, \overline{W} a_{π}^{k}⟩)dμ(π)

= ∫Ĝ ∑_{k=1}^{m(π)}(P_{A}(l) − P_{A}(l))⟨π(ϕ_{g})a_{π}^{k}, \overline{W} a_{π}^{k}⟩dμ(π) = 0

Cela veut dire que [W, A] ∈ U(𝔤)𝔞_{τ}. On est ainsi amené à considérer

J = {A ∈ U(𝔤, τ) : [V, A] = V A − AV ∈ U(𝔤)𝔞_{τ} , ∀V ∈ U(𝔤)}.

Alors, on voit que, X_{j} étant des éléments de 𝔤,

[A, X_{1}X_{2} ⋯ X_{m}] = ∑_{j=1}^{m} X_{1} ⋯ X_{j−1}[A, X_{j}]X_{j+1} ⋯ X_{m}

≡ ∑_{i=1}^{m} X_{1} ⋯ X_{i−1}(ad[A, X_{i}])(X_{i+1} ⋯ X_{m}) mod U(𝔤)𝔞_{τ}

= ∑_{i<j} X_{1} ⋯ X_{i−1}X̂_{i}X_{i+1} ⋯ X_{j−1}[[A, X_{i}], X_{j}]X_{j+1} ⋯ X_{m} mod U(𝔤)𝔞_{τ} ,

où X̂_{i} signifie l’absence de X_{i}, et donc inductivement que

[[⋯ [[A, X_{1}], X_{2}] ⋯], X_{m}] ∈ U(𝔤)𝔞_{τ} .

En d’autres termes,

J = {A ∈ U(𝔤, τ) : (adX_{1}) ⋯ (adX_{m})(A) ∈ U(𝔤)𝔞_{τ} , ∀X_{j} ∈ 𝔤, ∀m ∈ ℕ}.

En spécialisant la question 1, nous laissons les:

Question 2. Pour tout A ∈ I = J ∩ U(𝔤)𝔞_{τ} , β^{−1}(\overline{A})(il) = 0(∀l ∈ Q)?

Question 3. A-t-on P_{X}(l) = \overline{β^{−1}(\overline{X})(il)}(l ∈ Q) pour tout X ∈ J ?

Si l’on quitte la symétrisation β et si l’on se propose d’avancer vers la conjecture de Corwin-Greenleaf par récurrence sur dim((G)+dim((G/H), le cas essentiel est celui où dim((𝔷) = 2 et dim((𝔥 ∩ 𝔷) = 1 tel que f(𝔥 ∩ 𝔷) ≠ 0. Ici on convient de noter 𝔷 le centre de 𝔤. De plus, il n’existerait aucun idéal de codimension 1 pour lequel μ-presque toutes les G-orbites sont saturées. En effet, s’il existe un tel idéal contenant 𝔥, le théorème 5.4, (b) dans [7] nous assure qu’il ne nous reste rien à faire. D’autre part, si 𝔭 = 𝔥 ∩ 𝔷 ∩ ker(f) ≠ {0}, on peut descendre au quotient 𝔤/𝔭 auquel s’applique l’hypothèse de récurrence. Par contre si dim((𝔷/(𝔥 ∩ 𝔷)) ≥ 2, soient Z_{1}, Z_{2} deux éléments centraux linéairement indépendants modulo 𝔥 ∩ 𝔷. Posons 𝔥_{j} = 𝔥 + ℝZ_{j}(j = 1, 2). Si l’on applique l’hypothèse de récurrence à 𝔥_{1} , et si l’on fixe la valeur l(Z_{1}) dans Q, la fonction P_{X}(l), X ∈ U(𝔤, τ), doit être polynomiale, ce qui veut dire que le dénominateur de la fonction P_{X}(l) ne contient que la variable l(Z_{1}) sur Γ_{τ}. De même pour Z_{2} . Par conséquent, P_{X}(l) se trouve polynomiale.

En ce qui concerne la surjectivité de l’application qui envoie X ∈ U(𝔤, τ) sur P_{X}(l) ∈ ℂ[Γ_{τ}]^{H} ≃ (S(𝔤)/S(𝔤)\overline{𝔞_{τ}})^{H}, on se place pour le moment dans le cas où 𝔷 ⊄ 𝔥 et soit 0 ≠ Z ∈ 𝔷 \ (𝔥 ∩ 𝔷). Posons 𝔥′ = 𝔥 + ℝZ, H′ = exp(𝔥′) et τ_{α} = ind_{H′}^{G}χ_{l} avec α = l(Z). Etant donnée une fonction polynomiale F (l) dans ℂ[Γ_{τ}]^{H}, il existe W, A ∈ U(𝔤, τ) tels que F (l) = P_{W} (l)/P_{A}(l), car l’image de l’application en question engendre rationnellement l’algèbre ℂ(Γ_{τ})^{H} des fonctions rationnelles H -invariantes sur Γ_{τ} (cf. [7]). L’hypothèse de récurrence appliquée à τ_{α} nous dit qu’il existe Y_{α} ∈ U(𝔤, τ) vérifiant F (l) = P_{Y_{α}}(l). En prenant une base {X_{j}}_{j=1}^{d}, d = dim((𝔤/𝔥), supplémentaire à 𝔥 dans 𝔤 et en convenant d’écrire X^{I} = X_{1}^{i_{1}}X_{2}^{i_{2}} ⋯ X_{d}^{i_{d}} pour le multi-indice I = (i_{1}, i_{2}, ⋯ i_{d}), on écrit

W ≡ ∑_{I,p} c_{I,p}X^{I}Z^{p} ≡ ∑_{I,p} c_{I,p}X^{I}(−il(Z))^{p} + V (Z + il(Z))(c_{I,p} ∈ ℂ)

et A ≡ ∑_{J,q} a_{J,q}X^{J}Z^{q}(a_{J,q} ∈ ℂ) modulo U(𝔤)𝔞_{τ}. D’où

∑_{I,p} c_{I,p}X^{I}(−il(Z))^{p} ≡ (∑_{J,q} a_{J,q}X^{J}(−il(Z))^{q})Y_{α} + V_{α}(Z + il(Z)),

W ≡ (∑_{J,q} a_{J,q}X^{J}(−il(Z))^{q})Y_{α} + (V_{α} + V)(Z + il(Z)),

i.e.

\begin{matrix}W ≡ & (∑_{J,q} a_{J,q}X^{J}(−iα)^{q})Y_{α} + (V_{α} + V)(Z + iα) \\ = & (∑_{J,q} a_{J,q}X^{J}(−iα)^{q})Y_{α} + Ṽ_{α}(Z + iα), \end{matrix}

où Y_{α} ne contient pas Z. On en déduit que Y_{α} est rationnelle par rapport à α. La substitution Z = −iα nous amène à

W_{Z=−iα} ≡ (∑_{J,q} a_{J,q}X^{J}(−iα)^{q})Y_{α}.

On en voit que Y_{α} reste vrai rationnelle en α seulement si A possède un facteur polynomial uniquement de Z. Si Y_{α} est polynomiale en α, on fait la substitution α → iZ pour obtenir un élément Y de U(𝔤) tel que W ≡ AY . On en déduit P_{Y} = F et que Y ∈ U(𝔤, τ), ce qui veut dire que F appartient à l’image de l’application P.

Lorsque dim((𝔥/(𝔥 ∩ 𝔷)) ≥ 2,, soit 𝔷 = (𝔥 ∩ 𝔷) + ∑_{j} ℝZ_{j} avec une base \{Z_{j}\} supplémentaire à 𝔥∩𝔷 dans 𝔷. On se donne X ∈ (S(𝔤)/S(𝔤)\overline{𝔞_{τ}})^{H}. D’après ce qu’on vient de voir et l’hypothèse de récurrence, il existe deux polynômes P_{1}(Z_{1}), P_{2}(Z_{2}) tels que P_{1}(Z_{1})X = P_{W_{1}} , P_{2}(Z_{2})X = P_{W_{2}} avec certains W_{1} , W_{2} ∈ U(𝔤, τ). Alors P_{1}(Z_{1})P_{2}(Z_{2})X ∈ ℂ[Γ_{τ}]^{H} est associé à la fois à P_{1}(Z_{1})W_{2} et à P_{2}(Z_{2})W_{1} , i.e. P_{1}(Z_{1})W_{2} ≡ P_{2}(Z_{2})W_{1} mod. U(𝔤)𝔞_{τ}. Si l’on exprime W_{1}, W_{2} au moyen d’une base supplémentaire à 𝔥 dans 𝔤, W_{2} est divisible par P_{2}(Z_{2}) et W_{1} l’est par P_{1}(Z_{1}). Cela signifie qu’il existe V ∈ U(𝔤, τ) tel que W_{2} = P_{2}(Z_{2})V , W_{1} = P_{1}(Z_{1})V . D’où X = P_{V} .

Supposons maintenant qu’il existe un idéal 𝔤_{0} de 𝔤 vérifiant

𝔥 ⊄ 𝔤_{0}, dim((𝔤/𝔤_{0}) = 1

et que μ-presque toutes les G-orbites coadjointes soient saturées dans la direction (𝔤_{0})^{⊥}. Soit T ∈ 𝔥 tel que 𝔤 = ℝT + 𝔤_{0} . On sait que chaque l ∈ Γ_{τ} générique possède une polarisation 𝔟 contenue dans 𝔤_{0} . Posons 𝔥_{0} = 𝔥 ∩ 𝔤_{0} , H_{0} = exp(𝔥_{0}), G_{0} = exp(𝔤_{0}), l_{0} = l_{|𝔤_{0}} ∈ 𝔤_{0}^{∗} et π_{0} = ind_{B}^{G_{0}}χ_{l_{0}} . Il s’ensuit que τ_{0} = ind_{H_{0}}^{G_{0}}χ_{f_{0}} ( où f_{0} = f_{|𝔤_{0}} ) est à multiplicités finies.

On peut copier la démonstration du théorème 1 dans [14] pour montrer que P_{X}(l) ∈ ℂ[Γ_{τ}]^{H} pour tout X ∈ U(𝔤, τ). Inversement, soit F (l) ∈ ℂ[Γ_{τ}]^{H}. Dans le cas présent F (l) s’identifie à un polynôme H -invariant F (l_{0}) sur Γ_{τ_{0}} = f_{0} +𝔥_{0}^{⊥} ⊂ 𝔤_{0}^{∗}. Par l’hypothèse de récurrence, il existe X ∈ U(𝔤_{0}, τ_{0}) tel qu’on ait P_{X}(l_{0}) = F (l_{0}) pour l_{0} ∈ Γ_{τ_{0}} génériques. Plus précisément, pour l_{0} ∈ Γ_{τ_{0}} telles que le sous-espace 𝔥_{0} de 𝔤_{0} s’avère lagrangien relativement à la forme bilinéaire B_{l_{0}} . Pour tout t ∈ ℝ, on pose h(t) = exp(tT) et X(t) = Ad(h(t))X ∈ U(𝔤_{0}, τ_{0}). Notons Q_{0} l’ensemble de telles l_{0} ∈ Γ_{τ_{0}} .

Vu la formule (3) qui nous donne la distribution a_{0}(l_{0}) ∈ (H_{π_{0}}^{−∞})^{H_{0},χ}(l_{0} ∈ Q_{0}), on voit que

π_{0}(\overline{X(t)})a_{0}(l_{0}) = π_{0}(\overline{X})a_{0}(h(−t) · l_{0}) = \overline{F (h(−t) · l_{0})}a_{0}(l_{0}) = \overline{F (l)}a_{0}(l_{0}).

S’il en est ainsi, d’après la formule de Plancherel pour τ, on confirme que l’application

ℝ ∋ t ↦ [X(t)] ∈ U(𝔤_{0}, τ_{0})/U(𝔤_{0})𝔞_{τ_{0}}

est constante. D’où, en dérivant en t, on prouve que X ∈ U(𝔤, τ). Ensuite en appliquant X à a(l), on peut passer comme dans la démonstration du théorème 1 de [14] la première coordonnée par rapport à T dans l’intégrale (3) de a(l), ce qui nous fournit P_{X}(l) = F (l) pour l ∈ Q. On vérifie ainsi la surjectivité de l’application en question.

De tout ce qu’on vient de voir, si nous employons ce chemin de raisonnement par récurrence, le cas essentiel est celui où dim((𝔷) = 2, dim((𝔥 ∩ 𝔷) = 1 et où f(𝔥 ∩ 𝔷) ≠ {0}. Soit 𝔷 = ℝZ + (𝔥 ∩ 𝔷). On peut supposer par récurrence que, pour tout W ∈ U(𝔤, τ), il existe un polynôme F (Z) = F_{W} (Z) de Z tel que F (Z)W corresponde à un polynôme dans ℂ[Γ_{τ}]^{H}. De plus, soient 𝔤_{0} un idéal de codimension 1 et X ∈ 𝔤 tel que 𝔤 = ℝX + 𝔤_{0}, 𝔥 ⊂ 𝔤_{0} . Dans le cas où μ-presque toutes les G-orbites coadjointes sont non-saturées dans la direction (𝔤_{0})^{⊥}, on a un élément E -central A = XU + V remarqué plus haut dans U(𝔤, τ). D’après l’hypothèse de récurrence appliquée à U ∈ U(𝔤_{0}, τ_{0}), où τ_{0} = ind_{H}^{G_{0}}χ, U correspond à un polynôme dans ℂ[Γ_{τ_{0}}]^{H}. Soit donc P_{U}(l) = (I(Z)J)(il)(l ∈ Q) avec un certain polynôme I(Z) de Z et un certain J ∈ S(𝔤) dont la restriction à Γ_{τ} n’admet aucun polynôme de Z. Si encore P_{A}(l) est polynomiale en l ∈ Q, c’est le cas par exemple si A ∈ Z(𝔤), alors en utilisant la récurrence sur le degré de W par rapport à X, on peut choisir comme F un exposant de I, i.e. il existe un entier non négatif m tel que I(Z)^{m}W corresponde à un polynôme dans ℂ[Γ_{τ}]^{H}.

Comment peut-on effacer le facteur I(Z)^{m}? Nous allons en voir un exemple, c’est-à-dire le cas où dim((𝔥) = 1.

Certains cas particuliers

Nous allons établir dans ce qui suit la conjecture, lorsque dim((H·)l ≤ 1 pour l ∈ Γ_{τ} générique. Traitons d’abord un cas particulier.

Assertion. Si dim((𝔥) = 1, alors la conjecture s’établit.

Démonstration . On montre d’abord que P_{X}(l) est un polynôme pour tout X ∈ U(𝔤, τ). Commençons par choisir une polarisation 𝔟(l) en chaque l ∈ Q. Alors codim(𝔟(l)) ≤ 1 et [𝔤, 𝔤] ⊂ 𝔟(l). Evidemment il suffit de supposer que la codimension de 𝔟(l) = 1 pour toute l ∈ Q et que 𝔤 = ∑_{l∈Q} 𝔟(l). Posons 𝔤_{0} = ⋂_{l∈Q} 𝔟(l) et d = codim(𝔤_{0}). On a [𝔤, 𝔤] ⊂ 𝔤_{0} . Si d = 1, alors 𝔤_{0} est une polarisation commune à toutes les l ∈ Q, ce qui entraîne le résultat comme on le verra plus tard. Supposons désormais que d ≥ 2.

Supposons d’abord 𝔥 ⊂ 𝔤_{0} . Il s’ensuit que [𝔤_{0}, 𝔤_{0}] ⊂ ⋂_{l∈Q} ker(l) ⊂ 𝔥 = ℝY . En fait, il suffit de supposer que 𝔥 n’est pas central dans 𝔤, ce qui entraîne que [𝔤_{0}, 𝔤_{0}] = {0} car [𝔤_{0}, 𝔤_{0}] est un idéal de 𝔤. Soient {X_{1}, ⋯, X_{d}} des éléments de 𝔤, linéairement indépendants modulo 𝔤_{0} . Cela entraîne que 𝔤 = (∑_{j=1}^{d} ℝX_{j}) + 𝔤_{0} et que W_{j} = [X_{j}, Y] (1 ≤ j ≤ d) sont linéairement indépendants. En effet, si W ∈ 𝔤 vérifie [W, Y] = 0, W appartient à 𝔟(l) pour toute l ∈ Q et donc à 𝔤_{0} . Soit 𝔫 = (∑_{j=2}^{d} ℝX_{j}) + 𝔤_{0} .

On constate aussitôt que

X_{j}W_{k} − X_{k}W_{j} ∈ U(𝔤)

sont H -invariants. D’autre part, la distribution de Penney s’écrit, e étant l’élément neutre de G,

a(l) : ψ ↦ \overline{ψ(e)}

pour ψ ∈ H_{π}^{∞}, où π = π_{l} = ind_{B}^{G}χ_{l} avec B = B(l) = exp(𝔟(l)), et il est immédiat que

Ua(l) = il(U)a(l), ∀U ∈ 𝔟(l).

Comme l(W_{k})X_{j} − l(W_{j})X_{k} ∈ 𝔟(l) pour tout 1 ≤ j, k ≤ d, il s’ensuit que

(X_{j}W_{k} − X_{k}W_{j})a(l) = i(l(W_{k})X_{j} − l(W_{j})X_{k})a(l)

= −(l(W_{k})l(X_{j}) − l(W_{j})l(X_{k}))a(l) = β^{−1}(X_{j}W_{k} − X_{k}W_{j})(il)a(l).

Supposons maintenant que 𝔥 ⊄ 𝔤_{0} . Remarquons que 𝔤_{0} est abélienne. Il résulte de d ≥ 2 que 𝔤 ≠ 𝔥 + 𝔤_{0} , et prenons un idéal 𝔫 de codimension 1 tel que 𝔥+𝔤_{0} ⊂ 𝔫. Soient 𝔤 = ℝe_{1} +𝔫 et 𝔥 = ℝY . Posons inductivement e_{j+1} = [Y, e_{j}]. Soit k le premier entier positif tel que e_{k+1} = 0. On peut choisir e_{1} de telle façon que k ≥ 2 pourvu que 𝔤 soit non-abélienne. Si k = 2 pour n’importe quel e_{1} , L = ad𝔤 Y vérifie L^{2} = 0. Si de plus L = 0 sur 𝔤_{0} qui contient [𝔤, 𝔤], 𝔭 = 𝔥 + 𝔤_{0} devient un idéal abélien de 𝔤. Quitte à remplacer 𝔟(l) par une autre qui contient 𝔭, on se ramène au cas précédent. Supposons donc que L ≠ 0 sur 𝔤_{0} . Soit ẽ_{3} ∈ 𝔤_{0} tel que ẽ_{4} = [Y, ẽ_{3}] ≠ 0. On en déduit que X = e_{1}ẽ_{4} − e_{2}ẽ_{3} dans U(𝔤) est H -invariant. Soit maintenant k ≥ 3. On définit X ∈ U(𝔤) par

X = 2e_{1}e_{k} − 2e_{2}e_{k−1} + 2e_{3}e_{k−2} − 2e_{4}e_{k−3} + ⋯ + 2e_{m−1}e_{m+3} − 2e_{m}e_{m+2} + e_{m+1}^{2}

si k = 2m + 1 est impair, et

X = e_{1}e_{k}^{k−2} − e_{2}e_{k−1}e_{k}^{k−3} + e_{3}e_{k−1}^{2}e_{k}^{k−4}/2! − e_{4}e_{k−1}^{3}e_{k}^{k−5}/3! + e_{5}e_{k−1}^{4}e_{k}^{k−6}/4!

− ⋯ − e_{k−2}e_{k−1}^{k−3}e_{k}/(k − 3)! + e_{k−1}^{k−1}/(k − 3)!(k − 1)

si k = 2m est pair. Ici,

⟨a(l), ψ⟩ = ∫_{ℝ} \overline{ψ(exp(tY))e^{itf(Y)}}dt

et, R désignant l’action à droite,

⟨Xa(l), ψ⟩ = ∫_{ℝ} \overline{(R(\overline{X})ψ)(exp(tY))e^{itf(Y)}}dt.

D’autre part, pour presque toute l ∈ Γ_{τ} il existe α(l) ∈ ℝ tel que e_{1} − α(l)Y appartient à 𝔤(l) et l’on a

∫_{ℝ} (R(e_{1})ψ)(exp(tY))e^{itf(Y)}dt = ∫_{ℝ} (R(e_{1} − α(l)Y)ψ)(exp(tY))e^{itf(Y)}dt

+α(l) ∫_{ℝ}(R(Y)ψ)(exp(tY))e^{itf(Y)}dt
= (−il(e_{1} − α(l)Y) − iα(l)f(Y)) ∫_{ℝ} ψ(exp(tY))e^{itf(Y)}dt
= −il(e_{1}) ∫_{ℝ} ψ( exp(tY))e^{itf(Y)}dt = ⟨−il(e_{1})a(l), ψ⟩.

Donc on vérifie que

Xa(l) = β^{−1}(X)(il)a(l) i.e. P_{X}(l) = \overline{β^{−1}(\overline{X})(il)}.

Maintenant pour W ∈ U(𝔤, τ) quelconque, on écrit W = ∑_{j=0}^{r} X_{1}^{j}V_{j} (si 𝔥 ⊂ 𝔤_{0} ) ou W = ∑_{j=0}^{r} e_{1}^{j}V_{j} (si 𝔥 ⊄ 𝔤_{0} ) avec certains V_{j} ∈ U(𝔫) (0 ≤ j ≤ r) et on va montrer que P_{W} (l) est une fonction polynomiale. Cette assertion se montre par récurrence sur le degré r de W par rapport à X_{1} (resp. e_{1} ). Si r = 0, il suffit d’appliquer l’hypothèse de récurrence à 𝔫.

Puisque V_{r} ∈ U(𝔤, τ), on a que P_{X^{r}V_{r}}(l) = P_{X^{r}}(l)P_{V_{r}}(l) (où X = X_{1}W_{d} − X_{d}W_{1} si 𝔥 ⊂ 𝔤_{0} ) est un polynôme d’après l’hypothèse de récurrence et comme W W_{d}^{r} − X^{r}V_{r} (resp. W ẽ_{4}^{r} − X^{r}V_{r} ou W e_{k}^{p} − X^{r}V_{r} pour un certain entier non-negatif p) dans U(𝔤, τ) est de degré inférieur à r par rapport à X_{1} (resp. e_{1} ), (W_{d}(il))^{r}P_{W} (l) (resp. (ẽ_{4}(−il))^{r}P_{W} (l) ou (e_{k}(−il))^{p}P_{W} (l)) est une fonction polynomiale. En fin de compte, P_{W} (l) est une fonction rationnelle dont le dénominateur est un facteur de (W_{d}(−il))^{r} (resp. (ẽ_{4}(−il))^{r} ou (e_{k}(−il))^{p}).

Allons utiliser encore une fois la formule de Plancherel. La décomposition centrale canonique de τ est équivalente à une autre (cf. [16]):

τ ≃ ∫_{Γ_{τ} /H} π_{l}dμ̃(l̇),

et conformément à cette décomposition, la formule de Plancherel pour τ se décrit:

ϕ^{χ}(e) = ∫_{Γ_{τ} /H}⟨π_{l}(ϕ)a_{ω}, a_{ω}⟩dμ̃(l̇)(∀ϕ ∈ D(G)),

où ω dénote H -orbite passant l ∈ Q ⊂ Γ_{τ} et où a_{ω} est la distribution de Penney correspondante. Il en vient que, pour tout X ∈ U(𝔤, τ),

∫_{G/H}(R(X)ϕ^{χ})(g)\overline{ϕ^{χ}(g)}dġ = R(X)(ϕ^{∗} ∗ ϕ)^{χ}(e) = ∫_{Γ_{τ} /H} P_{X}(l)∥π_{l}(ϕ)a_{ω}∥^{2}dμ̃(l̇),

où ϕ^{∗}(g) = \overline{ϕ(g^{−1})}(∀g ∈ G). En y substituant X = W^{m}(∀m ∈ ℕ), on voit

∫_{G/H}(R(W^{m})ϕ^{χ})(g)\overline{ϕ^{χ}(g)}dġ = ∫_{Γ_{τ} /H} P_{W^{m}}(l)∥π_{l}(ϕ)a_{ω}∥^{2}dμ̃(l̇)

= ∫_{Γ_{τ} /H}(F_{1}(l)/F_{2}(l))^{m}∥π_{l}(ϕ)a_{ω}∥^{2}dμ̃(l̇),  (5)

où F_{1}(l) est un polynôme en l, et où F_{2}(l) = (W_{d}(−il))^{r′} (resp. (ẽ_{4}(−il))^{r′} ou (e_{k}(−il))^{p′}) avec un certain entier non-négatif r′ ≤ r (resp. r′ ≤ r ou p′ ≤ p). La mesure μ̃ de désintégration étant une n’importe quelle quasi-image de la mesure de Lebesgue sur Γ_{τ} = f +𝔥^{⊥}, quoique ce choix de μ̃ entraîne évidemment d’autres normalisations de mesures, l’intégrale du dernier membre de la formule ci-dessus doit être divergente pour m assez grand s’il y reste le dénominateur, ce qui entraîne une contradiction cherchée. C’est ainsi qu’on vérifie que la fonction P_{W} (l) est polynomiale. On en verra le détail plus tard.

Examinons maintenant la surjectivité de l’application U(𝔤, τ) ∋ X ↦ P_{X}(l) ∈ ℂ[Γ_{τ}]^{H}. Fixons une suite d’ idéaux:

{0} = 𝔤_{0} ⊂ 𝔤_{1} ⊂ ⋯ ⊂ 𝔤_{n−1} ⊂ 𝔤_{n} = 𝔤; dim((𝔤_{j}) = j(0 ≤ j ≤ n).

Soit j_{0} l’indice tel que 𝔥 ⊄ 𝔤_{j_{0}−1} mais 𝔥 ⊂ 𝔤_{j_{0}} . Prenons des éléments non nuls X_{j}(j ≠ j_{0}) tels que X_{j} ∈ 𝔤_{j} \ 𝔤_{j−1} et posons 𝔪 = ∑_{j≠j_{0}} ℝX_{j}. Alors 𝔪 est un sous-espace invariant pour ad𝔥 et supplémentaire à 𝔥 dans 𝔤. C’est-à-dire que le couple (𝔤, 𝔥) est réductif. Ainsi chaque X dans (S(𝔤)/S(𝔤)\overline{𝔞_{τ}})^{H} ou dans U(𝔤, τ)/U(𝔤)𝔞_{τ} = (U(𝔤)/U(𝔤)𝔞_{τ})^{H} admet un élément représentatif H -invariant dans S(𝔪) ou β(S(𝔪)).

Parmi les multi-indices I = (i_{n}, ⋯, i_{j_{0}+1}, i_{j_{0}−1}, ⋯, i_{1}) de longueur n − 1, on introduit l’ordre lexicographique, i.e.

I < J = (j_{n}, ⋯, j_{j_{0}+1}, j_{j_{0}−1}, ⋯, j_{1}) ⟺ i_{n} = j_{n}, ⋯, i_{k+1} = j_{k+1}, i_{k} < j_{k}.

On dit qu’un monôme

cX_{n}^{i_{n}} ⋯ X_{j_{0}+1}^{i_{j_{0}+1}}X_{j_{0}−1}^{i_{j_{0}−1}} ⋯ X_{1}^{i_{1}}(c ∈ ℂ)

est d’indice I = (i_{n}, ⋯, i_{j_{0}+1}, i_{j_{0}−1}, ⋯, i_{1}) et convient que l’indice d’un élément

X = ∑_{I} c_{I}X^{I} = ∑_{I} c_{I}X_{n}^{i_{n}} ⋯ X_{j_{0}+1}^{i_{j_{0}+1}}X_{j_{0}−1}^{i_{j_{0}−1}} ⋯ X_{1}^{i_{1}}(c_{I} ∈ ℂ)

de S(𝔪) signifie celui le plus grand des monômes apparaissant dans X. On obtient la surjectivité par récurrence sur l’indice. Soit X = ∑_{I} c_{I}X^{I} ∈ S(𝔪)^{H} d’indice I_{0} . Prenons X′ ∈ S(𝔪) tel qu’on ait X(l) = \overline{X′(il)} pour l ∈ 𝔤^{∗}. Alors X′, et donc β(\overline{X′}) ∈ U(𝔤) est H -invariant et il nous donne un polynôme P_{β(\overline{X′})} sur Γ_{τ} qui est H -invariant, à savoir P_{β(\overline{X′})} ∈ (S(𝔪)/S(𝔪)\overline{𝔞_{τ}})^{H}. Si l’on prend dans S(𝔪)^{H} un élément représentatif P̃_{β(\overline{X′})} de P_{β(\overline{X′})} , on constate que l’indice de X − P̃_{β(\overline{X′})} est plus petit que celui de X. D’après l’hypothèse de récurrence il existe W ∈ U(𝔤, τ) tel que

P_{W} (l) = (X − P̃_{β(\overline{X′})})(l) = (X − P_{β(\overline{X′})})(l)(l ∈ Γ_{τ}).

Enfin X = P_{W +β(\overline{X′})} .

c.q.f.d.

Nous allons généraliser un peu ce résultat. On considère d’abord le cas, où dim((𝔥/(𝔥∩𝔷)) ≤ 1. Il est immédiat qu’on peut supposer que dim((𝔥/𝔥∩𝔷) = 1. Soient 𝔥 = ℝY + (𝔥 ∩ 𝔷) et 𝔥 ∩ 𝔷 = ⊕_{k=1}^{s}ℝZ_{k}. En faisant attention à l’élément Y , on prouve comme dans le cas où dim((𝔥) = 1 que, pour tout V ∈ U(𝔤, τ), P_{V} (l)(l ∈ Q) s’étend en une fonction polynomiale sur Γ_{τ}.

Pour montrer la surjectivité de l’application qui associe à V ∈ U(𝔤, τ) la fonction P_{V} (l) ∈ ℂ[Γ_{τ}]^{H}, nous prenons un drapeau d’ idéaux

𝔥 ∩ 𝔷 = 𝔨_{0} ⊂ 𝔨_{1} ⊂ ⋯ ⊂ 𝔨_{m−1} ⊂ 𝔨_{m} = 𝔤; dim((𝔨_{j}/𝔨_{j−1}) = 1(1 ≤ j ≤ m).

Soit j_{0} le premier indice j tel que Y ∈ 𝔨_{j}. Pour chaque j différent de j_{0} , on extrait un X_{j} ∈ 𝔨_{j} \ 𝔨_{j−1} . Etant donnée F (l) ∈ ℂ[Γ_{τ}]^{H} ≃ (S(𝔤)/S(𝔤)\overline{𝔞_{τ}})^{H}, on choisit un élément représentatif W ∈ S(𝔤) vérifiant [W, Y] ∈ S(𝔤)\overline{𝔞_{τ}} et

W = ∑_{I} c_{I}X^{I} = ∑_{I} c_{I}X_{m}^{i_{m}} ⋯ X_{j_{0}+1}^{i_{j_{0}+1}}X_{j_{0}−1}^{i_{j_{0}−1}} ⋯ X_{1}^{i_{1}}.

Alors [Y, W] ∈ S(𝔤)𝔭, où 𝔭 = ∑_{k=1}^{s} ℂ(Z_{k} − if(Z_{k})). D’où \overline{β(W)} ∈ U(𝔤, τ), ce qui nous permet de raisonner comme dans le cas où dim((𝔥) = 1.

Avançons encore d’un pas. Supposons que la dimension des G-orbites génériques passant par Γ_{τ} est égale à deux. Soit 𝔟(l) une polarisation en l ∈ Γ_{τ} générique, et posons comme avant 𝔤_{0} = ∩_{l∈Q}𝔟(l). Alors tout comme avant, dim((𝔤/𝔟(l)) = 1, et l’on peut supposer que 𝔤_{0} est un idéal abélien de 𝔤.

Nous avons remarqué plus haut que, si nous nous proposons de démontrer la conjecture de Corwin-Greenleaf, nos raisonnements précédents nous ramènent au cas où dim((𝔷) = 2, dim((𝔷 ∩ 𝔥) = 1 et où f ne s’annule pas sur 𝔷 ∩ 𝔥. Cette réduction est aussi faisable dans notre cadre, c’est-à-dire qu’en gardant l’hypothèse sur la dimension des orbites génériques apparaissant dans la désintégration de τ. Soient 𝔥 ∩ 𝔷 = ℝE, f(E) = 1 et 𝔷 = ℝE + ℝZ. Prenons Y ∈ 𝔤 \ 𝔷 tel que [Y, 𝔤] ⊂ 𝔷.

Si dim(([𝔤, Y]) = 1, on peut raisonner comme dans le cas où dim((𝔷) = 1. Supposons dorénavant que dim(([𝔤, Y]) = 2, i.e. 𝔷 = [𝔤, Y] et fixons deux éléments X_{1}, X_{2} dans 𝔤 vérifiant [X_{1}, Y] = E, [X_{2}, Y] = Z. On voit que 𝔦 = ℝY + 𝔷 est un idéal abélien de 𝔤 et qu’on peut supposer que 𝔟(l) est contenu dans l’orthogonal 𝔦^{l} de 𝔦 relativement à la forme bilinéaire B_{l}. Cela implique que 𝔟(l) = 𝔦^{l} = {X ∈ 𝔤 : l([X, 𝔦]) = {0}} pour l ∈ Q et par suite que 𝔤_{0} concide avec le centralisateur de 𝔦 dans 𝔤.

On se trouve dans l’une des deux éventualités suivantes: (i) 𝔥 ⊂ 𝔤_{0} ; (ii) 𝔥 ⊄ 𝔟(l) pour presque toutes l ∈ Γ_{τ}. Dans le cas (i), pour l ∈ Γ_{τ} générique on a Y ∈ 𝔥 + 𝔤(l) et la substitution Z ↦ −il(Z) étant faite dans chaque U ∈ U(𝔤, τ), le dernier se trouve dans U(𝔦^{l}) car l’orbite G · l est saturée dans la direction (𝔦^{l})^{⊥}. Ceci posé, U s’écrit

U = ∑_{k=0}^{m} c_{k}(iZX_{1} − X_{2})^{k}U_{k} + A = ∑_{k=0}^{m} c_{k}(l(Z)X_{1} − X_{2})^{k}U_{k} + A + V (Z + il(Z))

avec certains c_{k} ∈ ℂ, U_{k} ∈ U(𝔤_{0}) et A ∈ U(𝔤)𝔞_{τ}.

D’autre part, la distribution de Penney a(l) pour π = π_{l} = ind_{B(l)}^{G}χ_{l}, où B(l) = exp(𝔟(l)), s’obtient par la formule: ⟨a(l), ψ⟩ = \overline{ψ(e)} quel que soit ψ ∈ H_{π}^{∞}. Tout cela nous permet de calculer

⟨\overline{U}a(l), ψ⟩ = β^{−1}(\overline{U})(il)⟨a(l), ψ⟩, i.e. \overline{U}a(l) = β^{−1}(\overline{U})(il)a(l),

ce qui signifie que P_{U}(l) = \overline{β^{−1}(\overline{U})(il)} est une fonction polynomiale sur Q.

Soit toujours 𝔥 ⊂ 𝔤_{0} . On a U(𝔤_{0}) ⊂ U(𝔤, τ) et si l’on pose V = X_{2}−iZX_{1} ∈ U(𝔤), on constate que \overline{V} a(l) = \overline{V} (il)a(l) pour l ∈ Q. Cela implique V ∈ U(𝔤, τ) et par suite que V ∈ S(𝔤) nous donne une fonction polynomiale H - invariante sur Γ_{τ}, appartenant à l’image de l’application U(𝔤, τ) ∋ X ↦ P_{X}(l) ∈ ℂ[Γ_{τ}]^{H} ≃ (S(𝔤)/S(𝔤)\overline{𝔞_{τ}})^{H}. Pour montrer la surjectivité en question il nous suffit maintenant d’utiliser l’induction sur le degré par rapport à X_{2} des éléments de (S(𝔤)/S(𝔤)\overline{𝔞_{τ}})^{H}.

Nous nous plaçons dans le cas (ii). Soit d’abord dim((𝔥/𝔥 ∩ 𝔤_{0}) = 2. D’une part chaque classe de U(𝔤, τ) admet un élément représentatif W ∈ U(𝔤_{0}) et d’autre part, étant donnée l ∈ Q, il existe X ∈ 𝔥 tel que 𝔤 = ℝX + 𝔟(l) avec la polarisation 𝔟(l) = 𝔦^{l} en l, ce qui nous donne la formule ⟨a(l), ψ⟩ = ∫_{ℝ} \overline{ψ(exp(tX))e^{itf(X)}}dt pour tout ψ ∈ H_{π_{l}}^{∞}. On en déduit

⟨\overline{W} a(l), ψ⟩ = ∫_{ℝ} \overline{(R(W)ψ)(exp(tX))e^{itf(X)}}dt
= \overline{W} (il)⟨a(l), ψ⟩ = β^{−1}(\overline{W})(il)⟨a(l), ψ⟩,

d’où P_{W} (l) = \overline{β^{−1}(\overline{W})(il)} s’étend en une fonction polynomiale sur Γ_{τ}. De même pour la surjectivité de l’application

(U(𝔤)/U(𝔤)\overline{𝔞_{τ}})^{H} = U(𝔤, τ)/U(𝔤)\overline{𝔞_{τ}} ∋ [X] ↦ P_{X}(l) ∈ ℂ[Γ_{τ}]^{H}.

Toute F (l) ∈ ℂ[Γ_{τ}]^{H} admet un élément (représentatif) V ∈ S(𝔤_{0}) tel que F (l) = \overline{V (il)} et que [𝔥, V] ⊂ S(𝔤_{0})\overline{𝔞_{τ}}. Comme 𝔤_{0} est abélienne, β(\overline{V}) ∈ U(𝔤, τ) et puis

⟨β(V)a(l), ψ⟩ = V (il)⟨a(l), ψ⟩(l ∈ Q)

quel que soit ψ ∈ H_{π}^{∞}, c’est-à-dire que P\overline{V} (l) = \overline{V (il)} = F (l) sur Γ_{τ}. Finalement soit dim((𝔥/(𝔥 ∩ 𝔤_{0})) = 1. Prenons un élément X ∈ 𝔤 vérifiant

𝔤 = ℝX + 𝔥 + 𝔤_{0}.

Alors, chaque classe de U(𝔤, τ)/U(𝔤)𝔞_{τ} (resp.(S(𝔤)/S(𝔤)\overline{𝔞_{τ}})^{H}) admet un élément représentatif W de la forme

W = ∑_{j=0}^{m} X^{j}U_{j}, U_{j} ∈ U(𝔤_{0}) ≃ S(𝔤_{0})

tels que U_{j} ∉ U(𝔤)𝔞_{τ} (resp. S(𝔤)\overline{𝔞_{τ}}). Si m ≥ 1 et si 𝔥 ∩ 𝔤_{0} ≠ \{0\}, on calcule pour V ∈ 𝔥 ∩ 𝔤_{0} : [V, W] = mX^{m−1}U_{m}[V, X] + A avec un certain A dans U(𝔤) (resp. S(𝔤)) dont le degré par rapport à X est tout au plus m − 2 (dans le cas où m = 1, on convient que A = 0). Pour que [V, W] appartienne à U(𝔤)𝔞_{τ} (resp. S(𝔤)\overline{𝔞_{τ}}), il faut que [V, X] tombe dans 𝔭 = 𝔥 ∩ 𝔤_{0} ∩ ker(f). Cela exige que 𝔭 soit un idéal de 𝔤. On peut donc passer au quotient 𝔤/𝔭 si 𝔭 ≠ {0}, et se ramener au cas où dim((𝔥/(𝔥 ∩ 𝔷)) ≤ 1 si 𝔭 = {0}.

Nous finissons par examiner plus en détail l’intégrale (5) dans notre cas. On garde les notations. Un simple calcul nous montre (cf. [13])

(π_{l}(ϕ)a_{ω})(g) = ∫_{B(l)/(B(l)∩H)} ϕ^{χ}(gb)χ_{l}(b)dḃ(ϕ ∈ D(G), g ∈ G)

et donc

∥π_{l}(ϕ)a_{ω}∥_{H_{π_{l}}}^{2} = ∫_{G/B(l)} | ∫_{B(l)/(B(l)∩H)} ϕ^{χ}(gb)χ_{l}(b)dḃ|^{2}dġ.

De ce qui avait précédé, on peut supposer dans la formule (5) que W_{d} (resp. ẽ_{4} ou e_{k}) appartient à 𝔥 + 𝔷 mais non pas à 𝔥 et ensuite que, quitte à remplacer Z ∈ 𝔷 \ (𝔥 ∩ 𝔷), F_{2}(l) = l(Z)^{r}(l ∈ Q) avec un certain entier r non négatif. A savoir:

∫_{G/H}(R(W^{m})ϕ^{χ})(g)\overline{ϕ^{χ}(g)}dġ = ∫_{Γ_{τ} /H} (\frac{F (l)}{l(Z)^{r}} )^{m}∥π_{l}(ϕ)a_{ω}∥^{2}dμ̃(l̇)(m ∈ ℕ) (6)

avec un polynôme F (l). Pour déterminer la mesure μ̃, calculons les deux membres de la formule de Plancherel:

∫_{G/H} |ϕ^{χ}(g)|^{2}dġ = ∫_{Γ_{τ} /H} ∥π_{l}(ϕ)a_{ω}∥^{2}dμ̃(l̇)  (7)

pour toute fonction test ϕ ∈ D(G). Soient 𝔮 un sous-espace supplémentaire à 𝔤_{0} ∩ (𝔥 + 𝔷) dans 𝔤_{0} et {X, X′} une base supplémentaire à 𝔤_{0} dans 𝔤. On va introduire dans G un système de coordonnées.

Nous nous plaçons d’abord dans le cas (i), i.e. 𝔥 ⊂ 𝔤_{0} . Ici, nous choisissons par exemple X′ = X_{1} et X = X_{2} . Alors tout élément g ∈ G s’écrit d’une façon unique sous la forme g = exp( x_{1}X_{1}) exp( x_{2}X_{2}) exp( V) exp( wZ)h avec x_{1}, x_{2}, w ∈ ℝ, V ∈ 𝔮 et h ∈ H. Au moyen de cette expression nous identifions G à ℝ^{2} × 𝔮 × ℝ × H et nous considérons ϕ ∈ D(G) de la forme

ϕ(g) = ϕ_{1}(x_{1})ϕ_{2}(x_{2})ζ(V)κ(h)ϕ_{3}(w)(g ∈ G)

avec ϕ_{j} ∈ D(ℝ)(1 ≤ j ≤ 3), ζ ∈ D(𝔮) et κ ∈ D(H). D’où

∫_{G/H} |ϕ^{χ}(g)|^{2}dġ = ( ∏_{j=1}^{3} ∥ϕ_{j}∥_{L^{2}(ℝ)}^{2})∥ζ∥_{L^{2}(𝔮)}^{2}| ∫_{H} κ(h)χ(h)dh|^{2}

= |κ^{χ}(e)|^{2}( ∏_{j=1}^{3} ∥ϕ_{j}∥_{L^{2}(ℝ)}^{2})∥ζ∥_{L^{2}(𝔮)}^{2}.

D’autre part,

∥π_{l}(ϕ)a_{ω}∥_{H_{π_{l}}}^{2} = ∫_{G/B(l)} | ∫_{B(l)/(B(l)∩H)} ϕ^{χ}(gb)χ_{l}(b)dḃ|^{2}dġ.

= ∫_{ℝ} | ∫_{ℝ×(G_{0}/(G_{0}∩H))} ϕ^{χ}(exp( x_{1}X_{1}) exp( x_{2}(l(Z)X_{1} − X_{2}))g_{0})

e^{ix_{2}(l(Z)l(X_{1})−l(X_{2}))}χ_{l}(g_{0})dx_{2}dġ_{0}|^{2}dx_{1}

= ∫_{ℝ} | ∫_{ℝ} dx_{2} ∫_{G_{0}/(G_{0}∩H)} ϕ^{χ}(exp((x_{1} + x_{2}l(Z))X_{1}) exp( −x_{2}X_{2})b(x_{2}, α)g_{0})

e^{ix_{2}(l(Z)ξ_{1}−ξ_{2})}χ_{l}(g_{0})dġ_{0}|^{2}dx_{1}

avec ξ_{j} = l(X_{j})(j = 1, 2), et où b = b(x_{2}, α)(α = l(Z)) désigne un certain élément de G_{0} . Enfin la dernière intégrale est égale à

∫_{ℝ} | ∫_{ℝ} \overline{χ_{l}(b)}dx_{2} ∫_{G_{0}/(G_{0}∩H)} ϕ^{χ}(exp((x_{1} + x_{2}l(Z))X_{1}) exp( −x_{2}X_{2})g_{0})

e^{ix_{2}(l(Z)ξ_{1}−ξ_{2})}χ_{l}(g_{0})dġ_{0}|^{2}dx_{1}
= ∫_{ℝ} | ∫_{ℝ} \overline{χ_{l}(b)}dx_{2} ∫𝔮 ϕ^{χ}(exp((x_{1} + x_{2}l(Z))X_{1}) exp( −x_{2}X_{2}) exp( V))

e^{ix_{2}(l(Z)ξ_{1}−ξ_{2})}e^{il(V)}dV |^{2}dx_{1}
= |κ^{χ}(e)|^{2}|ζ̂(l_{|𝔮})|^{2}|(ϕ̂_{3})(l(Z))|^{2} ∫_{ℝ} dx_{1}

| ∫_{ℝ} ϕ_{1}(x_{1} + x_{2}l(Z))ϕ_{2}(−x_{2})\overline{χ_{l}(b)}e^{ix_{2}(l(Z)ξ_{1}−ξ_{2})}dx_{2}|^{2}

= |κ^{χ}(e)|^{2}|ζ̂(l_{|𝔮})|^{2}|(ϕ̂_{3})(l(Z))|^{2} ∫_{ℝ} |F_{2}(Φ)(x_{1}, l(Z)ξ_{1} − ξ_{2})|^{2}dx_{1},

où le symbole chapeau désigne la transformée de Fourier, et où F_{2}Φ dénote la transformée de Fourier partielle relativement à la deuxième variable de la fonction

Φ(x_{1}, x_{2}) = ϕ_{1}(x_{1} + x_{2}l(Z))ϕ_{2}(−x_{2})\overline{χ_{l}(b)}.

En fin de compte, en posant α = l(Z), on constate que le produit dαd(l_{|𝔮})dξ_{2} des mesures de Lebesgue se qualifie pour la mesure μ̃ dans Γ_{τ} /H réalisé comme, par exemple, {l ∈ Γ_{τ} : ξ_{1} = constante}. En effet,

∫_{Γ_{τ} /H} ∥π_{l}(ϕ)a_{ω}∥^{2}dαd(l_{|𝔮})dξ_{2}

= |κ^{χ}(e)|^{2}∥ζ∥^{2} ∫_{ℝ} |(ϕ̂_{3})(α)|^{2}dα ∫_{ℝ} dx_{1} ∫_{ℝ} |F_{2}(Φ)(x_{1}, αξ_{1} − ξ_{2})|^{2}dξ_{2}

= |κ^{χ}(e)|^{2}∥ζ∥^{2} ∫_{ℝ} |(ϕ̂_{3})(α)|^{2}dα ∫_{ℝ} dx_{1} ∫_{ℝ} |Φ(x_{1}, x_{2})|^{2}dx_{2}

= |κ^{χ}(e)|^{2}∥ζ∥^{2}( ∏_{j=1}^{3} ∥ϕ_{j}∥^{2}),

i.e. cette mesure nous fournit la formule de Plancherel (7).

Allons examiner le cas (ii). Soit donc 𝔥 ⊄ 𝔤_{0} . Si dim( 𝔥/(𝔥 ∩ 𝔤_{0})) = 2, on choisit X′ = X_{1} , X = X_{2} dans 𝔥. Tout g ∈ G s’écrit d’une seule manière g = exp( V) exp( wZ)h avec V ∈ 𝔮, w ∈ ℝ et h ∈ H. On identifie ainsi G à 𝔮×ℝ×H. Considérons ϕ ∈ D(G) telle que ϕ(g) = ζ(V)θ(w)κ(h) avec ζ ∈ D(𝔮), θ ∈ D(ℝ) et κ ∈ D(H). Evidemment, ∫_{G/H} |ϕ^{χ}(g)|^{2}dġ = ∥ζ∥^{2}∥θ∥^{2}|κ^{χ}(e)|^{2} . En ce qui concerne le membre droit de la formule (7),

∥π_{l}(ϕ)a_{ω}∥_{H_{π_{l}}}^{2} = ∫_{G/B(l)} | ∫_{B(l)/(B(l)∩H)} ϕ^{χ}(gb)χ_{l}(b)dḃ|^{2}dġ.

= ∫_{ℝ} dx| ∫_{B(l)/(B(l)∩H)} ϕ^{χ}(exp( xX_{1})b)χ_{l}(b)dḃ|^{2}

= ∫_{ℝ} dx| ∫_{G_{0}/(G_{0}∩H)} ϕ^{χ}(exp( xX_{1})g_{0})χ_{l}(b)dġ_{0}|^{2}

= ∫_{ℝ} dx| ∫_{G_{0}/(G_{0}∩H)} ϕ^{χ}(g_{0})χ_{h(x)·l}(g_{0})dġ_{0}|^{2},

ici h(x) = exp( xX_{1}) ∈ H. On désintègre la mesure de Lebesgue dl sur Γ_{τ} suivant l’action de H. Soit Γ_{τ}^{α} = {l ∈ Γ_{τ} : l(Z) = α}. On sait (cf. [4]) qu’il existe une mesure positive ν_{α} sur Γ_{τ}^{α}/H telle qu’on ait dl = ∫_{Γ_{τ}^{α}/H} dν_{α}(l̇) ∫_{ℝ}(h(x)·l)dx sur Γ_{τ}^{α}. Alors, μ̃ = ∫_{ℝ} ν_{α}dα nous convient. En effet, compte tenu de la formule écrite ci-dessus,

∫_{Γ_{τ} /H} ∥π_{l}(ϕ)a_{ω}∥^{2}dμ̃(l̇)

= ∫_{ℝ} dα ∫_{Γ_{τ}^{α}/H} dν_{α} ∫_{ℝ} dx| ∫_{G_{0}/(G_{0}∩H)} ϕ^{χ}(g_{0})χ_{h(x)·l}(g_{0})dġ_{0}|^{2}

= ∫_{ℝ} dα ∫_{Γ_{τ}^{α}} dl| ∫_{𝔮×ℝ} ϕ^{χ}(exp( V) exp( wZ))e^{il(V)}e^{iαw}dV |^{2}

= |κ^{χ}(e)|^{2} ∫_{ℝ} |θ̂(α)|^{2}dα ∫_{𝔮_{∗}} dl| ∫𝔮 ζ(V)e^{il(V)}dV |^{2} = |κ^{χ}(e)|^{2}∥θ∥^{2}∥ζ∥^{2}.

Soit enfin dim( 𝔥/(𝔥 ∩ 𝔤_{0})) = 1 et choisissons X ∈ 𝔥 ∩ ker(f) en modifiant X par un multiple de E si besoin est. Prenons X = X_{2}, X′ = X_{1} si [X, 𝔦] ⊂ ℝZ, et X = X_{1} + λX_{2}(λ ∈ ℝ), X′ = X_{2} sinon. Posons h(t) = exp( tX) ∈ H pour tout t ∈ ℝ. Tout g ∈ G s’écrit d’une façon unique g = exp( x′X′) exp( V) exp( wZ)h avec x′, w ∈ ℝ, V ∈ 𝔮 et h ∈ H. En considérant ϕ ∈ D(G) jouissant de la propriété ϕ(g) = γ(x′)ζ(V)θ(w)κ(h) avec γ, θ ∈ D(ℝ), ζ ∈ D(𝔮) et κ ∈ D(H), nous répétons le même argument. Tout d’abord,

∫_{G/H} |ϕ^{χ}(g)|^{2}dġ = |κ^{χ}(e)|^{2}∥γ∥^{2}∥ζ∥^{2}∥θ∥^{2}.

Supposons en premier lieu X = X_{2}, X′ = X_{1} . Calculons le membre droit de la formule de Plancherel (7).

∥π_{l}(ϕ)a_{ω}∥_{H_{π_{l}}}^{2} = ∫_{G/B(l)} | ∫_{B(l)/(B(l)∩H)} ϕ^{χ}(gb)χ_{l}(b)dḃ|^{2}dġ.

= ∫_{ℝ} | ∫_{ℝ} dx_{2} ∫_{G_{0}/(G_{0}∩H)} ϕ^{χ}(exp((x_{1}X_{1}) exp( x_{2}(l(Z)X_{1} − X_{2}))g_{0})

e^{ix_{2}l(Z)l(X_{1})}χ_{l}(g_{0})dx_{2}dġ_{0}|^{2}dx_{1}

= ∫_{ℝ} dx_{1}| ∫_{ℝ} dx_{2} ∫_{G_{0}/(G_{0}∩H)} ϕ^{χ}(exp( x_{1} + x_{2}l(Z))X_{1}) exp( −x_{2}X_{2})b(x_{2}, α)g_{0})

e^{ix_{2}l(Z)ξ_{1}}χ_{l}(g_{0})dġ_{0}|^{2},

ici comme avant ξ_{1} = l(X_{1}) et b = b(x_{2}, α) dénote un certain élément de G_{0} . La dernière intégrale devient

∫_{ℝ} dx_{1}| ∫_{ℝ} \overline{χ_{l}(b)}dx_{2} ∫_{G_{0}/(G_{0}∩H)} ϕ^{χ}(exp( x_{1} + x_{2}l(Z))X_{1}) exp( −x_{2}X_{2})g_{0})

e^{ix_{2}l(Z)ξ_{1}}χ_{l}(g_{0})dġ_{0}|^{2},
= ∫_{ℝ} dx_{1}| ∫_{ℝ} \overline{χ_{l}(b)}dx_{2} ∫_{G_{0}/(G_{0}∩H)} ϕ^{χ}(exp( x_{1} + x_{2}l(Z))X_{1})g_{0})

e^{ix_{2}l(Z)ξ_{1}}χ_{h(−x_{2})·l}(g_{0})dġ_{0}|^{2}.

On note f_{0} la restriction de f à 𝔤_{0} , Λ l’hyperplane {l ∈ 𝔤^{∗} : l(Y) = 0} de 𝔤^{∗} et Ξ le sous-espace affine f_{0} + (𝔥 ∩ 𝔤_{0})^{⊥} de 𝔤_{0}^{∗}. Soit Ξ_{α} = {l ∈ Ξ : l(Z) = α} et l’on désintègre la mesure de Lebesgue dl sur Ξ_{α} suivant l’action de H: dl = ∫_{Ξ_{α}/H} dν_{α}(l̇) ∫_{ℝ}(h(x) · l̇)dx. Il est facile de vérifier que l’espace borélien Γ_{τ} /H s’identifie à Γ_{τ} ∩ Λ et puis à ℝ × (Ξ/H) par l’application

Γ_{τ} ∩ Λ ∋ l ↦ (l(X_{1}), H · (l_{|𝔤_{0}})) ∈ ℝ × (Ξ/H).

Sous ces observations, la mesure μ̃ s’obtient comme dξ_{1} × ∫_{ℝ} |α|ν_{α}dα. En effet,

∫_{ℝ} |α|dα ∫_{Ξ_{α}/H} dν_{α}(l̇) ∫_{ℝ} ∥π_{l}(ϕ)a_{ω}∥^{2}dξ_{1}

= ∫_{ℝ} dα ∫_{Ξ_{α}/H} dν_{α}(l̇) ∫_{ℝ_{2}} dx_{1}dx_{2}

| ∫_{G_{0}/(G_{0}∩H)} ϕ^{χ}(exp((x_{1} + αx_{2})X_{1})g_{0})χ_{h(−x_{2})·l}(g_{0})dġ_{0}|^{2}

= ∫_{ℝ_{2}} dx_{1}dα ∫_{Ξ_{α}/H} dν_{α}(l̇) ∫_{ℝ} dx_{2}

| ∫_{G_{0}/(G_{0}∩H)} ϕ^{χ}(exp( x_{1}X_{1})g_{0})χ_{h(x_{2})·l}(g_{0})dġ_{0}|^{2}

= ∫_{ℝ_{2}} dx_{1}dα ∫_{Ξ_{α}} | ∫_{G_{0}/(G_{0}∩H)} ϕ^{χ}(exp( x_{1}X_{1})g_{0})χ_{l}(g_{0})dġ_{0}|^{2}dl

= ∫_{ℝ_{2}} dx_{1}dα ∫_{𝔮_{∗}} | ∫_{𝔮×ℝ} ϕ^{χ}(exp( x_{1}X_{1}) exp( V) exp( wZ))e^{il(V)}e^{iαw}dV dw|^{2}dl

= |κ^{χ}(e)|^{2} ∫_{ℝ} |γ(x_{1})|^{2}dx_{1} ∫_{ℝ} |θ̂(α)|^{2}dα ∫_{𝔮_{∗}} |ζ̂(l)|^{2}dl = |κ^{χ}(e)|^{2}∥γ∥^{2}∥ζ∥^{2}∥θ∥^{2}.

En second lieu, supposons X = X_{1} + λX_{2}(λ ∈ ℝ), X′ = X_{2} , et reprenons le même chemin que dans le cas précédent.

∥π_{l}(ϕ)a_{ω}∥_{H_{π_{l}}}^{2} = ∫_{G/B(l)} | ∫_{B(l)/(B(l)∩H)} ϕ^{χ}(gb)χ_{l}(b)dḃ|^{2}dġ.

= ∫_{ℝ} dx_{1}| ∫_{ℝ×(G_{0}/(G_{0}∩H))} ϕ^{χ}(exp((x_{1}X_{1}) exp( x_{2}(αX_{1} − X_{2}))g_{0})

e^{ix_{2}(αl(X_{1})−l(X_{2}))}χ_{l}(g_{0})dx_{2}dġ_{0}|^{2}
= ∫_{ℝ} dx_{1}| ∫_{ℝ×(G_{0}/(G_{0}∩H))} Φ(x_{1}, x_{2}, g_{0})e^{−ix_{2}ξ_{2}(1+λα)}χ_{l}(g_{0})dx_{2}dġ_{0}|^{2}

où

Φ(x_{1}, x_{2}, g_{0}) = ϕ^{χ}(exp((−x_{2}(1 + λα) − λx_{1})X_{2}) exp((x_{1} + x_{2}α)X)bg_{0}).

Ici comme avant ξ_{2} = l(X_{2}), α = l(Z) et b = b(x_{1}, x_{2}, α) dénote un certain élément de G_{0} . Le dernier membre nous donne

∫_{ℝ} dx_{1}| ∫_{ℝ} \overline{χ_{l}(b)}dx_{2} ∫_{G_{0}/(G_{0}∩H)} ϕ^{χ}(exp((−x_{2}(1 + λα) − λx_{1})X_{2})g_{0})

e^{−ix_{2}ξ_{2}(1+λα)}χ_{h(x_{1}+αx_{2})·l}(g_{0})dġ_{0}|^{2}

= \frac{1}{|1 + λα|} ∫_{ℝ} dx_{1}| ∫_{ℝ} \overline{χ_{l}(b)}dx_{2} ∫_{G_{0}/(G_{0}∩H)} ϕ^{χ}(exp((x_{2} − λx_{1})X_{2})g_{0})

e^{ix_{2}ξ_{2}}χ_{h(x_{1}−αx_{2}/(1+λα))·l}(g_{0})dġ_{0}|^{2}

Cette fois, μ̃ = dξ_{2} × ∫_{ℝ} ν_{α}dα nous convient. En effet,

∫_{ℝ_{2}} dξ_{2}dα ∫_{Ξ_{α}/H} ∥π_{l}(ϕ)a_{ω}∥^{2}dν_{α}(l̇)

= \frac{1}{|1 + λα|} ∫_{ℝ_{2}} dx_{1}dα ∫_{Ξ_{α}/H} dν_{α}(l̇) ∫_{ℝ} dξ_{2}

| ∫_{ℝ} \overline{χ_{l}(b)}dx_{2} ∫_{G_{0}/(G_{0}∩H)} Ψ(x_{1}, x_{2}, α, ξ_{2}, g_{0})dġ_{0}|^{2},

où

Ψ(x_{1}, x_{2}, α, ξ_{2}, g_{0}) = ϕ^{χ}(exp((x_{2} − λx_{1})X_{2})g_{0})e^{ix_{2}ξ_{2}}χ_{h(x_{1}−αx_{2}/(1+λα))·l}(g_{0}).

La dernière intégrale est égale à

\frac{1}{|1 + λα|} ∫_{ℝ_{2}} dx_{1}dα ∫_{Ξ_{α}/H} dν_{α}(l̇) ∫_{ℝ} dx_{2}

| ∫_{G_{0}/(G_{0}∩H)} ϕ^{χ}(exp((x_{2} − λx_{1})X_{2})g_{0})χ_{h(x_{1}−αx_{2}/(1+λα))·l}(g_{0})dġ_{0}|^{2}

= ∫_{ℝ_{2}} dx_{1}dα ∫_{Ξ_{α}/H} dν_{α}(l̇) ∫_{ℝ} dx_{2}

| ∫_{G_{0}/(G_{0}∩H)} ϕ^{χ}(exp( x_{2}X_{2})g_{0})χ_{h(x_{1})·l}(g_{0})dġ_{0}|^{2}

= ∫_{ℝ_{2}} dx_{2}dα ∫_{Ξ_{α}} dl| ∫_{G_{0}/(G_{0}∩H)} ϕ^{χ}(exp( x_{2}X_{2})g_{0})χ_{l}(g_{0})dġ_{0}|^{2}

= ∫_{ℝ_{2}} dx_{2}dα ∫_{𝔮_{∗}} dl| ∫𝔮 ϕ^{χ}(exp( x_{2}X_{2}) exp( V))e^{il(V)}e^{iαw}dV dw|^{2}

= |κ^{χ}(e)|^{2} ∫_{ℝ} |γ(x_{2})|^{2}dx_{2} ∫_{𝔮_{∗}} |ζ̂(l)|^{2}dl ∫_{ℝ} |θ̂(α)|^{2}dα
= |κ^{χ}(e)|^{2}∥γ∥^{2}∥ζ∥^{2}∥θ∥^{2}.

Si F (l) n’est pas divisible par α^{r} dans la formule (6), on en tire une contradiction comme mentionné antérieurement. En fait, dans tous les cas examinés plus haut, la normalisation des mesures qu’on vient d’employer entraîne, par abus de langage, que la mesure de Plancherel μ̃ est rationnelle en α = l(Z). Supposons dans la formule (6) que r > 0 et que le polynôme F (l) n’est pas divisible par l(Z). En choisissant proprement des fonctions test, surtout ϕ_{3} ou θ, dont la transformée de Fourier ne s’annule pas au point α = 0, on en déduit que le membre droit de la formule (6) peut se trouver divergent tandis que son membre gauche est convergent.

En fait, pour constater la divergence du membre droit de la formule (6), nous allons valuer ∥π_{l}(ϕ)a_{ω}∥_{H_{π_{l}}}^{2} lorsque α = l(Z) tend vers 0. En examinant l’expression de cette quantité qu’on vient de dvelopper, on trouve que le cas essentiel est celui où dim( 𝔥/𝔥 ∩ 𝔤_{0}) = 1 et où [𝔥, 𝔦] ⊂ ℝZ. En gardant les notations, on a

lim inf_{α→0} ∥π_{l}(ϕ)a_{ω}∥_{H_{π_{l}}}^{2} ≥ ∫_{C} lim inf_{α→0} | ∫_{ℝ} \overline{χ_{l}(b)}dx_{2}

∫_{G_{0}/(G_{0}∩H)} ϕ^{χ}(exp((x_{1} + αx_{2})X_{1})g_{0})e^{iαx_{2}ξ_{1}}χ_{h(−x_{2})·l}(g_{0})dġ_{0}|^{2}dx_{1}

pour toute partie compacte C de ℝ. Pour α ≠ 0, on peut identifier le quotient Ξ_{α}/H aussi à la section Ξ̃_{α} = {l ∈ Ξ_{α} : l(Y) = 1}. Dans la dernière intégrale, si l’on choisit γ ∈ D(ℝ) convenablement, il ne s’agit que de la variable x_{2} telle que αx_{2} reste dans un compact. On tient compte dans ce qui suit, selon le choix de C et de γ, du fait que ce compact non vide devient aussi petit qu’on veut dans la partie positive ℝ_{+} (négative ℝ_{−} si on le veut). Puis, si [𝔥, 𝔤_{0}] ⊄ (𝔥 ∩ ker(f)) + ℝZ, la H -orbite H · (l_{|𝔤_{0}}) ⊂ (𝔤_{0})^{∗} n’est pas bornée pour l ∈ Ξ̃_{α} générique. Comme la formule de Plancherel s’établit aussi pour les fonctions de Schwartz vérifiant la condition de covariance sous l’action de H à droite, on peut choisir une fonction de Schwartz ζ ∈ S(𝔮) telle que la transformée de Fourier

ζ̂(h(−x_{2}) · l) = ∫𝔮 ζ(V)e^{i(h(−x_{2})·l)(V)}dV

s’annule pour tout x_{2} en dehors d’un compact qui ne dépend pas de α. Ceci étant, en projetant Ξ_{α} sur Ξ_{0} le long de 𝔮^{⊥}, on a

lim inf_{α→0} ∥π_{l}(ϕ)a_{ω}∥_{H_{π_{l}}}^{2} ≥

|κ^{χ}(e)|^{2}|θ̂(0)|^{2} ∫_{C} |γ(x_{1})|^{2}dx_{1} |∫_{ℝ} dx_{2} ∫𝔮 ζ(V)e^{i(h(−x_{2})·l_{0})(V)}dv|^{2} ,

où l_{0} ∈ Γ_{0} désigne la projection de l ∈ Γ_{α}. Nous pouvons nous arranger pour que le membre droit de cette dernière inégalité soit positif pour notre fonction ζ ∈ S(𝔮), ce qui nous amène à la divergence cherchée.

Supposons enfin [𝔥, 𝔤_{0}] ⊂ (𝔥 ∩ ker(f)) + ℝZ. Soit 𝔡 = 𝔥 ∩ 𝔤_{0} ∩ ker(f). Alors 𝔧 = 𝔡 + ℝZ est un idéal de 𝔤. En effet, il existe un X_{l} ∈ 𝔤_{0} tel que X(l) = αX_{1} −X_{2} +X_{l} ∈ 𝔤(l) avec α = l(Z). D’où [X(l), 𝔧] ≡ α[X_{1}, 𝔧] modulo 𝔡. Par conséquent, [X_{1}, 𝔧] appartient à ker(l) pour l ∈ Γ_{τ} génériques et donc à 𝔡. Si 𝔧 ≠ ℝZ, il existe Ỹ ∈ 𝔥 tel que [𝔥, Ỹ] = ℝZ, car 𝔧∩𝔷 = ℝZ. On se trouve ainsi dans le cas où presque toutes les G-orbites passant par Γ_{τ} sont saturées dans la direction 𝔨^{⊥}, où 𝔨 dénote le centralisateur de Ỹ dans 𝔤. On peut descendre au sous-groupe distingué K = exp( 𝔨) pour montrer la conjecture.

Soit donc 𝔧 = ℝZ, ce qui revient de dire que 𝔥 = ℝX_{2} + ℝE. En particulier, 𝔡 = {0}. S’il en est ainsi, il découle que 𝔤_{0} = 𝔦. Sinon, on écrirait que 𝔤_{0} = 𝔪 ⊕ 𝔦 avec un certain sous-espace 𝔪 vérifiant [X_{2}, 𝔪] = {0}. D’où α[X_{1}, 𝔪] = [X(l), 𝔪] ⊂ ker(l) pour l ∈ Γ_{τ} générique, i.e. [X_{1}, 𝔪] ⊂ 𝔡 = {0}. Le centre 𝔷 étant contenu dans 𝔦, 𝔪 s’avère trivial.

Il ne nous reste donc plus qu’à étudier un exemple:

𝔤 = ⟨X_{1}, X_{2}, Y, E, Z⟩_{ℝ}, 𝔥 = ⟨X_{2}, E⟩_{ℝ}

avec f(X_{2}) = 0, f(E) = 1. Les relations de crochet s’écrivent: [X_{1}, Y] = E, [X_{2}, Y] = Z et [X_{1}, X_{2}] ∈ 𝔤_{0} = 𝔦 = ⟨Y, Z, E⟩ℝ. Supposons que [X_{1}, X_{2}] ≠ 0, sinon tout est clair. Soit X = ZX_{1} + [X_{1}, X_{2}]Y , si [X_{1}, X_{1}] ∈ 𝔷, ou X = 2ZX_{1} + δY^{2} si [X_{1}, X_{2}] = δY ∉ 𝔷, quitte à remplacer Y ∈ 𝔦 \ 𝔷. On a déja vu dans le cas où dim(𝔥)=1 que X ∈ U(𝔤)^{H} et que P_{X}(l) était une fonction polynomiale de l génériques. Considérons un élément représentatif

W = P_{m}(Z)X_{1}^{m} + ∑_{k=0}^{m−1} P_{k}(Y, Z)X_{1}^{k}

dans U(𝔤, τ), où P_{m} est un polynôme à une variable et où P_{k}(0 ≤ k ≤ m − 1) sont à deux variables. Alors [X_{2}, W] ∈ U(𝔤)(E_{1}+if(E)) et donc [X_{2}, \overline{β^{−1}(W)}] ∈ S(𝔤)(E−if(E)). On écrit dans S(𝔤) avec certains polynômes Q_{k}(0 ≤ k ≤ m−1) à deux variables:

\overline{β^{−1}(W)} = P_{m}(Z)X_{1}^{m} + ∑_{k=0}^{m−1} Q_{k}(Y, Z)X_{1}^{k}

modulo S(𝔤)(E − if(E)). En calculant la condition [X_{2}, \overline{β^{−1}(W)}] ∈ S(𝔤)(E − if(E)), on vérifie aussitôt que P_{m}(Z) est divisible par Z^{m}. On en déduit qu’il existe un polynôme P̃_{m} à une variable tel que W − P̃_{m}(Z)X^{m} ∈ U(𝔤, τ) est de degré tout au plus m − 1 par rapport à X_{1} . Il résulte de la récurrence sur ce dgré que P_{W} (l) sétend en un élément de ℂ[Γ_{τ}]^{H}.

On arrive ainsi au:

Théorème 1. Supposons que τ = ind_{H}^{G}χ est à multiplicités finies. Si dim( G · l) ≤ 2 pour l ∈ Γ_{τ} génériques, alors la conjecture de Corwin-Greenleaf s’établit.

Allons montrer le fait qu’on a utilisé dans la démonstration du théorème 1. Par ailleurs A.Baklouti et J.Ludwig (cf. [3]) viennent de démontrer ce fait indépendamment de l’auteur. Leur méthode se repose sur une théorie de l’opérateur d’entrelacement qu’ils ont exploitée (cf. [2]). A savoir:

Théorème 2. La conjecture de Corwin-Greenleaf s’établit, s’il existe une polarisation 𝔟 commune pour μ-presque toutes l ∈ Q.

Démonstration. Prenons un idéal 𝔫 de codimension 1 contenant 𝔟. Soient N = exp( 𝔫), B = exp( 𝔟), 𝔥_{0} = 𝔥∩𝔫, H_{0} = exp( 𝔥_{0}) et τ_{0} = ind_{H_{0}}^{N}χ. Si 𝔥 ⊂ 𝔫, tout se ramène à 𝔫 auquel s’applique l’hypothèse de récurrence. Supposons que 𝔥 ⊄ 𝔫. Pour tout X ∈ D_{τ} (G/H) ≃ U(𝔤, τ)/U(𝔤)𝔞_{τ}, on choisit son représentant dans U(𝔫) et on identifie Γ_{τ} = f + 𝔥^{⊥} avec Γ_{τ_{0}} = (f_{|𝔫}) + (𝔥_{0})^{⊥,𝔫^{∗}} ⊂ 𝔫^{∗}. Alors on voit comme dans la démonstration du théorème 1 de [14] que P_{X}(l) nous donne un polynôme sur Γ_{τ}.

Inversement on se donne un polynôme F (l) ∈ ℂ[Γ_{τ}]^{H}. D’après la H_{0} - invariance de F (l), l’hypothèse de récurrence dit qu’il existe X ∈ U(𝔫, τ_{0}) tel que P_{X}(l) = F (l) pour l ∈ Γ_{τ_{0}} génériques, i.e. \overline{X}a_{0}(l) = \overline{F (l)}a_{0}(l), où a_{0}(l) dénote la distribution de Penney pour (H_{0}, π_{0}(l)) avec π_{0}(l) = ind_{B}^{N}χ_{l}. Ceci étant, on rappelle un argument utilisé antérieurement. La définition (3) de a_{0}(l) nous fournit,

⟨\overline{X}a_{0}(l), ψ⟩ = ∫_{H_{0}/(H_{0}∩B)} \overline{(L(^{t}X)ψ)(h)χ(h)}dh

pour tout ψ ∈ H_{π_{0}(l)}^{∞}. Soit 𝔥 = 𝔥_{0} + ℝY avec un certain Y ∉ 𝔫. Posons h_{s} = exp( sY)(∀s ∈ ℝ) et ψ_{s}(n) = ψ(h_{s}^{−1}nh_{s})(∀n ∈ N). F étant H -invariante,

⟨\overline{F (h_{s} · l)}a_{0}(h_{s} · l), ψ_{s}⟩ = \overline{F (l)}⟨a_{0}(h_{s} · l), ψ_{s}⟩

= \overline{F (l)} ∫_{H_{0}/(H_{0}∩h_{s}Bh_{s}^{−1})} \overline{ψ_{s}(h)χ(h)}dh = \overline{F (l)} ∫_{H_{0}/(H_{0}∩B)} \overline{ψ(h)χ(h)}dh
= \overline{F (l)}⟨a_{0}(l), ψ⟩ = ⟨\overline{X}a_{0}(l), ψ⟩.

D’autre part,

⟨\overline{F (h_{s} · l)}a_{0}(h_{s} · l), ψ_{s}⟩ = ⟨\overline{X}a_{0}(h_{s} · l), ψ_{s}⟩
= ∫_{H_{0}/(H_{0}∩h_{s}Bh_{s}^{−1})} \overline{(L(^{t}X)ψ_{s})(h)χ(h)}dh

= ∫_{H_{0}/(H_{0}∩B)} \overline{(L(^{t}(h_{−s} · X))ψ)(h)χ(h)}dh = ⟨\overline{(h_{−s} · X)}a_{0}(l), ψ⟩.

D’où

\overline{(h_{−s} · X)}a_{0}(l) = \overline{X}a_{0}(l)(∀s ∈ ℝ)

presque partout pour l ∈ Q. Ce qui veut dire par différentiation que [Y, X] ∈ U(𝔫)𝔞_{τ}. Autrement dit X ∈ U(𝔤, τ).

Corollaire 1. Si 𝔥 est un idéal de 𝔤, on vérifie la conjecture.

Démonstration. En effet, il est bien connu que, si τ est à multiplicités finies, le stabilisateur de f_{|𝔥} ∈ 𝔥^{∗} dans 𝔤 est une polarisation commune pour presque toutes l ∈ Γ_{τ}.

Corollaire 2. Si dim( 𝔥) = \frac{1}{2}(dim( 𝔤)+dim( 𝔤(l))−1 pour l ∈ Γ_{τ} génériques, la conjecture s’établit.

Démonstration. La condition signifie que dim( 𝔥) = dim( 𝔟(l))−1 pour l ∈ Γ_{τ} génériques. Donc si le centre 𝔷 de 𝔤 n’est pas contenu dans 𝔥, alors 𝔟 = 𝔥+𝔷 est une polarisation commune pour l ∈ Γ_{τ} génériques. Si 𝔷 ⊂ 𝔥 et si dim( 𝔷) ≥ 2, on peut passer au quotient 𝔤/(𝔷 ∩ ker(f)) auquel s’applique l’hypothèse de récurrence.

Soient 𝔷 ⊂ 𝔥 et dim( 𝔷) = 1. Si f(𝔷) = {0}, on descend au quotient 𝔤/𝔷. Soit enfin f(𝔷) ≠ {0}. On prend un Y ∈ 𝔤 \ 𝔷 tel que [Y, 𝔤] ⊂ 𝔷 et on introduit le centralisateur 𝔤_{0} de Y dans 𝔤. Si 𝔥 ⊂ 𝔤_{0} , il ne reste rien à faire; il suffit d’appliquer l’hypothèse de récurrence à 𝔤_{0} .

Finalement on considère le cas où 𝔥 ⊄ 𝔤_{0} . On modifie 𝔥 à 𝔥′ = 𝔥_{0} +ℝY , 𝔥_{0} = 𝔥 ∩ 𝔤_{0} , pour arriver au résultat cherché. Soient Z ∈ 𝔷, X ∈ 𝔥 tels que 𝔥 = ℝX+𝔥_{0} , f(Z) = 1 et tel que [X, Y] = Z. On fixe l_{0} ∈ Q et soit f′ ∈ 𝔤^{∗} telle que f′_{|𝔥_{0}} = f_{|𝔥_{0}} et que f′(Y) = l_{0}(Y). Quitte à remplacer Y par Y − l_{0}(Y)Z,

on peut supposer que l_{0}(Y) = 0.

On voit alors que τ′ = ind_{H′}^{G}χ_{f′}, où H′ = exp( 𝔥′), est à multiplicités finies. Etant donné un élément de D_{τ} (G/H), on choisit son représentatif W ∈ U(𝔤, τ) dans U(𝔤_{0}). Alors W ∈ U(𝔤, τ′) et la fonction P′_{W} (l) construite à partir du couple (f′, 𝔥′) est un polynôme H′ -invariant sur Γ_{τ′}. Combiné avec le fait que P_{W} (l) est H -invariant, cela entraîne que P_{W} (l) = P′_{W} (exp( −l(Y)X) · l) pour l ∈ Q et par suite que P_{W} (l) est polynomiale sur Γ_{τ}. On se donne maintenant F (l) ∈ ℂ[Γ_{τ}]^{H}. Pour l ∈ Q, on choisit une polarisation 𝔟(l) contenue dans 𝔤_{0} . Soient H_{0} = exp( 𝔥_{0}), G_{0} = exp( 𝔤_{0}), B(l) = exp( 𝔟(l)) et π_{0}(l) = ind_{B(l)}^{G_{0}}χ_{l}(l ∈ Q). Notons Φ le sous-espace de 𝔤_{0}^{∗} défini par Φ = f_{|𝔤_{0}} + (𝔥_{0})^{⊥,𝔤_{0}^{∗}}. La surjectivité de l’application concernant le couple (f′, 𝔥′) et la H -invariance de la fonction F (l) montrent qu’il existe W ∈ U(𝔤_{0}, τ′) tel qu’on ait F (l) = P′_{W} (exp( −l(Y)X) · l)(l ∈ Q). Mais alors la définition (3) de la distribution de Penney a_{0}(l) concernant le couple (H_{0}, π_{0}(l)) nous donne \overline{W} a_{0}(l) = \overline{F (l)}a_{0}(l) pour l ∈ Φ génériques, et par conséquent on peut suivre le même chemin que dans la démonstration du corollaire 1 pour montrer que W ∈ U(𝔤, τ) et ensuite que P_{W} (l) = F (l).

Corollaire 3. Si dim( G) ≤ 6, alors la conjecture s’établit.

Démonstration. Supposons par exemple dim( G) = 6. Soit d = dim( 𝔥). Si d = 6, il n’y a rien à faire. Si d = 1, le résultat s’ensuit du théorème 1, de même pour d = 2 car on se ramène au cas où dim( 𝔥 ∩ 𝔷) = 1, 𝔷 désignant le centre de 𝔤, comme on l’a remarqué au cours de la réduction. Si d = 5, il suffit d’appliquer à 𝔥 le corollaire 1. Si d = 4, le théorème 1 s’applique, quitte à supposer que τ = ind_{H}^{G}χ n’est pas irréductible.

Il ne nous reste qu’à examiner le cas où d = 3. Mais si dim( 𝔟(l)) = 4 au point l ∈ Γ_{τ} génériques, le résultat découle du corollaire 2. Si enfin dim( 𝔟(l)) = 6 ou 5 μ-presque partout, alors dim( G · l) ≤ 2 et l’assertion s’obtient encore une fois du théorème 1.

Réferences

[1] Benoist, Y., Espaces symétriques exponentiels, Thèse de 3e cycle, Univ. de Paris VII, (1983).

[2] Baklouti, A., Opérateurs d’entrelacement des représentations unitaires et cortex des groupes de Lie nilpotents, Thèse, Univ. de Metz, (1995).

[3] Baklouti, A., Ludwig J., Invariant differential operators on certain nilpotent homogeneous spaces, Preprint.

[4] Bourbaki, N., “Intégration,” Hermann, Paris, 1–4: 1965^{2} , 5: 1967, 6: 1959, 7–8: 1963.

[5] Corwin, L. J., Greenleaf, F. P. and Grélaud, G., Direct integral decompositions and multiplicities for induced representations of nilpotent Lie groups, Trans. Amer. Math. Soc. 304 (1987), 549–583.

[6] Corwin, L. J. and Greenleaf, F. P., “Representations of nilpotent Lie groups and their applications, Part I,” Cambridge Univ. Press, 1989.

[7] —, Commutativity of invariant differential operators on nilpotent homogeneous spaces with finite multiplicity, Comm. Pure Appl. Math. 45 (1992), 681–748.

[8] —, Spectral decomposition of invariant differential operators on certain nilpotent homogeneous spaces, J. Func. Anal. 108 (1992), 374–426.

[9] Duflo, M., Opérateurs différentiels invariants sur un espace symétrique, C. R. Acad. Sc. Paris Série A 289 (1979), 135–137.

[10] —, “Opérateurs différentiels invariants et homologie des algèbres de Lie,” l’Appendice du cours en Tunis, 1983.

[11] Duflo, M., Open problems in representation theory of Lie groups, edited by T. Oshima, 1-5, (1986).

[12] Grélaud, G., Sur les représentations des groupes de Lie résolubles, Thèse, Univ. de Poitiers (1984).

[13] Fujiwara, H., Représentations monomiales des groupes de Lie nilpotents, Pacific J. Math. 127 (1987), 329–351.

[14] —, Analyse harmonique pour certaines représentations induites d’un groupe de Lie nilpotent, préprint.

[15] Kirillov, A. A. Unitary representations of nilpotent Lie groups, Uspehi Mat. Nauk 17 (1962), 57–110.

[16] Lipsman, R., Orbital parameters for induced and restricted representations, Trans. Amer. Math. Soc. 313 (1989), 433–473.

[17] Penney, R., Abstract Plancherel theorems and a Frobenius reciprocity theorem, J. Func. Anal. 18 (1975), 177–190.

[18] Torossian, C., Opérateurs différentiels invariants sur les espaces symétriques I, Méthodes des orbites, J. Func. Anal. 117 (1993), 118–173.

Faculté de Technologie à Kyusyu Université de Kinki Iizuka 820 Japan fujiwara@fuk.kindai.ac.jp

Received July 1, 1996 and in final form October 30, 1996