Journal of Lie Theory Volume 8 (1998) 153–162 C ◯1998 Heldermann Verlag

Irreductibilité de certaines representations non unitaires dans des espaces de distributions propres

Abderrahim Khaoua

Communicated by K.-H.Neeb

Abstract. Let G_{0}=K×V a semi-direct product of a compact Lie group K and a vector space V . Let E_{χ} be the joint eigenspace (of functions or distributions) of the G_{0} -invariant differential operators on G_{0}/K associated to a character χ of the algebra of these operators. We give a sufficient condition for topological irreducibility of the action of G_{0} on E_{χ}. This is a partial generalisation of a result of S. Helgason when G_{0} is a Cartan motion group. The present proof is of a more algebraic nature.

1. Introduction

1.1. Soient K un groupe de Lie compact réel, V un espace vectoriel réel et ρ : K ⟶ GL(V) un homomorphisme régulier de K dans V . On regarde K comme un groupe algébrique réel. On considère le groupe produit semi-direct G_{0} = K ×_{ρ} V , la loi de groupe étant donnée par :

(k_{1}, u_{1}).(k_{2}, u_{2}) = (k_{1}k_{2}, k_{2}^{−1}u_{1} + u_{2})

pour tous (k_{1}, k_{2}) ∈ K^{2} et (u_{1}, u_{2}) ∈ V^{2} . Si l’on identifie K et V à des sousgroupes de G_{0} , alors tout élément g = (k, u) dans G_{0} s’écrit de manière unique sous la forme g = ku.

1.2. On note 𝔻(V) la ℂ-algèbre constituée des opérateurs différentiels sur V à coefficients constants. Soit V_{ℂ} l’espace complexifié de V . Alors, l’algèbre symétrique S(V) de V s’identifie à l’algèbre des fonctions polynômes :

p : V_{ℂ}^{∗} ⟶ ℂ.

Pour λ ∈ V_{ℂ}^{∗}, on pose :

e_{λ}(v) = e^{⟨λ,v⟩}, v ∈ V.

ISSN 0949–5932 / $2.50 ^{_{C} ◯} Heldermann Verlag Considérons maintenant l’application σ : 𝔻(V) ⟶ S(V) définie par :

(σ(D))(λ) := e_{−λ}D(e_{λ}), λ ∈ V_{ℂ}^{∗}, D ∈ 𝔻(V).

Alors σ est un isomorphisme unitaire de ℂ-algèbres. Si on note 𝔻(V)^{K} et S(V)^{K} les sous-algèbres de 𝔻(V) et S(V), constituées des éléments K -inva-riants, alors la restriction de σ à 𝔻(V)^{K} est un isomorphisme de 𝔻(V)^{K} sur S(V)^{K}, qu’on notera également par σ.

Comme l’espace symétrique G_{0}/K s’identifie canoniquement à V , l’algèbre 𝔻(G_{0}/K) des opérateurs G_{0} -invariants sur G_{0}/K s’identifie à 𝔻(V)^{K}.

Par un théorème d’Hilbert, l’algèbre S(V)^{K} est de type fini. Soient p_{1}, …, p_{r} tels que : S(V)^{K} = ℂ[p_{1}, …, p_{r}]. Pour 1 ≤ k ≤ r, notons D_{k} = σ^{−1}(p_{k}), de sorte que 𝔻(V)^{K} = ℂ[D_{1}, …, D_{r}].

1.3. Si χ : 𝔻(V)^{K} ⟶ ℂ est un caractère de 𝔻(V)^{K}, on considère l’espace :

E_{χ} = {f ∈ C^{∞}(V)|(∀D ∈ 𝔻(V)^{K})D.f = χ(D)f}

qu’on munit de la topologie de Fréchet induite par la topologie usuelle de C^{∞}(V). Le groupe G_{0} opère sur E_{χ} par :

(π_{χ}(g).f)(X) = f(g^{−1}.X)

pour f ∈ E_{χ}, g ∈ G et X ∈ V ≃ G/K. Plus précisément :

(π_{χ}(k).f).(X) = f(ρ(k)^{−1}.X), k ∈ K

et

(π_{χ}(X_{0}).f).(X) = f(X − X_{0}) pour X_{0} ∈ V.

On note par D′(V) l’espace des distributions sur V .

De même, on considère la représentation (π′_{χ}, D′_{χ}), où :

D′_{χ} = {T ∈ D′(V)|(∀D ∈ 𝔻(V)^{K})D.T = χ(D)T }

muni de la topologie duale forte et où le groupe G_{0} opère par :

(π′_{χ}(g).T).f = ⟨T, g^{−1}.f⟩

pour T ∈ D′(V), f ∈ D(V) et g ∈ G.

D’après [12], la représentation (π_{χ}, E_{χ}) est topologiquement irréductible (resp. scalairement irréductible) si et seulement si (π′_{χ}, D′_{χ}) est topologiquement irréductible (resp. scalairement irréductible). On s’intéresse, dans ce qui suit, à la représentation (π_{χ}, E_{χ}).

1.4. Soit p : V_{ℂ}^{∗} ⟶ ℂ^{r} l’application polynômiale définie par : p(x) = (p_{1}(x), …, p_{r}(x)), x ∈ V_{ℂ}^{∗}, et pour 1 ≤ k ≤ r posons ξ_{k} = χ(D_{k}). Il est clair que la représentation (π_{χ}, E_{χ}) est paramétrée par ξ = (ξ_{1}, …, ξ_{r}). On note K_{ℂ} le groupe algébrique réductif complexe obtenu en complexifiant K. On considère les deux conditions suivantes :

C_{1} - La variété affine p^{−1}(ξ) est une K_{ℂ} -orbite.
C_{2} - L’idéal ⟨p_{1} − ξ_{1}, …, p_{r} − ξ_{r}⟩ est radiciel.

On peut maintenant énoncer le résultat principal :

Théorème 1.5. Si les conditions C_{1} et C_{2} sont satisfaites, alors les représentations (π_{χ}, E_{χ}) et (π′_{χ}, D′_{χ}) sont topologiquement irréductibles.

Corollaire 1.6. Sous les hypothèses de 1.5, les représentations (π_{χ}, E_{χ}) et (π′_{χ}, D′_{χ}) sont scalairement irréductibles.

Démonstration. 5 et de [14], où il est prouvé que l’irréductibilité topologique implique l’irréductibilité scalaire (fait qui n’est pas toujours vérifié pour les représentations non-unitaires).

2. Les vecteurs de Kempf-Ness

2.1. Nous rappelons dans ce numéro un résultat de base, concernant les vecteurs de longueur minimale, dû à Kempf et Ness. On conserve les notations du numéro 1. L’action de K dans V induit une action de K_{ℂ} dans V_{ℂ}. Soit ( | ) une forme hermitienne K -invariante sur V_{ℂ} et notons ∥.∥ la norme associée à ( | ).

Pour v ∈ V_{ℂ}, on note F_{v} : K_{ℂ} ⟶ ℝ^{+} la fonction définie par : F_{v}(g) = ∥g.v∥^{2} . On dira que v est un vecteur de longueur minimale si : ∥v∥ ≤ ∥g.v∥ pour tout g ∈ K_{ℂ}.

Théorème 2.2. ([10])

(1) L’application F_{v} admet un point critique si et seulement si l’orbite K_{ℂ}.v est fermée.

(2) Tout point critique de F_{v} est un minimum. Supposons que F_{v}(e) est un minimum. Alors :

(3) K.v = {v′ ∈ K_{ℂ}.v|∥v′∥ = ∥v∥}

(4) (K_{ℂ})_{v} = (K_{v})_{ℂ}, où (K_{ℂ})_{v} (resp. K_{v}) est le stabilisateur de v dans K_{ℂ}

(resp. dans K). On retiendra surtout que toute K_{ℂ} -orbite fermée dans V_{ℂ} admet un vecteur de longueur minimale.

3. Transformation de Poisson

3.1. Soient λ ∈ V_{ℂ}^{∗}, K_{λ} le stabilisateur de λ dans K, et dk une mesure K - invariante sur K/K_{λ}. On note P_{λ} : L^{2}(K/K_{λ}) ⟶ C^{∞}(V) l’opérateur défini par :

(P_{λ}(f))(X) = ∫_{K/K_{λ}} f(k)e^{⟨k.λ,X⟩}dk

pour f ∈ L^{2}(K/K_{λ}) et X ∈ V .

Proposition 3.2. Soit O une K_{ℂ} -orbite fermée dans V_{ℂ}^{∗}. Alors il existe λ ∈ O tel que pour tout μ ∈ K.λ, P_{μ} est injective.

Démonstration. D’après le théorème 2.2. appliqué à V_{ℂ}^{∗}, O contient un vecteur λ de longueur minimale. Il est clair que tout vecteur μ ∈ K.λ est de longueur minimale. Il est alors observé dans [11] que P_{μ} est injective.

4. Démonstration du théorème 1.5

4.1. Soit E_{ξ} le sous-espace de E_{χ} engendré par {e_{v}, v ∈ p^{−1}(ξ)}. Alors E_{ξ} est dense dans E_{χ}. En effet, la condition C_{2} permet d’appliquer directement la proposition II.3 de [14]. Ce fait provient essentiellement d’un résultat classique de Malgrange.

4.2. Soit maintenant {0} ≠ W ⊂ E_{χ} un sous-espace fermé et G_{0} -invariant. Il s’agit de montrer que W = E_{χ}. Par hypothèse et compte tenu de la proposition 3.2., il existe λ ∈ V_{ℂ}^{∗} tel que p^{−1}({ξ}) = K_{ℂ}.λ et que P_{λ} est injective. Notons ψ_{λ} : V ⟶ ℂ l’application définie par :

ψ_{λ}(X) = ∫_{K} e^{⟨k.λ,X⟩}dk, X ∈ V.

Alors ψ_{λ} est dans E_{χ} et elle est K -invariante. Comme l’espace des fonctions sphériques dans E_{χ} est de dimension un [5], il est engendré par ψ_{λ}. En intégrant un élément de W sur K, de sorte que la fonction obtenue soit non nulle, on voit que W contient ψ_{λ}.

Posons maintenant :

\begin{matrix}H_{λ} = & Im(P_{λ}) \\ = & \{f(X) = ∫_{K/K_{λ}} F (k)e^{⟨k.λ,X⟩}dk, F ∈ L^{2}(K/K_{λ})\} \end{matrix}

On munit H_{λ} d’une structure d’espace hilbertien comme suit : si f = P_{λ}(F) et f′ = P_{λ}(F′), on pose : (f|f′) = (F, F′)_{L^{2}(K/K_{λ})} . Comme P_{λ} est injective, l’espace engendré par {F_{X} : kK_{λ} ⟶ e^{⟨kλ,X⟩}, X ∈ V } est dense dans L^{2}(K/K_{λ}), de sorte que celui engendré par {P_{λ}(F_{X}), X ∈ V } est dense dans H_{λ}. Or

P_{λ}(F_{X}) = (π_{χ}(−X)).ψ_{λ} ∈ W.

Comme l’injection canonique H_{λ} ↪ E_{χ} est continue, on voit que H_{λ} ⊂ W.

On note W^{⊥} l’orthogonal de W dans le dual de C^{∞}(V). C’est donc l’espace de distributions, à support compact sur V , identiquement nulles sur W.

Soit maintenant T un élément dans W^{⊥} (T est en particulier une distribution à support compact sur V ). Alors pour tout f dans L^{2}(K/K_{λ}) :

⟨T_{X}, ∫_{K/K_{λ}} e^{⟨k.λ,X⟩}f(k)dk >= ∫_{K/K_{λ}}⟨T_{X}, e^{⟨k.λ,X⟩}⟩f(k)dk = 0.

Ceci résulte du fait que T est somme de dérivées de fonctions continues à support compact dans V , de la compacitè de K et du théorème de Fubini pour les fonctions. Comme f est arbitraire, ⟨T_{X}, e^{⟨k,λ,X⟩}⟩ = 0 pour tout k ∈ K. Par prolongement analytique,

⟨T, e_{v}⟩ = 0, ∀v ∈ p^{−1}({ξ}).

Compte tenu de 4.1., T est identiquement nulle sur E_{χ}, et par conséquent W = E_{χ}. D’où le résultat voulu.

5. Un exemple général

Nous démontrons dans cette section que lorsque p_{1}, …, p_{r} sont algébriquement indépendants, les représentations qu’on considère sont topologiquement irréductibles (génériquement). Nous rappelons d’abord un résultat de base concernant le quotient d’un espace vectoriel pour un groupe réductif.

5.1. Soit ρ : G ⟶ GL(W) une représentation du groupe algébrique réductif complexe G dans W. On sait également que ℂ[W]^{G} est de type fini. On note W/G la variété algébrique affine associée à ℂ[W]^{G}. D’autre part, l’homomorphisme canonique ℂ[W]^{G} ↪ ℂ[W] induit un morphisme π : W ⟶ W/G de variétés. Soit p : W ⟶ ℂ^{r} le morphisme défini par : p = (p_{1}, …, p_{r}), où les p_{i} sont les générateurs de ℂ[W]^{G}. Voici quelques résultats de base sur W/G.

Proposition 5.2. [1]

(1) Si on note Y la variété des relations des p_{i}, alors W/G est isomorphe à Y .

(2) Im(p) = Y

(3) Le morphisme p sépare les ensembles algébriques de W qui sont disjoints et G-invariants.

(4) Si v ∈ W, alors \overline{G.v}\Gv est une réunion d’orbites de dimensions strictement inférieures à dim G.v (ce fait n’utilise pas que G est réductif).

(5) L’adhérence de chaque G-orbite dans W contient une seule orbite fermée.

Remarque 5.3. Revenons maintenant aux notations du 1. Il est clair que les représentations π_{ξ} et π′_{ξ} sont paramétrées par la variété V_{ℂ}^{∗}/K_{ℂ}, ou, ce qui revient au mıme, par les fibres du morphisme p. Nous allons appliquer ce résultat pour G = K_{ℂ} et W = V_{ℂ}^{∗}.

Lemma 5.4. On suppose que l’algèbre ℂ[p_{1}, …, p_{r}] est un anneau de polynômes. Alors il existe un ouvert de Zariski non vide U dans V_{ℂ}^{∗}, G-invariant et π -saturé tel que :

(1) Pour tout x ∈ U, la fibre p^{−1}{p(x)} est une K_{ℂ} -orbite fermée de dimension maximale.

(2) Pour tout x ∈ U, l’idéal ⟨p_{1} − ξ_{1}, …, p_{r} − ξ_{r}⟩ est radiciel.

Démonstration. Rappelons que le morphisme p : V_{ℂ}^{∗} ⟶ Im(p) est une réalisation de π. Notons m la dimension maximale des orbites de K_{ℂ} dans V_{ℂ}^{∗} (qu’on appelle orbites régulières). On pose :

\begin{matrix}V_{R} = & \{x ∈ V_{ℂ}^{∗}| dim K_{ℂ}.x = m\} \\ V_{L} = & \{x ∈ V_{ℂ}^{∗}| dim⟨dp_{1}(x), …, dp_{r}(x)⟩ = r\} \end{matrix}

Ce sont deux ouverts de Zariski non vides de V_{ℂ}^{∗}. Pour V_{L}, ceci provient du fait que les p_{i} sont algébriquement indépendants et c’est un fait classique. En particulier, H = V_{R} ∩ V_{L} est un ouvert de Zariski de V_{ℂ}^{∗} et il est K_{ℂ} -invariant. Par ailleurs [8], V_{ℂ}^{∗} contient un ouvert dense V_{F} , constitué d’orbites fermées. Il en résulte que U = H ∩ V_{F} est un ouvert non vide de V_{ℂ}^{∗} et K_{ℂ} -invariant.

Soit x ∈ U. Alors K_{ℂ}.x est l’unique orbite fermée contenue dans la fibre p^{−1}\{p(x)\}. D’autre part, si y ∈ π^{−1}(π(x)), \overline{G.y} ⊃ G.x (où l’on a posé G = K_{ℂ}) ; en particulier dim \overline{Gy} ≥ dim Gx. Comme x est régulier, dim Gx ≥ dim \overline{Gy} = dim Gy. Il en résulte que G.x = \overline{G.y}. En effet, si x ∉ G.y, G.x ⊂ \overline{G.y}\G.y, donc dim G.x < dim \overline{G.y}. Contradiction. En particulier y ∈ G.x. On vient d’établir que π^{−1}(π(x)) = G.x pour x ∈ U (en réalité, on obtient le mıme résultat en considérant l’ouvert V_{R} ∩ V_{F} ⊃ U).

Posons, pour x ∈ U, ξ = p(x) = (ξ_{1}, …, ξ_{r}) ∈ ℂ^{r}. Alors :

p^{−1}{ξ} = {y ∈ V_{ℂ}^{∗}|p_{i}(y) − ξ_{i} = 0, ∀1 ≤ i ≤ r} = G.x

Donc codim p^{−1}{ξ} = rg(dp_{1}(y), …, dp_{r}(y)), pour tout y ∈ p^{−1}{ξ}. D’après le lemme 6.1, l’idéal ⟨p_{1} − ξ_{1}, …, p_{r} − ξ_{r}⟩ est radiciel (noter que les orbites sont équidimensionnelles).

Les conditions C_{1} et C_{2} sont donc satisfaites pour tout ξ ∈ p(U).

Corollaire 5.5. On suppose que l’algèbre ℂ[p_{1}, …, p_{r}] est libre. Alors il existe un ouvert U_{0} (de Zariski) dans V_{ℂ}^{∗}/K_{ℂ} tel que pour tout ξ ∈ U_{0} , les représentations correspondantes (π_{ξ}, E_{ξ}) et (π′_{ξ}, D′_{ξ}) sont topologiquement et scalairement irréductibles.

Démonstration. Soit U comme dans le lemme 5.4. C’est un ouvert K_{ℂ} - invariant et saturé (i.e. π^{−1}(π(U)) = U). Alors U_{0} = π(U) est un ouvert de V_{ℂ}^{∗}/K_{ℂ}, et le lemme 5.4 montre que U_{0} a les propriétés requises.

5.5.A. Le cas des représentations polaires.

On conserve les notations de la section 1 et on note 𝔨 l’algèbre de Lie de K. Pour v ∈ V , posons 𝔞_{v} = (𝔨.v)^{⊥}, où 𝔨.v est l’espace tangent à l’orbite K.v en v. On dira que v est régulier si dim K.v est maximale. D’après [2], la représentation (ρ, V) est dite polaire s’il existe un élément régulier v ∈ V tel que :

𝔨.u ⊂ (𝔞_{v})^{⊥}, ∀u ∈ 𝔞_{v}.

Il revient au mıme de dire que les sous-espaces 𝔞_{v}, v régulier, constituent une seule classe de conjugaison sous l’action de K. Dans ces conditions, les sousespaces 𝔞_{v}, v étant régulier, sont appelés sous-espaces de Cartan de (K, V).

D’après [3], l’algèbre des invariants ℂ[V_{ℂ}]^{K_{ℂ}} est libre. Compte tenu du corollaire 5.5., les représentations π_{ξ} et π′_{ξ}, ξ ∈ Im(p) sont génériquement topologiquement irréductibles (donc scalairement irréductibles).

Remarque . La représentation adjointe associée à une paire symétrique réductive est polaire. Les sous-espaces de cartan, au sens de [2], coincident avec les sous-espaces de Cartan usuels. On retrouve en particulier une partie du résultat de Helgason ([4] , T h.6.6). L’ouvert U coincide avec celui des éléments réguliers.

5.5.B. Les représentations colibres.

Les représentations polaires constituent une sous-classe des représentations (K, V) telles que ℂ[V_{ℂ}] soit un ℂ[V_{ℂ}]^{K_{ℂ}} -module libre. D’après [9], th. 12, l’algèbre des invariants ℂ[V_{ℂ}]^{K_{ℂ}} est libre. Donc le corollaire 5.5. s’applique.

5.5.C. Dans le rapport de Popov [9], les sections 3 et 4 fournissent (entre autres) des renseignements concernant les représentations (G, W) de groupes algébriques réductifs complexes satisfaisant l’une des propriétés suivantes :

(1) (G, W) est colibre.

(2) ℂ[W]^{G} est libre.

Dans les tables de classification auxquelles Popov renvoie, se trouvent des représentations de type (K_{ℂ}, V_{ℂ}), i.e. des complexifiées de représentations réelles de groupes compacts. Ceci permet d’obtenir d’autres exemples de représentations qui sont, génériquement, topologiquement irréductibles.

6. Un critère d’irréductibilité.

Nous aurons besoin du résultat suivant, sans doute bien connu, lequel utilise des notions d’algèbre locale, qu’on peut trouver dans [13]. Faute de référence appropriée, cf. néanmoins [7], nous en donnons une preuve.

Lemme 6.1. Soit X ⊂ ℂ^{n} une variété affine équidimensionnelle. On suppose : (1) X = {x ∈ ℂ^{n}|f_{1}(x) = f_{2}(x) = … = f_{r}(x) = 0}

(2) ∀x ∈ X, rg{df_{1}(x), …, df_{r}(x)} = codim X.

Alors l’idéal ⟨f_{1}, …, f_{r}⟩ est radiciel.

Démonstration. Soit S = O(ℂ^{n}) l’algèbre des fonctions régulières sur ℂ^{n}. Posons : I = ⟨f_{1}, …, f_{r}⟩, I(X) = \sqrt{⟨f_{1}, …, f_{r}⟩}, S/I(X) = O(X) et ℓ = codimX. On sait que :

dim S/I(X) + htI(X) = dim S = n.

a) Posons S_{x} = O(ℂ^{n})_{x}, l’anneau local de ℂ^{n} en x. C’est un anneau local régulier. L’hypothèse (2) s’exprime en disant que :

rg{df_{1}(x), …, df_{r}(x)} = ℓ dans T_{x}^{∗}ℂ^{n} ≃ m_{x}/m_{x}^{2}

où m_{x} est l’idéal maximal de S_{x}. Par [13], proposition 22, page IV-40, on peut extraire {f_{i_{1}}, …, f_{i_{ℓ}}} faisant partie d’un système de paramètres de S_{x}. D’après la mıme référence l’anneau S_{x}/⟨f_{i_{1}}, …, f_{i_{ℓ}}⟩ est régulier, donc intègre de dimension n − ℓ = dim X. Puisque :

\begin{matrix}dim S_{x}/⟨f_{i_{1}}, …, f_{i_{ℓ}}⟩_{x} + ht⟨f_{i_{1}}, …, f_{i_{ℓ}}⟩_{x} = & dim S_{x} \\ = & n \end{matrix}

la hauteur de l’idéal ⟨f_{i_{1}}, …, f_{i_{ℓ}}⟩_{x} est donc ℓ.

b) On a évidemment :

⟨f_{i_{1}}, …, f_{i_{ℓ}}⟩_{x} ⊂ ⟨f_{1}, …, f_{r}⟩_{x} = I_{x} ⊂ \sqrt{I_{x}} = (\sqrt{I})_{x}.

On a \sqrt{I} = I(X), donc \sqrt{I_{x}} = I(X)_{x} est un idéal de hauteur ℓ puisque X est équidimensionnelle. On en déduit que ⟨f_{i_{1}}, …, f_{i_{ℓ}}⟩_{x} = I_{x} = \sqrt{I_{x}} pour tout x, et donc que I_{x} est premier.

On a donc montré que pour tout x ∈ X, (\sqrt{I})_{x} = I_{x}, ∀x ∈ X, autrement dit :

(\sqrt{I}/I)_{x} = (0).

Ceci signifie algébriquement que le S/I -module \sqrt{I}/I a un support vide. Donc \sqrt{I}/I = (0) et ainsi I = \sqrt{I} est radiciel.

Revenons maintenant à nos notations. On ne suppose pas que p_{1}, …, p_{r} sont algébriquement indépendants.

Corollaire 6.2. On suppose qu’il existe un ouvert de Zariski non vide O ⊂ V_{ℂ}^{∗} tel que :

codim K_{ℂ}.x = rg(dp_{1}(x), …, dp_{r}(x))

pour tout x ∈ O. Alors il existe un ouvert de Zariski non vide W ⊂ V_{ℂ}^{∗} tel que, pour tout ξ ∈ p(W), les représentations π_{ξ} et π′_{ξ} sont topologiquement (donc scalairement) irré

Démonstration. Considérons les ouverts non vides V_{F} et V_{R}, introduits dans la preuve du lemme 5.4. Soit x dans l’ouvert non vide W = O∩V_{F} ∩V_{R}, et posons ξ = p(x) = (ξ_{1}, …, ξ_{r}) ∈ ℂ^{r}. Alors p^{−1}(ξ) = K_{ℂ}.x. D’autre part, appliquant le lemme 6.1. à f_{i} = p_{i} − ξ_{i}, 1 ≤ i ≤ r, on voit que l’idéal ⟨p_{1} − ξ_{1}, …, p_{r} − ξ_{r}⟩ est premier ; d’où les conditions C_{1} et C_{2} .

7. Un résultat d’irréductibilité scalaire

7.1. On suppose dans cette section que K est un groupe algébrique réductif réel et connexe (en particulier K n’est pas nécessairement compact). Soit (ρ, V) une représentation régulière de K. Alors on sait que l’algèbre des invariants est également de type fini. De mıme toutes les constructions faites dans le numéro 1 restent valables.

7.2. Le résultat qui suit constitue une généralisation du contenu de la note [12] où l’on établit que pour l’action adjointe associée à une paire symétrique nonriemannienne, les représentations π_{ξ} et π′_{ξ} sont scalairement irréductibles pour tout paramètre ξ. La condition B_{1} de 7.3. traduit que la représentation ρ_{ℂ} de K_{ℂ} dans V_{ℂ} est, par définition, visible. Cette condition est raisonable dans la mesure où les représentations visibles des groupes réductifs complexes sont toutes classifiées (cf [6] , p. 203). D’autre part, les conditions B_{1} et B_{2} sont satisfaites pour tout paramètre ξ dans le cas de l’action adjointe.

Théorème 7.3. Supposons réalisées les conditions suivantes pour ξ ∈ Im(p). (B_{1}) La fibre p^{−1}{ξ} dans V_{ℂ}^{∗} est une réunion finie de K_{ℂ} -orbites. (B_{2}) L’idéal ⟨p_{1} − ξ_{1}, …, p_{r} − ξ_{r}⟩ est radiciel.

Alors les représentations π_{ξ} et π′_{ξ} sont scalairement irréductibles. Démonstration. Notons d’abord que la condition B_{2} assure la densité de l’espace engendré par les fonctions e_{x}, x ∈ p^{−1}(ξ) dans E_{ξ}. Ceci étant, soit A : E_{ξ} ⟶ E_{ξ} un opérateur d’entrelacement continu. Comme dans [12], il existe une application b : p^{−1}(ξ) ⟶ ℂ telle que :

A e_{x} = b(x) e_{x} ∀x ∈ p^{−1}(ξ).

Il s’agit de voir que b est constante sur toute K_{ℂ} -orbite dans p^{−1}(ξ). Pour x ∈ p^{−1}(ξ), posons :

E_{x} = {f ∈ E_{ξ}|A.f = b(x)f}.

Soit maintenant T ∈ E′_{ξ} telle que ⟨T, f⟩ = 0, pour tout f ∈ E_{x}. Alors :

⟨T, e_{gx}⟩ = 0 ∀g ∈ K.

Comme l’application g ⟶ ⟨T, e_{gx}⟩ est holomorphe sur K_{ℂ} et identiquement nulle sur K, ⟨T, e_{gx}⟩ = 0 pour tout g ∈ K_{ℂ}. D’après le théorème de Hahn-Banach, e_{g.x} ∈ E_{x}, ∀g ∈ K_{ℂ}. Compte tenu de (B_{1} ) et du fait que p^{−1}(ξ) est connexe, b est constante. Il résulte maintenant de (B_{2} ) que A est scalaire.

Remarque 7.4. Nous aurions pu remplacer (B_{2} ) par la condition suivante laquelle est plus faible : (B′_{2} ) l’espace engendré par {e_{x}, x ∈ p^{−1}(ξ)} est dense dans E_{ξ}.

Remerciements : L’auteur remercie chaleureusement Thierry Levasseur et Pierre Torasso pour d’utiles discussions.

References

[1] Bass, H., Algebraic group actions on affine spaces, Contemporary. Math. Vol. 43 (1985), 1–23.

[2] Dadoc, J., Polar coordinates induced by actions of compact Lie groups, Transaction of the Amer. Math. Soc. 288 (1985), 125–137.

[3] Dadoc J., et V. Kac, Polar representations, Journal of Algebra 92 (1985), 504–524.

[4] Helgason, S., A duality for symmetric spaces with application to group representations III. Tangent space analysis, Advances in Math. 36 (1980), 297–323.

[5]  —, “Differential geometry and symmetric spaces,” Academic Press, 1962.

[6] Kac, V. G., Some remarks on nilpotent orbits, Journal of Algebra, 64 (1980), 190–213.

[7] Kostant, B., Lie group representations on polynomial rings, Amer. J. Math. 85 (1963), 327–402.

[8] Luna, D., Sur les orbites fermées des groupes algébriques réductifs, Invent. Math. 16 (1972), 1–5.

[9] Popov, V. L., Modern developments in invariant theory, Proc. Intern. Congr. Math. Berkley, California, 1986.

[10] Procesi C., et G. Schwartz, Inequalities defining orbit spaces, Invent. Math. 81 (1985), 539–554.

[11] Raïs, M., Sur l’irréductibilité de certaines représentations induites non unitaires, C.R.A.S. Paris 305 (1987), 713–716.

[12] Schlichtrull H., et H. Stetkaer, Scalar irreducibility of eigenspaces on the tangent space of a reductive symmetric space, J. Funct. Anal. 74 (1987), 292–299.

[13] Serre, J. P., “Algèbre locale et multiplicités,” Lecture Notes Math. (Springer-Verlag) 11, 1965.

[14] Stetkaer, H., Scalar irreducibility of certain eigenspace representations, J. Funct. Anal. 61 (1985), 295–306.

Abderrahim Khaoua URA CNRS D 1322 “Groupes de Lie et Géométrie” Laboratoire de Mathématiques Université de Poitiers 40, Avenue du Recteur Pineau 86022 Poitiers Cedex France khaoua@mathrs.univ-poitiers.fr

Received July 16, 1997 and in final form October 24, 1998