Journal of Lie Theory Volume 8 (1998) 325–334 ◯^{C}1998 Heldermann Verlag

Paires de Guelfand généralisées associées au groupe d’Heisenberg

Kamel Mokni and Erik G. F. Thomas

Communicated by J. Faraut

Abstract. We consider the Heisenberg group H_{p+q}=ℂ^{p+q}×ℝ, and the semidirect product U(p,q,ℂ).H_{p+q}. It is known that the pair (U(p,q,ℂ).H_{p+q},U(p,q,ℂ)) is a generalized Gelfand pair.We give a characterisation of subgroups K of U(p,q,ℂ), not necessarily compact, such that the pair (K.H_{p+q},K) is a generalized Gelfand pair. For this we establish a general theorem proving that: if γ,π are two unitary representations of a Lie group G, such that γ is irreducible and possesses a distribution character, then γ is a subrepresentation of π if and only if the tensor product, \overline{γ}⊗π, has a G-fixed distribution vector.

1. Introduction

Soit G un groupe de Lie unimodulaire, H un sous-groupe fermé unimodulaire de G et X = G/H. G opère sur l’espace des distributions sur X, noté D′(X), par translations à gauche. La paire (G, H) est dite paire de Guelfand généralisée si toute représentation unitaire irréductible de G admet au plus une réalisation dans D′(X). Une définition équivalente est : pour toute représentation unitaire irréductible de G l’espace des vecteurs distributions H -fixes est de dimension au plus égale à un. Cette définition généralise la notion usuelle de paire de Guelfand lorsque H est compact.

Une conséquence directe d’avoir une paire de Guelfand généralisée, est la décomposition sans multiplicité de l’espace L^{2}(X) en facteurs irréductibles.

Toute paire (G, H), avec G semi-simple et H un sous-groupe compact maximal de G, est une paire de Guelfand. La paire (G × G, G) est toujours une paire de Guelfand généralisée. Une longue liste d’exemples est décrite dans [6].

Soit H_{n} = ℂ^{n} × ℝ le groupe d’Heisenberg de dimension (2n + 1), muni du produit

(z, t)(z′, t′) = (z + z′, t + t′ + Im < z, z′ >) ,

où < ., . > est le produit hermitien usuel de ℂ^{n}.

ISSN 0949–5932 / $2.50 ◯^{C} Heldermann Verlag

Le groupe compact U(n) des matrices carrées unitaires d’ordre n est un groupe d’automorphismes de H_{n}. Récemment C. Benson, J. Jenkinset G. Ratcliff [1] [2] ont classé les sous-groupes K de U(n) tels que (KH_{n}, K) soit une paire de Guelfand. La classification a été basée essentiellement sur deux résultats :

– un résultat de G. Carcano [4] disant que : (KH_{n}, K) est une paire de Guelfand si et seulement si K opère sans multiplicité sur l’espace de Fock. –la classification des sous-groupes connexes de GL(n, ℂ) opérant sans multiplicités sur ℂ^{n}, faite par V. Kac [9].

On peut trouver aussi dans le travail de C. Benson and G. Ratcliff [3], des précisions sur la classification des (complexifiés des) groupes compacts opérant sans multiplicité sur les espaces de Fock.

Dans ce travail nous considérons le groupe d’Heisenberg H_{n} = ℂ^{n} × ℝ avec (n = p + q), muni du produit

(z, t)(z′, t′) = (z + z′, t + t′ + Im[z, z′]) ,

où [., .] est la forme hermitienne sur ℂ^{n} donnée par

[z, z′] = z_{1}z̄′_{1} + ⋯ + z_{p}z̄′_{p} − z_{p+1}z̄′_{p+1} − ⋯ − z_{p+q}z̄′_{p+q} .

Soit U(p, q) = U(p, q, ℂ) le groupe des matrices carrées n × n complexes laissant invariante cette forme hermitienne. C’est un groupe d’automorphismes de H_{n} sous l’action g.(z, t) = (g(z), t).

La paire (U(p, q)H_{n}, U(p, q)) est une paire de Guelfand généralisée traitée dans [7]. Cette paire est du type (MN, M) attachée aux espaces hyperboliques

U(p + 1, q + 1, ℂ)/ U(1, ℂ) × U(p, q + 1, ℂ) .

Sur ces espaces hyperboliques une grande contribution en analyse harmonique a été faite par Faraut [8].

Le but de ce travail est d’établir un résultat analogue à celui de G. Carcano, à savoir : Si K est un sous-groupe de U(p, q) pour lequel chaque représentation unitaire irréductible possède un caractère distribution, alors (KH_{n}, K) est une paire de Guelfand généralisée si et seulement si K opère sans multiplicité sur l’espace de Fock à travers la représentation métaplectique. K n’est pas nécessairement supposé compact. Ce résultat va être démontré au paragraphe 3. Dans le paragraphe 2 on démontrera d’abord un théorème général qui prouve que si π et γ sont deux représentations unitaires d’un groupe de Lie G dans des espaces de Hilbert, avec γ irréductible et possédant un caractère distribution, alors γ est une sous-représentation de π si et seulement si \overline{γ} ⊗ π admet un vecteur généralisé G-fixe. Quelques exemples seront donnés au paragraphe 4.

2. Sur les produits tensoriels de représentations

Soient γ et π des représentations unitaires d’un groupe de Lie G dans des espaces de Hilbert K et H.

Notons γ ⊗ π la représentation de G × G dans l’espace K ˆ⊗_{2}H définie par

(1)  (γ ⊗ π)(g_{1}, g_{2}) = γ(g_{1})π(g_{2}) .

Nous notons γ × π la restriction de γ ⊗ π à la diagonale de G × G identifiée à G; c’est à dire : (γ × π)(g) = γ(g) ⊗ π(g). (Convention telle que dans le cas de représentations finies χ_{γ⊗π} = χ_{γ} ⊗ χ_{π} et χ_{γ×π} = χ_{γ}χ_{π}). Notons L et R les représentations régulières gauche et droite de G dans l’espace de distributions D′(G).

On dit que γ possède un caractère distribution si pour tout φ ∈ D(G) l’opérateur γ(φ) = ∫_{G} φ(g)γ(g)dg est un opérateur à trace. (Si G est semi-simple ou nilpotent cela est le cas pour toute représentation unitaire irréductible). On pose alors χ_{γ}(φ) = trace(γ(φ)).

Soit \overline{γ} la représentation conjuguée de γ dans l’espace conjugué \overline{K} (égale à la représentation contragrédiente quand on identifie \overline{K} à l’antidual de K).

Notons ρ = \overline{γ} ⊗ π la représentation de G × G dans l’espace L = \overline{K} ˆ⊗_{2}H, et ρ_{−∞} la représentation correspondante de G × G dans l’espace L^{−∞} des vecteurs généralisés pour ρ.

Pour les notions, ci-dessous, de sous-espaces hilbertiens de D′(G) et des noyaux reproduisants correspondants, on peut se référer par exemple à J. Faraut [8] et à E. G. F. Thomas [15].

Théorème 2.1. On suppose que γ est irréductible et qu’elle possède un caractère distribution. Alors γ est une sous-représentation de π (γ ⊏ π) si et seulement si \overline{γ} ⊗ π possède un vecteur généralisé G-fixe, c’est à dire qu’il existe un élément ω ∈ L^{−∞}, ω ≠ 0, tel que ρ_{−∞}(g, g)ω = ω pour tout g ∈ G.

Lemme 2.2. Si γ ⊏ π alors γ_{−∞} ⊏ π_{−∞}.

Démonstration. Soient K^{∞} et H^{∞} les espaces des vecteurs C^{∞} pour γ et π. Alors si K ⊏ H et si P : H ⟶ K est la projection orthogonale, la restriction de P à H_{∞} est une application G-équivariante de H_{∞} sur K_{∞}. L’application conjuguée transposée (adjointe) est une injection de K_{−∞} dans H_{−∞}, également G-équivariante.

Lemme 2.3. Soit H ↪ D′(G) un sous-espace hilbertien invariant par translation à gauche. Alors on a les inclusions :

(2)  H ↪ H^{−∞} ↪ D′(G) ,

l’espace H^{−∞} étant identifié à l’espace des distributions T telles que pour tout φ ∈ D(G), φ ∗ T ∈ H.

Démonstration. Soit π la restriction à H de la représentation régulière L. La représentation régulière gauche de G dans D(G) étant C^{∞}, l’image de G par le noyau reproduisant de H est contenu dans H. Par transposition on obtient les inclusions (2). Si T ∈ H^{−∞}, on a φ ∗ T = π(φ)T ∈ H. Inversement si φ ∗ T appartient à H pour tout φ ∈ D(G), l’application u : φ ↦ φ∗T de D(G) dans H est G-invariante et continue d’après le théorème du graphe fermé. C’est donc un vecteur distribution. On peut déduire alors du théorème de Cartier (voir [5]), identifiant l’espace des vecteurs distributions avec H^{−∞}, que T appartient à H^{−∞}. Le noyau reproduisant de H est un opérateur de convolution φ ↦ φ ∗ ω ∈ H. Il en résulte en particulier que ω appartient à H^{−∞}.

Preuve du théorème. La condition est nécessaire : Si γ ⊏ π alors \overline{γ} ⊗ γ ⊏ \overline{γ} ⊗ π. Ainsi d’après le lemme 2.2 il suffit de prouver que \overline{γ} ⊗ γ possède un vecteur généralisé G-fixe. Si γ a un caractère distribution χ_{γ}, l’espace \overline{K} ⊗ K est canoniquement isomorphe au sous-espace hilbertien bi-invariant H_{γ} de D′(G) dont le noyau reproduisant est l’opérateur de convolution par χ_{γ}. (Ces représentations sont appelées ”représentations cycliques généralisées” par Penney [11]). La représentation \overline{γ} ⊗ γ correspond à la représentation (g_{1}, g_{2}) ⟼ L(g_{1})R(g_{2}), et \overline{γ} × γ correspond à la représentation g ⟼ α_{g} = L(g)R(g) par automorphisme intérieur. Le caractère χ_{γ} appartient à H_{γ}^{−∞}, d’après le lemme 2.3, et étant central, c’est un vecteur généralisé G-fixe. La condition est suffisante :

Lemme 2.4. Soient h ∈ H^{∞} et \overline{k} ∈ \overline{K}^{∞}. Alors \overline{k} ⊗h ∈ L^{∞}. Plus précisément on a l’inclusion :

(3)  \overline{K}^{∞} ⊗ H^{∞} ↪ L^{∞} .

Démonstration. L’inclusion est immédiate puisque l’application (g_{1}, g_{2}) ↦ ρ(g_{1}, g_{2})(\overline{k} ⊗ h) = \overline{γ}(g_{1})\overline{k} ⊗ π(g_{2})h est évidemment C^{∞}, dès que h et k sont des vecteurs C^{∞}. Pour voir la continuité de l’inclusion, il suffit de voir que l’application (k, h) ↦ k⊗h de \overline{K}^{∞}×H^{∞} dans L^{∞} est séparément continue, ce qui est évident.

Soit maintenant ω un élément de L^{−∞} G-fixe. Alors, par restriction à \overline{K}^{∞} ⊗ H^{∞}, ω définit une forme bilinéaire β continue sur \overline{K}^{∞} × H^{∞}, ( et il suffit de vérifier qu’elle est séparément continue) :

(4)  β(\overline{k}, h) = (ω|\overline{k} ⊗ h) .

Il est clair que, ω étant G-fixe, β est invariant au sens que

(5)  β(\overline{γ}(g)\overline{k}, π(g)h) = β(\overline{k}, h) ∀g ∈ G .

Alors, d’après le théorème de Poulsen ([12], Thm 2.1, avec les rôles de K et H échangés), il existe un opérateur linéaire fermé T : D_{T} ⟶ H, avec K^{∞} ⊂ D_{T} ⊂ K, G-équivariant, tel que

(6)  (T k|h) = β(\overline{k}, h) ∀k ∈ K_{∞}, h ∈ H_{∞} .

D’après le théorème de von Neumann [13 p.308, 309], l’opérateur T^{∗}T est un opérateur auto-adjoint dans K commutant à γ. Comme les projecteurs spectraux de T^{∗}T commutent aussi à γ, il résulte du lemme de Schur que ceux ci sont soit 0 soit l’identité, de sorte que T^{∗}T est un multiple de l’identité, et en outre borné, ce qui implique que T est borné. Il en résulte, en passant par la décomposition polaire de T, qu’il existe un opérateur isométrique K ⟶ H, G-equivariant, prouvant que γ ⊏ π.

Remarque. Si π est une représentation unitaire d’un groupe de Lie G dans l’espace de Hilbert H, un vecteur généralisé G-fixe, est en fait un vecteur G-fixe. En effet si φ ∈ D(G) l’opérateur π(φ) envoie H^{−∞} dans H (même dans H_{∞}). Si ∫ φ = 1, et π_{−∞}(g)ω = ω pour tout g ∈ G, on a ω = π(φ)ω ∈ H_{∞}. Dans le théorème, l’espace L^{−∞} est un espace de vecteurs généralisés pour une représentation de G × G, et le vecteur généralisé ω est fixe seulement pour le sous-groupe diagonal identifié à G. Elaborons un peu : soit ρ_{0} la restriction de ρ à la diagonale G. Notons L_{⊗}^{∞} et L_{×}^{∞} les espaces des vecteurs C^{∞} pour ρ et ρ_{0} respectivement. Alors on a évidemment :

L_{⊗}^{∞} ↪ L_{×}^{∞} ↪ L ,

et pour les espaces de vecteurs généralisés correspondants on a :

L ↪ L_{×}^{−∞} ↪ L_{⊗}^{−∞} = L^{−∞} .

L’élément G-fixe ω dont il est question appartient en général à L_{⊗}^{−∞} et non à L_{×}^{−∞}. D’après ce qu’on vient de dire ω appartient à L_{×}^{−∞} si et seulement si c’est un vecteur G-fixe de l’espace L. C’est le cas si et seulement si l’opérateur T dans la preuve si dessus est un opérateur de Hilbert-Schmidt. Dans ce cas l’opérateur T^{∗}T, qui est un multiple de l’identité, est un opérateur à trace, donc cela arrive si et seulement si dim (K) < +∞, c’est à dire, si et seulement si γ est une représentation de dimension finie.

3. Une caractérisation des sous-groupes K de U(p, q) tels que (KH_{n}, K) soit une paire de Guelfand généralisée

Soit K un sous-groupe de Lie de U(p, q). La théorie de Mackey permet de décrire toutes les représentations du produit semi-direct KH_{n}, et donc d’établir la caractérisation voulue. Les représentations unitaires irréductibles de KH_{n} sont toutes obtenues de la façon suivante : on part d’une représentation π unitaire irréductible de H_{n}, on détermine le stabilisateur K_{π} de la classe d’équivalence de π dans K (sous l’action h ∈ H_{n} ⟼ k.h), on prolonge π en une représentation π̃ de K_{π}H_{n}, on prend une représentation γ unitaire irréductible de K_{π}, et la représentation cherchée est de la forme

Ind_{K_{π}H_{n}↑KH_{n}} γ ⊗ π̃ .

Commençons par décrire les représentations unitaires irréductibles de H_{n} et leurs stabilisateurs dans K. Ces représentations se répartissent en deux types :

∗ Les caractères unitaires de H_{n} définis pour tout v ∈ ℂ^{n} par

χ_{v} : (z, t) ⟼ e^{iRe[z,v]} .

Il est facile de voir que le stabilisateur d’un tel caractère dans K est le sous-groupe K_{v} laissant fixe v dans ℂ^{n}.

∗ Les représentations unitaires irréductibles de dimensions infinies, notées π_{λ}, définies pour tout λ ∈ ℝ^{∗} dans l’espace de Fock H_{λ} des fonctions f(ζ) = f(ζ_{1}, ζ_{2}) sur ℂ^{n} ≃ ℂ^{p} × ℂ^{q}, qui sont holomorphes et telles que

∫_{ℂ^{n}} |f(ζ)|^{2}e^{−|λ||ζ|^{2}}dζ < ∞ .

La représentation π_{λ} agit comme suit :

[π_{λ}(z_{1}, z_{2}, t)f](ζ_{1}, ζ_{2}) = e^{−iλt}e^{|λ|(ζ_{1},z_{1})}e^{|λ|(ζ_{2},\overline{z}_{2})}e^{− \frac{|λ||z|^{2}}{2}} f(ζ_{1} − z_{1}, ζ_{2} − \overline{z}_{2}) ,

pour tout z = (z_{1}, z_{2}) dans ℂ^{p} × ℂ^{q}. Dans [16], Wolf a démontré que la classe d’équivalence de π_{λ} est U(p, q)-stable, donc elle est K -stable. De plus on peut la prolonger en une représentation unitaire π̃_{λ} de U(p, q)H_{n}, donc elle se prolonge à KH_{n} en une représentation unitaire qu’on note aussi π̃_{λ}, de sorte que les représentations de KH_{n} associées à π_{λ} sont de la forme γ ⊗ π̃_{λ} où γ ∈ K̂.

Proposition 3.1. Soit ρ une représentations unitaire irréductible de KH_{n} associée à un caractère de H_{n}, alors l’espace des vecteurs généralisés K -fixes pour ρ est de dimension 0 ou 1.

Démonstration. Les caractères de H_{n} sont triviaux sur le centre de H_{n} (= {0} × ℝ), donc ρ est aussi triviale sur le centre. Donc sa restriction à Kℂ^{n} est une représentation unitaire irréductible. Sachant que (Kℂ^{n}, K) est une paire de Guelfand généralisée, car ℂ^{n} est un groupe abélien, on aura le résultat.

On remarque que la proposition 3.1 prouve que les représentations de KH_{n} associées aux caractères de H_{n} ne jouent aucun rôle pour décider si (KH_{n}, K) est une paire de Guelfand généralisée. La décision revient donc aux représentations associées aux π_{λ}. On peut donc énoncer :

Corollaire 3.2. Soit K un sous-groupe de Lie de U(p, q). Pour que la paire (KH_{n}, K) soit une paire de Guelfand généralisée, il faut et il suffit que pour toute représentation unitaire irréductible de dimension infinie π_{λ} de H_{n}, et tout γ ∈ K̂, l’espace des vecteurs généralisés K -fixes pour γ ⊗ π̃_{λ} soit de dimension inférieure ou égale à 1.

Pour établir la caractérisation voulue nous avons besoin de décrire le prolongement π̃_{λ}, de π_{λ}, à U(p, q)H_{n} fait par Sternberg et Wolf [14]. Le travail est typiquement le même pour tout λ ∈ ℝ^{∗}. On va donc se restreindre à λ = 1 et pour simplifier les notations on va poser :

π = π_{1} H = H_{1} , ν = π̃|_{U(p,q)} ,

et, pour tout d ∈ ℤ,

H(d) = \{f ∈ H : f(uζ_{1}, \overline{u}ζ_{2}) = u^{d}f(ζ_{1}, ζ_{2}) ∀ u ∈ ℂ, |u| = 1\}.

L’espace H(d) est U(p, q)-invariant, et ν_{d} = ν|_{H(d)} définit une représentation unitaire irréductible de U(p, q). De plus

ν = ∑_{d∈ℤ} ν_{d}.

Les ν_{d} sont aussi considérées par Mantini [10] et sont appelées ”Ladder representations”.

La représentation ν provient par passage au quotient de la représentation métaplectique (voir [14]), et pour un sous-groupe de Lie K de U(p, q), on a

π̃|_{K} = ν|_{K}.

Ceci explique l’action de K sur l’espace de Fock qu’on a appelée ”représentation métaplectique” dans l’introduction.

En fait l’action des sous-groupes de U(n) sur l’espace de Fock, considérée par G. Carcano, s’obtient de la représentation métaplectique par passage au quotient, ce qui justifie la généralisation que nous avons considérée.

Nous avons besoin de se restreindre aux sous-groupes K de U(p, q), pour lesquels toute représentation unitaire irréductible possède un caractère distribution pour pouvoir utiliser le théorème 2.1. Parmi ces sous-groupes il y a tous les groupes réductifs et tous les groupes nilpotents.

Théorème 3.3. Soit K un sous-groupe algébrique de U(p, q). On suppose que toute représentation unitaire irréductible de K possède un caractère distribution. Alors pour que (KH_{n}, K) soit une paire de Guelfand généralisée il faut et il suffit que K opère sans multiplicité sur l’espace de Fock.

Démonstration. Supposons que la paire (KH_{n}, K) soit une paire de Guelfand généralisée, et supposons qu’il existe une représentation unitaire irréductible γ de K qui ait deux réalisations disjointes comme sous-représentations de ν dans l’espace de Fock. Dans ce cas la représentation \overline{γ} ⊗ π̃ aura, d’après le théorème 2.1, deux vecteurs distributions K -fixes et linéairement indépendants, ce qui est absurde. Inversement supposons que K opère sans multiplicité sur l’espace de Fock. Alors par le théorème 2.1, les seules représentations de KH_{n} de la forme \overline{γ}⊗π̃ admettant des vecteurs distributions K -fixes sont telles que γ soit une sous-représentation de ν. Mais dans ce cas γ ne possède qu’une réalisation dans l’espace de Fock, par suite l’espace des vecteurs distributions K -fixes correspondant est de dimension un, d’où le résultat.

Comme application de ce théorème nous allons prouver le résultat suivant. On suppose que p = p_{1} + p_{2} et que q = q_{1} + q_{2}. Posons n_{i} = p_{i} + q_{i} pour i = 1, 2. Soient K_{1} et K_{2} des sous-groupes respectifs de U(p_{1}, q_{1}) et U(p_{2}, q_{2}), et soit K = K_{1}×K_{2}. Alors K opère sur H_{n} = ℂ^{n}×ℝ en identifiant ℂ^{n} à ℂ^{p_{1}+q_{1}} ×ℂ^{p_{2}+q_{2}} . Avec ces notations nous avons :

Proposition 3.4. (KH_{n}, K) est une paire de Guelfand généralisée si et seulement si (K_{i}H_{n_{i}}, K_{i}) sont des paires de Guelfand généralisées , pour i = 1, 2.

Démonstration. Soient H, H_{1} et H_{2} les espaces Fock relatifs à ℂ^{n}, ℂ^{n_{1}} et ℂ^{n_{2}} . Alors H se présente comme le produit tensoriel des deux autres espaces, et si K_{i} opère sans multiplicité sur H_{i} pour i = 1, 2 alors K opère sans multiplicité sur H, et on conclut par le théorème 3.3. Inversement, supposons, par exemple, que (K_{1}H_{n_{1}}, K_{1}) ne soit pas une paire de Guelfand généralisée. D’après le théorème 1.2, K_{1} opèrerait avec multiplicité sur l’espace H_{1}, et donc il y aurait deux sous-espaces orthogonaux, E et F de H_{1} dont les représentations métaplectiques correspondantes, pour K_{1}, soient équivalentes. On se donne un sous-espace G de H_{2}, irréductible pour K_{2}; il est clair que E ⊗ G et F ⊗ G sont deux sous-espaces différents de H, qui correspondent à deux représentations équivalentes de K, d’où le résultat.

Cette proposition permet, dans l’étude de ce problème, de se restreindre aux sous-groupes K de U(p, q) non décomposables sous la forme K_{1} × K_{2}.

4. Exemples

Nous allons commencer ce paragraphe par une proposition qui permet de construire une liste considérable d’exemples de sous-groupes K de U(p, q) tels que (KH_{n}, K) soit une paire de Guelfand généralisée.

Proposition 4.1. (voir [15, Thm. D]) Soient G_{1}, G_{2} deux groupes de Lie, L_{1}, L_{2} deux sous-groupes fermés respectifs de G_{1}, G_{2}. On suppose que G_{1} est un sous-groupe de G_{2} et que G_{1}/L_{1} = G_{2}/L_{2}. Si (G_{1}, L_{1}) est une paire de Guelfand généralisée alors il en est de même pour (G_{2}, L_{2}).

Si 𝕋 est un tore maximal de U(p, q), il est bien connu que (𝕋H_{n}, 𝕋) est une paire de Guelfand. Donc, d’après la proposition précédente, pour tout sous-groupe K de U(p, q) contenant 𝕋, (KH_{n}, K) est une paire de Guelfand généralisée. Par exemple si p > q on peut prendre pour K l’un des groupes suivants :

∗ U(p − q) × U(q, q)

∗ U(p − k) × U(k, k) × U(q − k), k étant un entier plus petit que q.

∗ U(p − q) × (U(1, 1))^{q}; ce groupe agit sur H_{n} de façon naturelle en l’identifiant à ℂ^{p−q} × (ℂ^{2})^{q} × ℝ par l’application :

(z, t) ⟼ ((z_{1}, ⋯, z_{p−q}), (z_{p−q+1}, z_{p+1}), (z_{p−q+2}, z_{p+2}), ⋯, (z_{p}, z_{p+q}), t)

Plus généralement soient L_{1} et L_{2} des sous-groupes respectivement de U(p) et U(q) tels que (L_{1}H_{p}, L_{1}) et (L_{2}H_{q}, L_{2}) soient des paires de Guelfand. Alors pour L = L_{1} × L_{2}, (LH_{n}, L) est aussi une paire de Guelfand, de sorte que tout sousgroupe K de U(p, q) contenant L_{1} × L_{2} nous donne un exemple favorable. Les sous-groupes L_{1} et L_{2} peuvent être choisis dans la liste des groupes classés dans [1].

Les exemples de K ci-dessus contiennent tous des sous-groupes compacts L tels que (LH_{n}, L) soit une paire de Guelfand. Ceci n’est pas toujours le cas. En effet prenant K = SU(1, 1). En appliquant le critère qu’on a établi au paragraphe 3, et sachant que U(1, 1) opère sans multiplicité sur l’espace de Fock, on peut voir facilement que (KH_{2}, K) est une paire de Guelfand généralisée. Mais le sousgroupe compact maximal de K est le groupe L = S(U(1)×U(1)), et (LH_{2}, L) n’est pas une paire de Guelfand. En effet il suffit de voir que L opère avec multiplicité sur l’espace des polynômes holomorphes sur ℂ^{2} qui est un sous-espace dense de l’espace de Fock (l’action de L vaut l’identité sur les sous-espaces de dimension 1 engendrés chacun par un monôme de la forme ζ_{1}^{k}ζ_{2}^{k}).

Références

[1] Benson, C., J. Jenkins, and G. Ratcliff, On Gelfand pairs associated with solvable Lie groups, Trans. Amer. Math. Soc. 321 (1990), 85–116.

[2] —, Bounded K -spherical functions on Heisenberg groups, J. Funct. Anal. 105 (1992), 409–443.

[3] Benson, C., and G. Ratcliff, A classification of multiplicity free actions, J. Algebra 181 (1996), 152–186.

[4] Carcano, G., A commutativity condition for algebras of invariant functions, Boll. U. M. I. 7 (1987), 1091–1105.

[5] Cartier, P., Vecteurs différentiables dans les représentations unitaires des groupes de Lie, Séminaire Bourbaki 454 (1974–1975).

[6] van Dijk, G., Group representations on spaces of distributions, Russian J. Math. Physics 2 (1994), 57–68.

[7] van Dijk, G., and K. Mokni, Harmonic analysis on a class of generalised Gel’fand pairs associated with hyperbolic spaces, Russian J. Math. Physics 5 no 2, (1997), 1–13.

[8] Faraut, J., Distributions sphériques sur les espaces hyperboliques, J. Math. Pures et Appl. 58 (1979), 369–444.

[9]  Kac, V., Some remarks on nilpotent orbits, J. Algebra 64 (1980), 190–213.

[10] Mantini, L. A., An integral transform in L^{2}-cohomology for the ladder representations of U(p, q), J. Funct. Anal. 60 (1985), 211–242.

[11] Penney, R., Abstract Plancherel theorem and Frobenius reciprocity theorem, J. Funct. Anal. 18 (1975), 177–190.

[12] Poulsen, N. S., On C^{∞}-vectors and interwining forms for representations of Lie groups, J. Func. Anal. 9 (1972), 87–120.

[13] Riesz, F., et Béla Sz. Nagy, “Leçons d’analyse fonctionnelle, (3^{ième} édition),” Académie des Sciences de Hongrie, 1955.

[14] Sternberg, S., et J. A. Wolf, Hermitian Lie algebras and metaplectic representations I , Trans. Amer. Math. Soc. 238 (1978), 1–43.

[15] Thomas, E. G. F., The theorem of Bochner-Schwartz-Godement for generalised Gelfand pairs, in: Functional analysis, ”Surveys and recent results III” K. D. Bierstedt et B. Fuchsteiner ed., Elsevier Sci. Publ. B. V. (1984).

[16] Wolf, J. A., Representations of certain semi-direct products, J. Funct. Anal. 19 (1975), 339–372.

Département de Mathématiques, Faculté des Sciences, 5019 Monastir, Tunisie.

University of Groningen, Department of Mathematics, P.O.Box 800, 9700 AV Groningen, The Netherlands.

Received July 12, 1997 and in final form March 24, 1997