Navigation – Plan du site

Physique, information statistique et complexité algorithmique

Pierre Uzan
p. 121-162

Résumés

Le lien entre physique et information est analysé et les limites conceptuelles et techniques de l’utilisation de la notion statistique d’information (-connaissance) en physique sont mises en évidence. Nous montrons que ces problèmes peuvent être résolus de façon satisfaisante en utilisant une notion d’information structurelle dont la mesure nous est donnée en terme de complexité algorithmique. Ce qui rend alors possible la construction d’une véritable « thermodynamique » de l’information fondée sur le concept d’information structurelle.

Haut de page

Texte intégral

Introduction : Comment parler d’information en physique ?

1Le concept d’information se trouve au cœur de la physique actuelle. En physique quantique, le concept d’information constitue le fondement même de l’interprétation minimale incontestée de la notion de vecteur d’état comme outil prédictif contextuel. En effet, selon cette interprétation qui a été explorée en profondeur par M. Bitbol, l’information dont dispose l’observateur sur une situation expérimentale et qui permet le calcul des prédictions est encodée dans le vecteur d’état (ou plus généralement l’opérateur densité) représentatif de sa préparation [Bitbol 1996].

2En mécanique statistique, classique ou quantique, le concept d’information s’est introduit lorsqu’on a cherché à justifier la loi de croissance monotone de l’entropie d’un système isolé. Certains physiciens ont même été jusqu’à interpréter l’entropie thermodynamique en terme de manque d’information, comme une mesure de notre ignorance de l’état microscopique du système. Selon ce point de vue, qui a été introduit et développé par Szillard, Shannon, Brillouin [Szillard 1929] [Shannon et Weaver 1949] [Brillouin 1956] et développé de façon systématique par Jaynes et, plus récemment, par Balian [Jaynes 1957] [Balian 1982 ; 2005], le second principe de la thermodynamique ne modéliserait que le processus de perte d’information corrélatif de l’évolution d’un système vers son état d’équilibre.

3Plus généralement, les interprétations informationnelles de la physique, voire les tentatives de reconstruction de la physique d’un point de vue informationnel, ne cessent de se développer et s’avèrent prometteuses, comme nous le montrent plusieurs travaux récents traitant de l’information quantique [Nielsen 1998] [Timpson 2004] [Grinbaum 2004].

4Cependant, si la place du concept d’« information » en physique semble pleinement acquise, c’est la manière dont ce concept est défini et utilisé qui pose problème. En effet, le concept d’information qui a été adopté en mécanique statistique depuis les travaux de Jaynes [Jaynes 1957] renvoie à ce que connaît ou ce que peut connaître l’observateur. Il s’agit d’un concept d’information-connaissance formulé en terme d’information (ou d’« entropie ») statistique, ce dernier concept étant issu de la théorie de la communication de Shannon et Weaver [Shannon & Weaver 1949]. Le concept d’information statistique a, il est vrai, permis de développer une interprétation cohérente de la thermodynamique en fournissant une justification de la définition de l’entropie thermodynamique introduite par Boltzmann et Gibbs en mécanique statistique. Son succès semble d’ailleurs être pleinement confirmé par la fécondité du postulat d’« entropie » statistique maximale permettant de calculer les distributions d’équilibre d’un système thermodynamique. Ce principe stipule que parmi toutes les distributions statistiques compatibles avec les données expérimentales, on doit représenter le macro-état du système par celle qui correspond à la plus grande valeur de l’entropie statistique —c’est-à-dire par celle qui, tout en étant compatible avec les contraintes macroscopiques, n’introduit aucune autre information-connaissance arbitraire [Jaynes 1957] [Balian 1982; 2005].

5Mais, à y regarder de près, les succès de la mécanique statistique ne doivent rien à cette sur-interprétation subjectiviste de la notion d’entropie thermodynamique. Par exemple, de nombreuses présentations de la mécanique statistique, comme celles de Reiff, de Hakim ou de Cou-lon et Moreau [Reiff 1965] [Hakim 1996] [Coulon & Moreau 2000], nous montrent que la définition statistique de l’entropie thermodynamique d’un système physique donnée par Boltzmann, en terme de micro-états accessibles, c’est-à-dire compatibles avec les contraintes macroscopiques, ne nécessite en rien d’être identifiée à un manque d’information-connaissance de l’état microscopique de ce système. Cette définition ne requiert a priori aucune interprétation subjectiviste des (densités de) probabilités qu’elle utilise. Ces dernières peuvent toujours, après Boltzmann, être pensées comme des rapports de nombre de configuration physiques compatibles avec les contraintes macroscopiques. Corrélativement, la recherche des distributions d’équilibre ne nécessite en rien de se référer à ce que l’on connaît (ou ce que l’on pourrait connaître) ou pas de l’état microscopique d’un système physique puisque celles-ci peuvent être calculées à partir d’un décompte des configurations microscopiques physiques accessibles (voir, par exemple, [Coulon & Moreau 2000 §2.3.2]). Par conséquent, s’il n’y a, a priori, aucune raison pour identifier l’entropie thermodynamique d’un système physique avec un manque d’information-connaissance de son état microscopique, c’est bien l’idée suggérée par Boltzmann selon laquelle elle constitue une mesure de son organisation intrinsèque (de son « désordre moléculaire ») qu’il nous faut privilégier. C est cette idée qui sera soutenue ici.

6En outre, l’interprétation subjectiviste de la notion d’entropie thermodynamique semble déboucher sur une impasse conceptuelle : la supposée « équivalence » entre entropie thermodynamique et manque d’information-connaissance, qui mène à l’idée de convertibilité entre néguentropie et information-connaissance, permet de soutenir celle d’un coût entro-pique de l’acquisition d’information-connaissance [Szillard 1929] [Bril-louin 1956] [Costa de Beauregard 1963]. Or, cette dernière idée, qui a été proposée comme solution au célèbre paradoxe du « démon de Maxwell », est aujourd’hui fortement remise en question. Ce débat crucial sera rapporté brièvement dans la section III.1 à partir des textes rassemblés par Leff et Rex [Leff & Rex 2003] et de ses développements plus récents dus à Norton [Norton 2005], Bennett [Bennett 2003] et Shenker [Shenker 2000].

7Enfin, d’un point de vue plus technique (section III.2), l’utilisation de la notion statistique d’information en physique quantique rencontre très vite d’importantes limites. Il s’agit déjà de sa référence problématique à une notion de mesure qui en fait une grandeur relative à certaines observables particulières. Mais surtout, par le fait que l’information statistique associée à un « état » quantique n’évalue que sa déviation par rapport à la pureté, elle est incapable de donner un sens et, a fortiori, d’évaluer l’« information » encodée dans un état pur alors qu’une telle évaluation s’avère tout à fait essentielle pour le développement des théories de l’information quantique.

8Cet article se propose donc, dans un premier temps, de mettre en évidence les limites de l’utilisation de la notion statistique d’information en physique. Pour cela, nous commencerons par analyser la façon dont s’est introduit en physique le concept d’information-connaissance (section I), et, plus précisément, celui d’information statistique (section II), avant de mettre en évidence ses limites d’ordre conceptuelle et technique (section III). Puis, dans un deuxième temps, nous montrerons, à partir de la section IV, comment la notion de complexité algorithmique, introduite par Solomonoff, Kolmogorov et Chaitin [Solomonoff 1964] [Kolmogorov 1965] [Chaitin 1977], permet de surmonter ces limitations en proposant une définition structurelle ou organisationnelle de l’« information ». Une telle notion d’information est, en effet, dégagée de tout subjectivisme excessif puisque qu’elle n’évalue pas la connaissance ou le manque de connaissance de l’observateur concernant l’état d’un système physique mais, même si c’est à une certaine « précision » prés (comme c’est en fait le cas pour toute grandeur physique), son organisation intrinsèque. Comme nous le préciserons dans les sections V.2 et VI à partir des recherches de Zurek et Caves [Zurek 1989] [Caves 1990], elle permet de proposer une interprétation structurelle de la notion d’entropie thermodynamique. Enfin, elle peut être utilisée de façon satisfaisante pour évaluer le contenu informationnel d’un « état » quantique pur, ce que ne peut faire la notion statistique d’information —notons que l’application de la théorie de la complexité algorithmique au domaine quantique, qui requiert des précisions conceptuelles et techniques supplémentaires, sera examinée à part, dans la section VI, à partir des recherches récentes de Vitányi, Berthiaume et al., Gács, Mora et Briegel [Vitányi 2001] [Gács 2001] [Berthiaume et al. 2000] [Mora and Briegel 2004].

9L’introduction de cette notion structurelle d’information en physique permettrait donc d’asseoir sur des bases plus saines et plus fécondes la direction de recherche actuelle qui lie de façon étroite physique et information, tant dans le domaine de la physique statistique (classique et quantique) que celui de la théorie de l’information quantique. Ces développements pourraient, selon nous, constituer les prémisses d’une véritable « thermodynamique de l’information » basée sur le concept d’information structurelle dont la mesure nous est donnée en terme de complexité algorithmique.

I. Le second principe de la thermodynamique et ses interprétations dans le cadre de la mécanique statistique

10La relation entre physique et information semble s’être nouée lorsqu on a essayé d’interpréter le second principe de la thermodynamique dans le cadre de la mécanique statistique.

  • 1  Nous adoptons ici une formulation standard qui mène directement à l’essentiel de ce qui nous préoc (...)

11Le second principe de la thermodynamique a une origine purement phénoménologique puisqu’il a été formulé, au XIXe siècle, à partir de l’observation du fonctionnement des machines thermiques. Ses premiers énoncés, relatifs au domaine spécifiquement thermique, sont dus à Clausius (« la chaleur ne passe pas spontanément d’un corps froid sur un corps chaud »), Thomson (« un système en contact avec une seule source de chaleur ne peut, au cours d’un cycle, que recevoir du travail et fournir de la chaleur ») ou Carnot (« si une machine fournit du travail au cours d’un cycle, elle échange nécessairement de la chaleur avec deux sources de températures différentes »). Ces énoncés sont équivalents et peuvent être dérivées d’un énoncé plus général1, de type axiomatique, qui stipule que :

  • 2  Une fonction d’état est une fonction des variables (ou paramètres) macroscopiques qui définissent (...)

12Pour tout système thermodynamique, ouvert ou fermé, il est possible de définir une fonction d’état S, appelée « entropie »2, qui vérifie les propriétés suivantes : S est une grandeur extensive, et sa variation lors d’une transformation quelconque s’exprime sous la forme d’une somme de deux termes :

∆S = ∆Se + ∆Si,

où ∆Se est un terme algébrique dû aux échanges de chaleur et de matière avec le milieu extérieur. Pour un système fermé recevant une quantité de chaleur δQ à la température T constante, ∆Se = δQ /T, alors que ∆Si résulte des modifications internes du système associées à des phénomènes irréversibles.

13On postule alors que ∆Si > 0, en affirmant que l’irréversibilité interne est source d’entropie.

14Par conséquent, selon le second principe de la thermodynamique, l’entropie d’un système isolé ne peut qu’augmenter puisque dans ce cas δQ = 0 alors que ∆Si > 0. L’état d’équilibre thermodynamique sera celui pour lequel S est maximale, compte tenu des contraintes imposées au système.

  • 3  Les équations de Hamilton-Jacobi lient les dérivées temporelles des coordonnées généralisées qi et (...)

15Malheureusement, la notion d’entropie thermodynamique ne peut trouver d’interprétation dans le cadre strict de la mécanique Hamiltonienne. En effet, Henri Poincaré a montré qu’il n’existe aucune fonction S(qj, pi, t) des coordonnées généralisées qj et pi du point représentatif de l’état d’un système dans l’espace des phases et du paramètre temps t qui puisse interpréter la notion d’entropie thermodynamique. Plus exactement, l’évolution thermodynamique d’un système physique, caractérisée par l’existence d’une telle fonction monotone croissante (avec t), est incompatible avec son évolution mécanique qui est régie par les équations de Hamilton-Jacobi3 [Poincaré 1889]. Poincaré a établi ce résultat à partir des lois Hamiltoniennes et de considérations tout à fait générales sur les développements en série entière de l’énergie E(qj, pi, t) et de l’hypothétique fonction entropie S(qj, pi, t) —et sans utiliser « l’objection de réversibilité » de Loschmidt qui traduit l’invariance temporelle des lois de la mécanique.

  • 4  Ce point a été souligné par de nombreux auteurs depuis longtemps —voir, entre autres références, [ (...)

16On pourrait croire, comme il est souvent dit et écrit un peu rapidement, que l’irréversibilité thermodynamique peut alors être expliquée par la seule utilisation de la mécanique statistique qui procède d’une description probabiliste des systèmes physiques de grande taille établissant un lien entre les grandeurs macroscopiques mesurables et les valeurs moyennes des propriétés de ses constituants microscopiques. Cependant, comme le rappellent les développements ci-dessous, si une interprétation satisfaisante des phénomènes thermodynamiques nécessite effectivement, à cause de la taille macroscopique des systèmes physiques considérés, l’utilisation de la mécanique statistique, c’est toujours par l’introduction d’hypothèses posant au départ de la démonstration l’asymétrie qu’il faut établir et, en outre, au prix d’approximations, que l’irréversibilité trouve une justification.4

1.1. L’hypothèse du chaos moléculaire [Boltzmann 1867, 1872]

17Historiquement, les premières tentatives pour établir un pont entre mécanique statistique et thermodynamique sont dues à Boltzmann. Pour modéliser l’évolution d’un système à N particules, Boltzmann utilise des fonctions de répartition réduites pμ (p, q, t), où p et q sont les vecteurs quantité de mouvement et position des constituants du gaz, dans l’espace μ « à une particule » où l’ensemble de N particules est représenté par un nuage de N points à 6 coordonnées (trois d’espace et trois de quantité de mouvement). C’est-à-dire que le nombre :

ρμ (p, q, t)d3pd3q,

est le nombre moyen de particules se trouvant, à l’instant t, dans le volume élémentaire d3 q centré autour du point q et qui possèdent la quantité de mouvement p à d3 p près.

18C’est pour évaluer le terme de collision (collisions supposées binaires) entre les molécules d’un gaz parfait, supposé isolé et homogène, que Boltzmann a introduit l’« hypothèse du chaos moléculaire ». Cette hypothèse, que Boltzmann justifie par l’existence de perturbations extérieures (le système ne serait donc pas vraiment « isolé »), postule de façon évidente une asymétrie temporelle [Boltzmann, in Brush 1966] :

(CM) Les molécules ne sont pas corrélées avant d’entrer en collision —alors qu’elles le sont juste après.

19Formellement, l’hypothèse (CM) implique l’indépendance des nombres de molécules susceptibles d’entrer en collision dans un certain volume à l’instant t et se traduit par la destruction rapide des relations de phase entre états. L’évolution macroscopique est alors modélisée par un processus stochastique (description en termes de probabilités), Markovien (les probabilités de transitions ne dépendent pas des états microscopiques passés) et stationnaire (par l’invariance des équations de la mécanique par translation temporelle). C’est g râce à l’établissement de cette équation cinétique approchée que Boltzmann peut montrer qu’une certaine fonctionnelle, appelée « H » (et que nous nommons HBoitzmann pour la distinguer de celle définie par Gibbs ci-après) :

est monotone décroissante jusqu’à l’état d’équilibre thermodynamique, et donc que la grandeur :

SBoltzmann = —kBHBoltzmann,

kB est la constante de Boltzmann, peut interpréter la notion d’entropie thermodynamique. Notons que cette dernière fonctionnelle « entropie » s’écrit, selon la célèbre formule due à Boltzmann,

SBoltzmann = — kB ln Ω,

où Ω est le nombre de configurations possibles ou d’états physiques « accessibles », dans le cas d’un gaz parfait à l’équilibre (et sous l’hypothèse d’équiprobabilité des états accessibles).

I.2. L’hypothèse des phases aléatoires [Pauli 1928]

20En physique quantique, von Neumann [von Neumann 1955] a défini l’entropie d’un opérateur densité D par :

SVN[D] = —kB TrD ln D. (1)

21L’entropie « quantique » SVN[D], qui peut être vue comme une généralisation de l’entropie définie par Gibbs en mécanique statistique classique (voir ci-après), reste constante si D suit une évolution Hamilto-nienne (équation de Liouville-von Neumann). C’est aussi grâce à l’utilisation d’une approximation (ici, l’hypothèse des « phases aléatoires ») que la question de l’interprétation mécanique de l’irréversibilité thermodynamique a été « résolue » par Pauli dans le cadre quantique.

22L’hypothèse des phases aléatoires proposée par Pauli [Pauli 1928] peut être considérée comme la réplique quantique de l’hypothèse du chaos moléculaire de Boltzmann. Selon cette hypothèse, qui est justifiée par l’existence de perturbations extérieures incontrôlables subies par le système, les relations de phase entre ses micro-états possibles sont réparties de façon aléatoire et sont alors très rapidement détruites, en des temps très petits à l’échelle des temps d’évolution macroscopique. Cette hypothèse permet de substituer à l’opérateur densité D « exact », soumis à l’évolution Hamiltonienne (équation de Liouville-von Neumann), un opérateur densité approché Ddiag pour lequel les termes non-diagonaux de la matrice représentant D dans une certaine base (de « relevance ») sont gommés. L’opérateur approché vérifie alors une équation maîtresse Markovienne (l’équation de Pauli) du même genre que celle obtenue par Boltzmann dans le cadre de la mécanique statistique classique.

  • 5  Une généralisation de la méthode utilisée par Boltzmann, Pauli ou Gibbs (dont la proposition est r (...)

23Pour notre propos qui est de préciser le concept d’« information » utilisé en physique et d’en dévoiler ses limites, un premier commentaire s’impose à cet endroit. L’évolution d’un système vers son état d’équilibre thermodynamique, qu’il soit modélisé par l’équation de Boltzmann ou celle de Pauli a été, après coup, décrite en termes d’« information » ou même de « mémoire ». Par exemple, le théorème H de Boltzmann s’interpréterait comme un transfert continu d’« information» des fonctions de répartitions à une particule vers les corrélations crées à chacune des collisions [Balian 2005, 21]. Dans le même esprit, nous pouvons lire que lors de son évolution vers son état d’équilibre, « le système macroscopique « perd la mémoire » de ses états microscopiques antérieurs au bout d’un temps t très court par rapport à l’échelle de temps caractéristique de son évolution macroscopique » [Diu et al. 1989, 597]. Cependant, quel est exactement le statut des notions d’« information » et de « mémoire » utilisées par ces auteurs (et par bien d’autres encore) pour décrire l’évolution spontanée d’un système vers son état d’équilibre thermodynamique ? S’agit-il vraiment d’une « information » pouvant être attribuée de façon intrinsèque au système physique —et de même pour la notion de « mémoire » —, et, si oui, comment ? Ou bien faut-il, comme c’est généralement le cas, comprendre ces notions de façon subjective en faisant référence à un observateur impersonnel qui disposerait ou non de cette information-connaissance ? Malheureusement, il semblerait que ce soit la deuxième option qui ait été choisie par les physiciens jusqu à très récemment. Le concept d’« information » renvoie, chez ces auteurs, à une notion d’observateur susceptible d’acquérir ou non cette « information » et c’est même ce critère là qui définit la « relevance » d’une telle information-connaisance. Les observables « relevantes » sont, en effet, définies comme celles qui peuvent être mesurées ou contrôlées par ce même observateur alors que l’« entropie relevante » correspondante évalue le manque d’information(-connaissance) sur l’état microscopique du système compte tenu du fait que ne peuvent être observées ou contrôlées que cet ensemble de variables macroscopiques « relevantes » [Balian 2005]5. En outre, cette dérive subjectiviste est amplifiée dans les autres propositions rapportées ci-après, qui sont tout aussi incontournables que les précédentes, puisque celles-ci font explicitement appel à ce que connaît ou ne connaît pas l’observateur ou l’expérimentateur du système physique considéré.

I.3. L’hypothèse du coarse-graining [Gibbs 1902]

24L’entropie définie par Boltzmann, à l’aide de la densité ρμ à une particule, ne prenant pas en compte les interactions entre les composants du fluide (sauf au moment des chocs), elle ne convient donc que pour des gaz parfaits et non pas pour des fluides réels [Jaynes 1965]. C’est ce qui avait amené Gibbs à considérer une définition plus générale de l’entropie thermodynamique utilisant la densité en phase ρ(p(N), q(N), t) dans l’espace des phases Γ à 6N dimensions, où la fonction « H » est alors définie, pour un gaz à N particules, par :

p(N) p1,… , pN et q(N) = q1,… , qN sont les coordonnées des N particules dans q(N),, alors que est l’élément de volume de Γ autour du point de coordonnées (p(N), q(N)).

Notons que l’entropie de Gibbs :

SGibbs = — kBHGibbs (2)

est obtenu à partir de l’expression quantique de l’entropie (1) par passage à la limite : lorsque l’action caractéristique du système très grande devant h, la constante de Planck, les opérateurs impulsion et position sont remplacés par des variables réelles (coordonnées de point de Γ), les observables deviennent des fonctions de ces variables et l’opération trace se réduit bien à une intégrale de volume sur l’espace des phases Γ.

25Comme c’était le cas pour l’entropie de von Neumann, lors de l’évolution Hamiltonienne (classique) régie par l’équation de Liouville, l’entropie SGibbs reste constante. Pour interpréter la croissance monotone de l’entropie thermodynamique jusqu’à l’état d’équilibre, Gibbs a introduit l’hypothèse de découpage grossier de l’espace des phases, dite de « coarse-graining » [Gibbs 1902, chap XII] :

(CG) L’espace Γ est découpé en petits éléments de volume vj pour lesquels la précision de nos observations ne permet pas de distinguer entre deux de leurs points.

26La distribution approchée ρcg est donc obtenue par moyennage de la densité exacte ρ sur chacun des vj, si le point représentatif du système se trouve dans vj. Cette densité « coarse-grained » approximative vérifie une équation cinétique Markovienne qui traduit ici de façon explicite le processus de perte progressive d’information-connaissance de l’expérimentateur (ou de l’« observateur ») sur l’état microscopique du système, perte d’information qui est due au caractère limité de la précision de ses observations. L’entropie correspondante ScgGibb, qui est, comme SGibbs, maximisée par les distributions d’équilibre micro-canoniques, canoniques et grand-canoniques, est bien, en effet, une fonction non décroissante du temps.

I.4. L’hypothèse d’imprévisibilité de l’évolution

27Signalons enfin, pour terminer cette brève revue, un procédé d’un autre type qui a été utilisé pour établir un pont entre mécanique statistique et thermodynamique et qui repose aussi de façon explicite sur le concept d’information-connaissance. Ce procédé est basé sur l’idée que l’irréversibilité thermodynamique traduirait notre manque de connaissance de l’évolution effectivement suivie par un système physique et non sur l’utilisation d’une densité en phase ou d’un opérateur densité approximatif (« relevant »), comme dans les propositions précédentes. Cette incertitude ou absence de prévisibilité de l’évolution fait appel à ce que l’on pourrait appeler l’« hypothèse de l’Hamiltonien mal connu » qui permet d’introduire un élément de stochasticité dans l’évolution dynamique [Jaynes 1957] [Balian, 1982]. On suppose, en effet, que plusieurs évolutions sont possibles pour le système physique considéré, évolutions qui dépendent de la valeur du terme perturbatif Hj , pondéré par la probabilité pj, dans l’Hamiltonien Hj H + ∆Hj relatif à l’évolution j. Pour chacune des évolutions j, l’opérateur densité du système est régi par la loi d’évolution Hamiltonienne et suit donc une évolution conservative, c’est-à-dire que l’entropie statistique SVN définie par l’expression (1) ci-dessus reste constante, c’est-à-dire que SVN [Dj (t)] = SVN [D(0)]. Cependant, par la propriété de concavité de l’entropie statistique [Balian 1982], l’opérateur densité résultant de cet ensemble d’évolutions possibles, qui doit être calculé à t comme la moyenne pondérée par les probabilités pj des opérateurs Dj(t), suit une évolution dissipative. L’hypothèse de l’Hamiltonien « mal connu » permet ainsi d’établir la croissance monotone de l’entropie quantique jusqu’à sa valeur maximale (d’équilibre).

28D’autre part, Prigogine et ses collaborateurs ont proposé une modification des lois Hamiltoniennes de façon à y incorporer la sensibilité de certains systèmes dit « mélangeants » aux conditions initiales, systèmes considérés alors comme étant « intrinsèquement » instables [Prigogine 1980]. Cependant, bien que cette proposition soit fondée sur la limitation de notre connaissance des conditions initiales (même si c’est de façon plutôt cachée) et non sur celle de l’Hamiltonien, elle revient en fait à interpréter l’irréversibilité selon l’idée présentée ci-dessus d’imprévisibilité de l’évolution due à un manque d’information-connaissance (ici, ce manque d’information concerne les conditions initiales et non l’Hamiltonien).

II. L’introduction du concept d’information statistique en physique

29C’est ici que l’on a franchi un pas supplémentaire décisif (et souvent accepté sans discussion). On ne s’est pas seulement contenté d’introduire, de façon souvent implicite, des considérations relatives à l’« information » dont nous disposons sur l’état microscopique d’un système pour expliquer la croissance monotone de l’entropie thermodynamique —que ce soit en utilisant l’hypothèse du chaos moléculaire, un concept de coarse graining, en définissant plus généralement une densité d’état ou un opérateur densité « relevant(e) », ou même en évoquant un manque de prévisibilité de l’évolution. Les définitions statistiques de l’entropie thermodynamique proposée par Boltzmann, Gibbs et von Neumann, qui sont pleinement justifiée par la taille macroscopique des systèmes considérés, ont été exploitées plus radicalement encore : par une interprétation sub-jectiviste du concept de probabilité inhérent à ces définitions, certains ont proposé une pure et simple identification de la notion d’entropie thermodynamique avec celle d’« entropie » statistique issue de la théorie de la communication de Shannon et Weaver [Shannon & Weaver 1948] —et appliquée au contexte physique dont il est question. C est-à-dire qu’ils ont proposé l’idée selon laquelle l’entropie thermodynamique d’un système physique ne serait finalement qu’’une mesure de notre ignorance de son état microscopique.

30Précisons ce point essentiel. L’« entropie statistique », qu’il vaudrait mieux appeler manque d’information-connaissance pour la distinguer a priori des interprétations données par Boltzmann, Gibbs ou von Neumann de l’entropie thermodynamique dans le cadre de la mécanique statistique, est définie de la façon suivante : pour un ensemble d’événements possibles E = {e1 ..., ej, ..., en} pouvant survenir avec des probabilités p1, ..., pj, ..., pn, l’entropie statistique Sstat(E) de l’ensemble E, qui évalue l’information manquante sur cet ensemble (ou la quantité d’information moyenne qui peut être acquise lors de l’observation que l’un de ces événements se réalise), est définie par :

k est un facteur multiplicatif choisi selon l’unité d’information adoptée.

31En théorie de la communication, Sstat(E) s’interprète comme l’incertitude sur l’ensemble de tous les messages j qui peuvent être reçus. On choisit k = 1 avec des logarithmes en base 2 de façon à dire que la quantité d’information obtenue par un tirage à pile ou face (équiprobable) est de 1 bit (ou « binary digit »), ce qui définit l’unité d’information. Avec ce choix, la quantité d’information associée à un message de n caractères écrit dans un langage binaire est de n bits. En physique statistique, il suffit de choisir k = kB, la constante de Boltzmann, et des logarithmes népériens pour établir une parfaite identification formelle avec la définition de l’entropie proposée par Gibbs en physique classique (expression (2)) ou von Neumann en physique quantique (expression (1)).

  • 6  Ce point sera plus développé dans la section III.2.

32En fait, une remarque importante s’impose ici : afin d’appliquer ce dernier concept d’information statistique au domaine de la physique quantique, il faut définir l’ensemble des événements de mesure qui sont susceptibles de nous informer sur l’état d’un système et non sur un état modifié (« réduit ») par ces mesures. Il ne faut donc s’intéresser qu’à des mesures d’observables qui commutent avec l’opérateur densité D représentatif de cet état6. Moyennant ce choix, l’observation des différents résultats possibles de la mesure d’une telle observable décrit un ensemble d’événements (exclusifs) nous informant sur l’état microscopique du système et l’information statistique (3) associée à cette distribution d’évènements s’écrit alors comme l’entropie quantique (1) de ce même état (et donc comme sa limite classique (2) introduite par Gibbs).

33Cette analogie formelle entre entropie thermodynamique (classique ou quantique), définie dans le cadre de la mécanique statistique, et « entropie » statistique, définie dans le cadre de la théorie de la communication, a conduit trop rapidement à une pure et simple identification conceptuelle de la notion d’entropie thermodynamique avec celle de manque d’information-connaissance. En effet, selon ce point de vue, l’entropie thermodynamique d’un système physique se réduiraient à n’être qu’une évaluation purement subjective de notre connaissance de son état microscopique. Et, par conséquent, le second principe de la thermodynamique, au lieu de régir l’évolution intrinsèque d’un système physique, ne traduirait que l’évolution de notre connaissance des détails fins de ce système.

  • 7  Notons que la fonction de distribution à N particules, ρ(p(N), q(N), t), définie dans l’espace des (...)

34Les succès de la mécanique statistique ne sont plus à démontrer puis-qu elle permet d’interpréter la notion d’entropie thermodynamique, de calculer les distributions d’équilibre et, plus généralement, de « retrouver » la thermodynamique à l’aide de règles de correspondance adéquates [Balian 1982, chap. 5]. Cependant, l’identification de la définition statistique de l’entropie thermodynamique, donnée par Boltzmann, Gibbs ou von Neumann (rappelées dans la section I), à l’« entropie » statistique à la Shannon, comme mesure de l’information-connaissance manquante, semble constituer une sur-interprétation qui n’est pas nécessaire. Cette dérive subjectiviste est bien sûr liée à l’interprétation subjective de la notion de probabilité inhérente à la description statistique des systèmes physiques qui est faite en mécanique statistique. En effet, en mécanique statistique (classique) les états microscopiques possibles d’un système physique forment un continuum dans l’espace des phases qui lui est associé, tandis que son état macroscopique est défini par la donnée d’une densité de probabilité ), w(p(N), q(N), t) dans cet espace, densité à partir de laquelle peuvent être définies les fonctions de distribution des particules7. Mais les «probabilités » de la mécanique statistique mesurent tout d’abord des rapports entre des nombres de configurations (ou de microétats) physiques, et l’interprétation de la définition statistique de l’entropie thermodynamique en terme d’information manquante, c’est-à-dire selon la formule de Shannon, ne s’impose pas du tout ! Par exemple, la « probabilité » d’occurrence d’un micro-état caractérisé par les valeurs p0 et q0, à d3p et d3q près, est définie comme le rapport du nombre de microétats physiques possibles satisfaisant ces conditions sur le nombre total de micro-états « accessibles », c’est-à-dire compatibles avec les contraintes macroscopiques. Il serait, par conséquent, beaucoup plus pertinent (et aussi plus conforme à l’idée des pères fondateurs de la mécanique statistique) de relier la notion d’entropie thermodynamique à la structure ou à l’organisation intrinsèque des systèmes physiques considérés, et non à notre manque de connaissance de leur micro-état. En outre, comme nous allons le voir dans la section suivante, l’interprétation subjectiviste de la notion d’entropie thermodynamique mène à certaines confusions et trouve rapidement ses limites.

35Enfin, comme nous le montrerons aussi, l’utilisation exclusive du concept statistique d’information rencontre très vite d’importantes limitations en physique quantique. Par exemple, elle ne peut servir à définir le contenu informationnel d’un « état » quantique pur —et, en particulier, d’un état intriqué.

III. Critiques de l’utilisation de la notion d’information statistique en physique

III. 1. Subjectivité de l’entropie thermodynamique : une source de confusion

36Les interprétations de la notion d’entropie thermodynamique en terme d’information statistique se réfèrent à une notion d’observateur puisqu’elles évaluent son ignorance des détails fins du système. Ce sont donc des mesures de l’information-connaissance dont dispose (ou non) l’observateur sur le système et non des grandeurs qui pourraient être associées de façon intrinsèque à ce dernier. Comment l’entropie thermodynamique, qui est définie en thermodynamique à partir des paramètres physiques macroscopiques intrinsèques d’un système (volume, énergie, température, nombre de particules…), pourrait-elle, paradoxalement, se réduire à n’être qu’une grandeur purement subjective dont la valeur dépend de ce que sait ou ne sait pas l’observateur? Doit-on accepter l’idée selon laquelle l’évolution d’un système vers son état d’équilibre thermodynamique dépendrait de ce que l’on sait ou non de son état microscopique ?

  • 8  Notons qu’il a été développé par la suite plusieurs variantes de cette expérience de pensée par Sz (...)

37Cette identification entre entropie thermodynamique et « entropie » statistique conduit, en outre, à certaines conclusions très critiquables. Il s’agit de l’idée, avancée par Szilard, Brillouin ou Costa de Beauregard, d’un « coût entropique de l’information », idée selon laquelle toute acquisition d’information se payerait par une augmentation d’entropie — ce qui permettrait ainsi de résoudre le paradoxe du démon de Maxwell [Szillard 1929] [Brillouin 1956] [Costa de Beauregard 1963]. Rappelons que le « démon de Maxwell » est un être intelligent microscopique qui serait capable de mettre en défaut le second principe de la thermodynamique en diminuant l’entropie d’un système isolé grâce à l’information qu’il acquiert sur ses composants microscopiques. Selon la version originale imaginé par Maxwell [Maxwell 1871], le système est une enceinte contenant un gaz et séparée en deux compartiments C et D par une cloison munie d’une porte microscopique. Le démon ouvrirait alors la porte aux molécules de D qui se dirigent vers C et la fermerait aux molécules de C qui veulent s’échapper. Ce qui augmenterait l’énergie interne du compartiment C et diminuerait celle du compartiment D, entraînant, par conséquent, une diminution de l’entropie thermodynamique du système8. L’introduction d’un coût entropique de l’acquisition d’information permettrait alors, selon Szillard et Brillouin, de résoudre ce paradoxe en compensant la diminution d’entropie du système due au travail du démon. Par exemple, ce coût entropique se traduirait par le réchauffement du gaz consécutif à l’utilisation par le démon d’une lampe-torche pour « voir » les molécules afin de déterminer leur direction et ainsi de les répartir dans les compartiments C ou D.

38Mais cette dernière conclusion a tout d’abord été remise en question par Landauer et Bennett : selon ces auteurs, ce serait la destruction d’information (permettant la ré-initialisation de la mémoire du démon avant chaque nouveau cycle) qui a un coût thermodynamique et non son acquisition qui peut être, elle, rendue réversible. Plus précisément, selon le « principe de Landauer », la destruction d’1 bit d’information à la température T causerait une dissipation d’énergie minimum de kBT ln 2, et donc une augmentation d’entropie correspondante de kB ln 2 [Landauer 1961] [Bennett 1988]. Car, selon Landauer, la destruction d’états logiques au cours d’un calcul (irréversibilité logique) s’accompagne nécessairement d’une augmentation du nombre d’états physiques de l’environnement afin de compenser la compression des états physiques correspondant aux états logiques détruits. A défaut, toujours selon cet auteur, ce calcul s’accompagnerait d’une diminution de l’entropie thermodynamique qui constitue (selon l’interprétation statistique qu’en a donnée Boltzmann) une mesure du nombre d’états physiques accessibles. Or cette diminution est interdite par le second principe de la thermodynamique.

39Comme nous l’avons signalé dans l’introduction, les discussions passionnées autour du paradoxe du démon de Maxwell ont été rassemblées dans le livre de Leff et Rex [Leff & Rex 2003]. Notons simplement ici, pour illustrer l’ampleur de ce débat, que le principe de Landauer a incité certains auteurs, comme Zurek ou Li et Vitanyi [Zurek 1989] [Li & Vitányi 1993, section 8.4], à proposer une notion alternative d’entropie thermodynamique qui prend explicitement en compte le contenu de la mémoire de l’observateur. En effet, ces auteurs ont proposé une notion d’« entropie physique » (ou d’« entropie algorithmique » pour Li et Vita-nyi) comme la somme de l’entropie statistique (dont la variation mesure l’information-connaissance tirée des observations) et de la place-mémoire nécessaire pour encoder dans la mémoire du démon les données acquises par ces mêmes observations (cet emplacement mémoire est évalué en terme de complexité algorithmique —dont la définition est donnée à la section suivante). Ces auteurs montent que c’est à partir de cette notion d’« entropie physique » (ou « algorithmique ») et non de la seule entropie statistique que doit être calculé le travail utile que le démon peut extraire de ses observations (et, corrélativement, l’accroissement de la quantité de chaleur du système global).

40Cependant, plus récemment, il semble que le principe de Landauer ait aussi été remis en question. Norton a tout d’abord remarqué que ce principe ne peut exorciser le démon de Maxwell que dans certains cas [Norton 2005]. Dans son article, Norton conçoit par exemple une machine cybernétique qui ferait le travail du démon sans procéder nécessairement à l’effacement de sa mémoire. Ce qui a mené Bennett à proposer une version plus générale du principe de Landauer, selon laquelle ce serait toute opération de « fusion de chemins computationels », se traduisant par une réduction d’états logiques au même titre que l’effacement de la mémoire, qui aurait un coût entropique. [Bennett 2003]

  • 9  Notons qu’une illustration du même genre, mais formulé en terme de pression, est proposée et analy (...)

41Mais plus fondamentalement, Norton et Shenker doutent que le principe de Landauer ou sa généralisation puissent vraiment exorciser le démon de Maxwell car les justifications qui sont généralement données à ce principe qui associe la compression d’états logiques avec celle d’états physiques utiliserait de façon illicite la notion d’ensembles statistiques [Norton 2005] [Shenker 2000]. Pour montrer ce point, Norton reprend l’illustration que font Leff et Rex du principe de Landauer9, où ils modélisent la mémoire du démon comme une boîte contenant une seule molécule et placée en contact avec un thermostat à température T. Cette boîte est séparée en deux compartiments par une cloison amovible et la position de cette dernière (dans le compartiment de droite ou de gauche) détermine alors l’état de la mémoire du démon [Leff & Rex 2003, 1].

42Le calcul des entropies thermodynamiques de la boîte (ou « cellule mémoire ») donné par Leff et Rex assigne (a) la même valeur dans le cas où la molécule peut se trouver indifféremment dans le compartiment de droite ou celui de gauche et dans le cas où la cloison de séparation entre les deux compartiments a été enlevée puisque, selon ces auteurs, dans ce dernier cas la molécule a toujours autant de chance de se trouver à droite ou à gauche (p. 21) —ce qu’il faut comprendre comme « nous ne savons pas plus dans le deuxième cas que dans le premier où se trouve la molécule ». En outre, (b) cette dernière valeur serait supérieure de kB ln 2 à celle calculée dans le cas où la position de la molécule est déterminée, en particulier lorsque la mémoire a été effacée et ré-initialisée, c’est-à-dire lorsque la molécule se trouve dans une position déterminée (c’est-à-dire connue), par exemple toujours à gauche. Ce qui fait que la compression d’états logiques, de la situation où la molécule peut se trouver indifféremment à droite ou à gauche (où deux « cases-mémoires » sont nécessaires) à la situation où elle se trouve obligatoirement à gauche (où une seule « case-mémoire » est nécessaire), se traduirait bien par une réduction d’entropie thermodynamique de la cellule-mémoire de kB ln 2 et donc par une augmentation au moins égale à kB ln 2 de l’entropie de l’environnement (ici, le réservoir à la température T), conformément au principe de Landauer.

43Norton montre alors (section 3.2) que ce calcul est tout simplement faux car (a’) l’enlèvement de la cloison donne en fait lieu à une augmentation de l’entropie thermodynamique de kB ln 2 puisque le volume accessible de l’espace des phases est doublé lors de cette opération, alors que (b’) l’entropie thermodynamique est la même que l’on sache ou non où se trouve la molécule dans le cas où la boîte est séparée en deux compartiments, et en particulier après effacement et ré-initialisation de la mémoire, lorsque la molécule se retrouve dans le compartiment de gauche. Norton précise alors que « (l)’entropie thermodynamique est une propriété de la cellule et de son état physique ; elle n’est pas affectée par notre façon d’imaginer l’arrangement des cellules entre elles » [Norton 2005, 20]. La raison de cette erreur est, selon Norton, une utilisation illicite de la notion d’ensembles canoniques chez Leff et Rex. En effet, la collection de cellules-mémoire pour laquelle est définie la probabilité d’occurrence de la molécule dans l’un ou l’autre des deux compartiments est considérée, par Leff et Rex, comme un ensemble canonique au même titre que l’est, en mécanique statistique, une collection de système similaires placés dans le même état macroscopique et qui sont donc caractérisés par la même fonction de distribution de l’énergie —ce qui donne, en effet, un sens physique à l’expression de la probabilité canonique [Norton

p(x) = exp ( —E(x) / kBT) / Z,

E(x) est l’énergie du système au point de coordonnées généralisées (dans l’espace des phases relatif au système considéré)

x = (x1, x2, …, xn),

alors que Z est la fonction de partition canonique qui se définit aussi à l’aide de l’unique fonction E(x). Or, dans l’exemple de Leff et Rex repris par Norton, les cellules-mémoire ont des fonctions énergie différentes selon la position de la molécule : si la molécule se trouve à droite, l’énergie est finie dans la partie droite de l’espace des phases relatif à cette collection et infinie à gauche, de façon à ce que sa probabilité de présence s’annule ; et dans l’autre cas c’est le contraire qui est vrai. La collection de cellules-mémoire constitué par un même nombre de cellules avec la molécule à droite ou à gauche ne peut donc définir un ensemble canonique au sens de la mécanique statistique [Norton 2005, 18].

44De façon plus directe, nous pouvons dire que la notion d’« entropie » utilisée chez les défenseurs du principe de Landauer, et en particulier dans l’illustration donnée par Leff et Rex, mesure un manque d’information-connaissance à partir de probabilités subjectives —comme nous pouvons le constater dans l’argumentation de Leff et Rex (points (a) et (b) ci-dessus). Or, ces probabilités subjectives ne peuvent, en aucun cas, être identifiées aux probabilités physiques de la mécanique statistique qui évaluent, elles, des rapports entre nombres de configurations physiques accessibles, ces dernières servant à définir les ensembles statistiques de la mécanique statistique. Comme le montre Norton, l’utilisation d’ensembles statistiques est donc bien illicite dans ce cas.

45Bien que le débat sur le paradoxe du démon de Maxwell ne soit peut-être pas définitivement clos aujourd’hui, ce que l’on peut affirmer est que sa résolution, proposée initialement par Szillard puis reformulée ensuite par Landauer et Bennett en termes de coût entropique de l’effacement de la mémoire, est sérieusement remise en cause aujourd’hui. L idée d’une « équivalence », qu’elle soit directe ou non, entre néguentropie et information-connaissance ne peut plus être soutenue : soit sa justification est basée sur des exemples particuliers qui contiennent déjà une étape thermodynamiquement irréversible [Norton 2005, section II.3], soit elle utilise de façon illicite la notion d’ensemble statistique, en identifiant implicitement les probabilités introduites par Boltzmann ou Gibbs en mécanique statistique à des probabilités subjectives.

46Cette remise en question des solutions proposées au paradoxe du démon de Maxwell sur la base d’une supposée « identification » entre entropie thermodynamique et manque d’information-connaissance semble donc confirmer les doutes formulés au début de cette section : il est difficile de croire que l’entropie thermodynamique, qui est définie à partir des paramètres physiques macroscopiques intrinsèques d’un système (volume, énergie, nombre de particules, température... ), pourrait se réduire à n’être qu’une grandeur purement subjective dont la valeur dépend de ce que sait ou ne sait pas l’« observateur ». L’idée selon laquelle l’évolution d’un système vers son état d’équilibre thermodynamique dépendrait de ce que l’on sait ou non de son état microscopique semblerait relever en fin de compte d’une conception plutôt naïve de notre relation au monde physique.

III. 2. Critiques plus techniques

III. 2. 1. La référence à la notion de mesure est problématique

47L’information statistique Sstat définie par l’expression (3) mesure l’information-connaissance moyenne qui peut être acquise lors de l’observation que l’un des évènements de l’ensemble E des évènements possibles se réalise. Cette notion fait donc référence à une notion d’« observation » (ou de « réception » d’un message dans le contexte de la théorie de la communication où cette définition a été proposée), sans laquelle sa définition n’aurait d’ailleurs aucun sens. Ceci a une conséquence fâcheuse pour sa contrepartie formelle en physique quantique, l’entropie SVN d’un opérateur (rappelée dans la section I). En effet, l’entropie SVN d’un opérateur densité D :

peut bien s’écrire sous la forme d’une « entropie » statistique :

où les probabilités pj sont les valeurs propres de D :

48Mais ce n’est que dans le cas d’observables qui commutent avec D , du type :

que les probabilités d’obtention des résultats possibles bj sont égales aux pj . Ce n’est, en effet, que dans ce cas (mesure non perturbative) que la mesure de B va nous renseigner sur l’état D et non un état réduit. Par conséquent, SVN[D] n’évalue que l’incertitude relative à la mesure d’observables qui commutent avec D et non l’incertitude relative à la mesure de n’importe quelle observable.

49D’ailleurs, si l’on considère la mesure (complète) d’une observable B qui ne commute pas avec D, le gain moyen d’information serait paradoxalement plus grand que l’« information manquante» SVN[D] avant la mesure ! En effet, dans ce cas la mesure de B ne nous informe pas sur l’état initial D du système mais sur un état tronqué («réduit») D' = ∑j Pj DPj, où les Pj sont les projecteurs sur les sous-espaces associés aux résultats possibles bj de la mesure de B, et on montre que [Balian 1982, 105] :

SVN[D'] > SVN[D].

50Par conséquent, l’entropie SVN d’un opérateur donnée par von Neumann en physique quantique, dont la définition se réfère, comme celle de Sstat, à une notion d’observation ou de mesure, ne peut, en outre, évaluer que l’incertitude relative à la mesure des observables qui commutent avec cet opérateur. Son utilisation n’est donc justifiée que relativement à cette dernière classe d’observable.

III. 2. 2. Quelle mesure pour l’information quantique ?

51L’entropie SVN d’un opérateur densité, comme l’« entropie » statistique Sstat est définie « négativement », comme une incertitude (ou un « manque d’information ») liée à une distribution d’événements ou d’états possibles. Ce qui a pour conséquence que l’entropie Sstat définie par :

SVN[D] = — kB Tr D ln D (1)

ne mesure que le degré de pureté de D mais n’est pas définie pour un état pur : en fait, pour un état pur elle est prise nulle par convention ou par « construction ». Elle ne peut donc, en aucun cas, être utilisé pour évaluer le contenu informationnel d’un état pur.

  • 10  Par exemple, la mesure d’une observable M d’états propres | m1 > et | m2  sur un système préparé d (...)

52Il serait bien sûr possible de définir une notion d’information statistique pour un système préparé dans un état pur en considérant l’ensemble des mesures que l’on pourrait effectuer sur ce système. Cette grandeur, appelée par Pomeransky « entropie informationnelle » [Po-meransky 2004], évalue la quantité moyenne d’information-connaissance que l’on pourrait obtenir en effectuant ces mesures. Mais, comme nous l’avons remarqué ci-dessus, la référence à une notion de mesure n’est pas satisfaisante puisqu une mesure ne fournit en général qu’une information très partielle d’un état quantique (celle de l’état « réduit »)10. Et le fait de considérer un ensemble de mesures possibles ne permet pas plus de définir une grandeur intrinsèque à cet état pur —mais seulement une grandeur relative à ces mesures.

53En particulier, il faudrait pouvoir évaluer le contenu informationnel d’un état intriqué qui joue un rôle fondamental dans les phénomènes typiquement quantiques (corrélations EPR) et qui constitue une ressource essentielle pour la réalisation de diverses tâches spécifiquement quantiques, comme le codage superdense, la téléportation quantique, la cryptographie quantique ou le calcul effectué par un ordinateur quantique [Nielsen 1998] [Delahaye 2002] [Le Bellac 2005]. Une proposition a bien été faite par Everett (et confirmée par la suite) pour évaluer une « information de corrélation » ou « information mutuelle » de deux observables définies, respectivement, sur deux parties d’’ un système préparé dans un état pur [Everett 1973] [Schumacher 1990, 33-34]. Mais, comme son nom l’indique, cette « information de corrélation » évalue le degré de corrélation entre deux observables, en terme de quantité moyenne d’information-connaissance que peut apporter la mesure de l’une des deux observables sur la distribution des valeurs possible de l’autre. Par conséquent, comme c’était le cas ci-dessus pour l’« entropie informationnelle » de Pomeransky, l’information de corrélation renvoie à une notion de mesure (ou d’observable) et ne peut donc constituer une évaluation satisfaisante de l’information d’intrication caractéristique d’un état quantique pur. Cette information d’intrication qui est utilisée comme ressource et qui est manipulée dans les différentes applications de la théorie de l’’ information quantique devrait être considérée comme une entité à part entière, définie indépendamment des observables qu’’il serait possible ou non de mesurer sur un système physique préparé dans cet état.

54Les critiques précédentes suggèrent donc qu’il faudrait définir une mesure individuelle de l’information encodée dans un état quantique qui ne soit pas de nature statistique (pas d’utilisation des probabilités) et qui ne soit pas relative à certaines variables « relevantes » que l’on pourrait mesurer ou contrôler. C’est-à-dire une « information » structurelle qui caractérise de façon intrinsèque l’état d’’ un système physique individuel. Ce qui permettrait, par la même occasion, de surmonter les difficultés conceptuelles (subjectivisme) dues à l’utilisation exclusive d’un concept d’information-connaissance pour définir l’’ entropie physique.

IV. La notion de complexité algorithmique [Solomonoff 1964] [Kolmogorov 1965] [Chaitin 1977] [Li & Vitányi 1993]

IV. 1 Complexité algorithmique d’une suite binaire

  • 11  Notons que k(s) n’est définie qu’à une constante additive près dépendant de la machine de Turing u (...)

55Si s’est une suite de symboles d’’ un langage binaire (ne contenant, par exemple, que 0 et 1), la complexité algorithmique k(s) d’une suite s’est la longueur du plus petit programme auto-délimité d’’ ordinateur (machine de Turing universelle) capable de produire la suite s.11

56La « longueur » d’un programme est mesurée en binary digits (bits « classiques »). Par ailleurs, le programme est dit « auto-délimité » car il contient l’information relative à sa taille, ce qui permet l’arrêt de la machine de Turing universelle lorsque le programme est lu. Cette condition, qui permet une lecture (unique et) « instantanée » d’un programme, joue un rôle important dans la démonstration de la double inégalité fondamentale liant la notion de complexité algorithmique à celle d’information statistique qui sera introduite et utilisée dans les sections suivantes.

  • 12  La complexité d’une suite peut être considérée comme « apparente » puisque sa mesure dépend des mo (...)

57La complexité algorithmique d’une suite est une mesure de son contenu incompressible d’information. Par exemple, la complexité algorithmique d’une suite régulière, comme « 10101010101010101010 », qui peut être engendrée par le programme simple « écrire 10 fois ‘10’ », est plus petite que la complexité algorithmique de la suite moins régulière de même longueur « 10011010001100000111 ». La notion de complexité algorithmique capture donc la différence intuitive entre suite « régulière » pouvant être engendrée par un programme court et suite purement « aléatoire » qui ne peut être engendrée que par elle-même12.

58Ce qui est essentiel pour notre propos est que la notion de complexité algorithmique ne fait pas appel aux probabilités, contrairement à celle d’information statistique, et, en outre, ne se réfère pas à une quelconque notion de mesure ou d’observation. Elle n’est pas une évaluation de l’information-connaissance qui pourrait être obtenue par l’observation d’un événement pris dans un ensemble d’événements possibles (ici, ce serait l’obtention d’une suite parmi un ensemble de suites possibles). La complexité algorithmique évalue l’information structurelle pouvant être associée de façon intrinsèque à une suite binaire et donc à n’importe quelle entité pouvant être décrite à l’aide d’une suite binaire —comme, par exemple, l’état d’un système physique (voir ci-après les sections V et VI).

59Notons enfin qu’il est possible de définir les notions de complexité algorithmique jointe (mesurant la longueur du plus petit programme capable de décrire la concaténation de deux suites binaires), conditionnelle (mesurant la longueur du plus petit programme capable de décrire une suite à partir d’une autre) et mutuelle (mesurant le degré de corrélation entre deux suites).

IV. 2. Relation fondamentale liant complexité algorithmique et information statistique

60La théorie de l’information algorithmique permet d’établir la double inégalité fondamentale suivante liant l’« entropie » statistique et la complexité algorithmique [Levin 1976] [Chaitin 1977] [Zurek 1989] [Caves 1990] [Li & Vitányi 1993] :

E est l’ensemble des suites Sj associées aux probabilités d’occurrence pj, Sstat(E) = ∑j pj log2 pj est l’entropie statistique de l’ensemble E, exprimée en unités « naturelles » d’informations (voir la section II), < k (sj) >E = ∑j pj (sj) est la valeur moyenne sur E de la taille des programmes les plus courts qui décrivent les suites sj ; k(E) est la taille du programme le plus court qui décrit l’ensemble des suites sj et leurs probabilités d’occurrence pj,et 0(1) est une constante caractérisant la machine de Turing universelle choisie pour évaluer les valeurs de k.

61En particulier, pour des ensembles E dont la description peut se faire « de façon concise », c’est-à-dire à l’aide de quelques bits d’information, le terme k(E) est négligeable devant Sstat(E) et l’inégalité (4) se réduit alors à l’égalité suivante, à la constante 0(1) près :

62Cependant, même si cette dernière hypothèse (k(E) << Sstat(E)) n’est pas réalisée, ce qui est le cas général, il est possible d’établir une équivalence entre entropie statistique conditionnelle et complexité algorithmique conditionnelle. En fait, une telle formulation paraît plus utile en pratique puisqu’on évalue toujours des entropies statistique à partir de la donnée de l’ensemble des événements possibles et de leurs probabilités respectives d’occurrence. On évalue l’entropie statistique conditionnelle Sstat(E/ π) qui mesure le manque d’information relatif à la distribution E compte tenu de l’information préalable π permettant d’énumérer les suites sj et leurs probabilités d’occurrence pj. Par exemple, dans le domaine de la physique, π est constitué des données relatives à la préparation du système et aux éléments théoriques (mécanique statistique, par exemple) permettant l’énumération des états possibles avec leur probabilité d’occurrence. Corrélativement, il faudra considérer, au lieu de la complexité algorithmique « absolue » k(sj), la complexité algorithmique conditionnelle k(sj /pπ) définie comme la longueur du plus petit programme qui calcule la suite sj à partir du programme pπpermettant le calcul de l’ensemble E des états possibles compte tenu de l’information préalable π. Caves a ainsi reformulé la double inégalité (4) en termes d’« entropie » statistique et de complexité algorithmique conditionnelles et a établi l’équivalence recherchée (toujours à 0(1) près), qui est plus générale que la relation (4’) puisque l’hypothèse k(E) << Sstat(E) n’est pas requise [Caves 1990, 101] :

Cette dernière relation peut être utilisée pour interpréter la notion d’entropie thermodynamique en terme de complexité algorithmique.

V. Thermodynamique et complexité algorithmique

63L’équivalence (4”) peut être utilisée sans problème en mécanique statistique classique. Les suites sj peuvent être considérées comme des descriptions, dans un langage binaire, des micro-états j « accessibles », c’est-à-dire compatibles avec les contraintes macroscopiques, auxquelles sont associées les probabilités pj. Les micro-états classiques désignent, en effet, des configurations spatio-temporelles bien définies (contrairement au « états » quantiques purs dont le cas est étudié dans la section suivante), par exemple par la donnée des positions et quantités de mouvements des constituants du système. Par conséquent, ils peuvent être codées, au même titre que n’importe quelle série de nombres réels, à l’aide des suites binaires finies sj si, comme c’est le cas en pratique, un certain degré fini de précision lié, d’une part, au découpage de l’espace des phases et, d’autre part, à l’approximation retenue pour les réels à encoder est fixé.

64Ce qui permet donc, de par l’analogie formelle entre « entropie » statistique et entropie thermodynamique (voir la section II), une définition de l’entropie thermodynamique d’un système physique préparé dans le macro-état correspondant à la distribution E = { sjj} en terme de complexité algorithmique :

65

  • 13  En effet, si n est le nombre de bits nécessaire à la représentation binaire de W, celui-ci se déco (...)

66Comme application directe de ce résultat, citons le calcul de l’entropie d’un gaz parfait à l’équilibre effectué par Zurek [Zurek 1989]. Dans ce cas, < k(sj /pE) >e est la longueur moyenne du plus petit programme qui produit l’une des suites sj (relative au micro-état j) à partir du programme pE qui décrit l’ensemble des suites sj et la distribution de probabilité associée compte tenu de l’information préalable sur le système (les paramètres définissant le macro-état du système et la théorie physique qui permet l’énumération des micro-états j et des probabilités associées). Or, si W est le nombre de ces micro-états, la spécification de l’un d’eux parmi les W possibles requiert de donner son « adresse » dans cet ensemble, qui est un nombre plus petit ou égal à W. D’autre part, la longueur du plus petit programme qui produit le nombre W est de l’ordre de log2 W (qui est approximativement le nombre de bits qu’il faut utiliser pour sa représentation binaire, pour W suffisamment grand)13.

67Par conséquent, on calcule dans ce cas (toujours en unités « naturelle » d’information) que :

On retrouve donc la formule introduite par Boltzmann sans faire appel à la notion d’information statistique définie par l’expression (3) ! À l’aide de cette évaluation on retrouve effectivement la formule de Sackur-Tetrode donnant l’entropie d’un gaz parfait (classique) à l’équilibre en évaluant le nombre de micro-états possibles W compatibles avec les contraintes macroscopiques [Zurek 1989, 4736].

68Par conséquent, dans la mesure où cela fait sens de parler de l’ensemble E des micro-états (classiques) possibles compatibles avec la description macroscopique du système, la thermodynamique peut être basée sur la notion de complexité algorithmique qui ne mesure pas notre manque d’information sur l’état microscopique d’un système (ni sur son Hamiltonien ou les conditions initiales) mais l’information structurelle moyenne de ses configurations microscopiques possibles, même si c’est à une certaine précision près. En fait, un tel ensemble E de micro-états peut bien sûr être défini à l’état d’équilibre thermodynamique, comme dans l’application ci-dessus, mais aussi dès qu’une description locale de l’état macroscopique d’un système physique peut être donnée, ce qui est possible lorsqu il peut être « découpé » en sous-systèmes (à l’équilibre local et) en équilibre mutuel, sous-systèmes pour lesquels il est possible de définir des ensembles pondérés de micro-états tels que E, par exemple à l’aide de la distribution de Maxwell-Boltzmann pour chacune des parties d’un gaz parfait à l’équilibre local. Mais, en fait, ces conditions ne sont, ni plus ni moins, celles qui doivent être satisfaites si on veut donner un sens à la notion d’« entropie thermodynamique » et donc au second principe de la thermodynamique (voir section I, note 2). La définition algorithmique (5) de l’entropie thermodynamique n’introduit donc aucune contrainte supplémentaire.

69L’interprétation de la notion d’entropie thermodynamique en terme de complexité algorithmique permet donc une interprétation structurelle de la notion d’entropie thermodynamique qui s’accorde mieux avec celle donnée initialement par Boltzmann, en terme de « désordre moléculaire » [Boltzmann 1876, in Brush 1966], qu’avec celle, plus tardive, donnée par Jaynes ou Balian, en terme de manque d’’ information-connaissance. Il n’y a en fait plus de confusion possible entre entropie thermodynamique d’un système physique et manque d’information-connaissance de son état microscopique puisque, par sa définition algorithmique (5), l’entropie thermodynamique évalue le degré d’organisation intrinsèque de ce système (même si c’est moyennant une certaine précision). En outre, le second principe de la thermodynamique acquiert une interprétation structurelle : pour un système isolé, la croissance monotone de la valeur moyenne < k(sj /pE) >e de la complexité algorithmique conditionnelle des micro-états possibles jusqu à ce que soit atteint l’état d’équilibre thermodynamique signifie que la description de l’état microscopique d’un système physique requiert de plus en plus d’information lorsque ce système tend vers son état d’équilibre. Ce qui se traduit ici, en terme de complexité algorithmique, par le caractère de plus en plus aléatoire (et donc de moins en moins compressible) des suites de symboles utilisées pour encoder les états microscopiques accessibles. Cette idée s’accorde aussi avec l’intuition des fondateurs de la mécanique statistique selon laquelle l’état d’équilibre (macroscopique) est le plus « désordonné ».

VI. Physique quantique et complexité algorithmique

70Nous avions noté dans la section IV que les micro-états classiques d’un système physique peuvent être considérés comme des configurations spatiales instantanées de ce système, descriptibles en terme de suites binaires. Cependant, nous pouvons nous demander si les « états » quantiques peuvent vraiment être considérés comme tels. Il y a en effet un sens précis à considérer la description de l’état microscopique d’un système physique en physique classique, par exemple (description purement mécanique) en se donnant la position et la quantité de mouvement de chacune des particules qui le composent. Mais, comme nous le montre l’abondante littérature sur le sujet (voir, en particulier, [d’Espagnat 1994, §4.3 ou chap. 11] et [Bitbol 1996]), l’’« état » quantique d’’ un système ne constitue pas la simple « description » d’une réalité spatio-temporelle pré-existante aux mesures que l’on peut faire sur ce système. Il ne peut, malgré certaines propositions pour interpréter la théorie quantique de façon réaliste [Bohm & Hiley 1993], être considéré comme une véritable « description » d’un système physique au même titre qu’un état classique, c’est-à-dire en terme de propriétés d’objets qui seraient définies à chaque instant. L’« état » quantique doit, avant tout, être considéré comme une entité mathématique encodant l’’«information» relative à un contexte expérimental ou à une préparation, information permettant le calcul des prédictions relativement à ce contexte (c’est un « outil prédictif contextuel » selon les mots de Bitbol). La notion de complexité algorithmique peut-elle alors s’appliquer aux « états » quantiques ?

71Il est en fait possible de répondre positivement à cette question. Nous allons donc chercher à préciser comment une complexité algorithmique quantique peut être définie et que celle-ci peut être aussi utilisée, comme dans le cas classique, pour définir l’entropie thermodynamique.

  • 14  Un qubit est défini comme un système quantique dont l’« état » peut être représenté dans un espace (...)
  • 15  La définition (précise) d’un qubit donnée dans la note précédente signifie qu’un qubit porte ou en (...)
  • 16  Berthiaume et al. définissent la fidélité du calcul de l’état pur ψ > par φ > comme la quantit (...)

72Une première classe de propositions pour définir une notion de complexité algorithmique pour un qubit14 ou une suite de qubits se réfère au travail d’un ordinateur quantique, cherchant ainsi à généraliser le définition classique donnée à la section IV. Dans cet ordre d’idées, Vitányi [Vitányi 2001] définit la complexité algorithmique du qubit | ψ > comme la longueur, en bits classiques, du plus petit programme d’’ un ordinateur quantique susceptible de « produire » ou de « calculer » exactement un qubit approché φ > de | ψ >, qui serait, lui, « calculable », tout en prenant en compte la fidélité du calcul, c’est-à-dire son degré d’approximation qui peut être évalué par la quantité | < ψ | φ > |2 . De leur côté, Berthiaume, van Dam et Laplante [Berthiaume et al. 2000] proposent de considérer comme mesure de la complexité algorithmique d’une suite donnée de qubits (et donc, en particulier, d’un seul qubit) la longueur, mesurée en qubits15, de la plus petite entrée quantique (qui est aussi une suite de qubits) d’un ordinateur quantique qui « produit » ou « calcule » la suite de qubits donnée initialement (ou le qubit unique donné), et en prenant toujours en compte la fidélité16 du calcul. La différence essentielle entre ces deux approches est que Vitányi propose une mesure de la complexité algorithmique quantique d’un qubit en bits classiques, comme mesure de la longueur d’un programme « classique » fonctionnant sur un ordinateur quantique, alors que Berthiaume et al. en donnent une mesure en termes de qubits, mesurant la longueur de l’entrée quantique d’un tel ordinateur.

73Cependant, ces propositions soulèvent la question essentielle suivante : que veut dire « produire » ou « calculer » un qubit ? Dans le cas classique, « calculer » un mico-état d’un système physique revenait à décrire sa configuration spatio-temporelle, par exemple en termes des positions et quantité de mouvement de ses constituants, c’est-à-dire à décrire ce qu’il « est » vraiment, indépendamment de toute autre considération — comme nos moyens d’accès à la connaissance de cet état. Mais, comme nous l’avons remarqué ci-dessus, un « état » quantique ne peut être considéré comme tel. Il est avant tout une entité abstraite qui encode l’’ information relative à une préparation donnée et qui permet de prédire les résultats de mesure qu’il serait possible d’obtenir en mesurant telle ou telle observable.

  • 17  Un nombre calculable est un nombre pour lequel il existe un programme qui affiche successivement s (...)

74La description d’un « état » quantique pur pourrait-elle alors désigner, ainsi que le suggère aussi Vitányi [Vitányi 2001, 3-4], celle de ses deux coefficients complexes dans une certaine base ? Ces derniers étant définis à l’aide de quatre nombres réels, il faudrait donc considérer la longueur du plus petit programme qui écrit ces quatre nombres réels. Or, tous les nombres réels ne sont pas calculables17. Par contre, on peut montrer que tout nombre algébrique, qui est racine d’’ un polynôme à coefficients entiers, est calculable (alors que les autres réels, qui sont qualifiés de transcendants, comme n’ou e, la base des log népériens, ne le sont pas forcément). Par conséquent, il y aurait un sens à parler du plus petit programme qui « calcule » ou « produit » un état approché | φ > de | ψ > dont tous les coefficients sont calculables (c’est-à-dire qu’ils sont constitués par des couples de réels calculables au sens précis défini ici, pour des nombres).

75Mais une telle proposition, qui est intéressante d’un point de vue purement algorithmique, n’est pas très significative du point de vue de la physique. Il est difficile de croire que la complexité numérique des coefficients utilisés pour écrire le vecteur représentatif de l’« état » quantique d’un système physique nous informerait sur la complexité physique des phénomènes qui peuvent être observés. Comme le montre l’application de la théorie quantique à des situations paradigmatiques, telle les phénomènes d’interférences ou les corrélations EPR, des « états » quantiques peuvent s’écrire à l’aide de nombres entiers ou rationnels, c’est-à-dire à l’aide de nombres algorithmiquement simples, et donner cependant lieu à des phénomènes typiquement quantiques révélant une grande complexité physique, c’est-à-dire en fait d’une grande richesse « informationnelle ». II est donc souhaitable de définir autrement que selon la conception purement « numérique » mentionnée ici la complexité algorithmique d’un état quantique.

  • 18  Signalons aussi la proposition de Gács [Gács 2001] pour étendre la notion de complexité algorithmi (...)

76Ces remarques nous mènent à considérer une deuxième approche18 qui se base sur l’idée exposée au début de la section VI, plus proche de la réalité expérimentale, idée selon laquelle un « état » quantique doit, avant tout, être considéré comme une entité mathématique définie relativement à un processus de préparation donné. Selon cette conception, Mora et Briegel proposent de définir la complexité algorithmique d’’ un « état » quantique de la façon suivante [Mora & Briegel 2005] :

77Ces auteurs suggèrent que la complexité d’un état quantique est liée à la complexité du processus de sa préparation qui peut être décrit « classiquement », c’est-à-dire par l’intermédiaire d’un canal de communication classique qui n’utilise que de l’information classique. Ce processus expérimental peut être idéalisé comme une suite finie de « portes logiques ». Les portes logiques (quantiques) formalisent les opérations élémentaires à partir desquelles peut être générée toute préparation, préparation qui se traduit en fin de compte par une manipulation de qubits. Par exemple, outre les portes logiques qui modifient la phase du qubit d’entrée ou qui induisent une rotation, on utilise couramment l’opération de Hadamard qui agit sur l’un des qubits d’’ une base standard (|0 >, |1 >) et calcule, respectivement, une superposition linéaire à poids égaux ou opposés de ces vecteurs de base :

ou la porte CNOT qui échange les états |0 > et |1 > du qubit « cible » |y > d’un 2-qubit de type |x, y >, où x et y peuvent prendre les valeurs 0 ou 1, mais seulement dans le cas où le qubit « contrôle », |x > , est |1 > :

[Nielsen 1998].

78Une procédure de préparation donnée pour un « état » quantique utilise donc une suite finie de portes logiques d’’ une base B donnée. Pour coder le « circuit » ainsi défini, nommé CB, il faut se donner un code Ω qui va assigner à chaque circuit possible une suite de bits qui est différente de celle assigné aux autres circuits. Mora et Briegel définissent alors la complexité algorithmique (classique) d’’ un « état » quantique | φ > relativement à la base B, au code Ω et au circuit CB par [Mora & Briegel 2005, 7] :

ωΩ (CB) est le code associé au circuit CB et kcl(ωΩ (CB)) désigne la longueur du plus petit programme, en bits classiques, capable de générer ωΩ (CB).

79Puisqu il existe généralement plusieurs procédures pour préparer un « état » quantique donné, la complexité algorithmique de | φ > relativement à la base B et au code Ω sera en fait définie par la valeur minimale de la quantité définie par l’expression (6) sur tous les circuits possibles CB:

80Une remarque importante concernant la cohérence de cette définition : il est possible de montrer une propriété d’invariance par changement de code, à une constante additive près. Plus précisément, pour deux codes Ω et Ω’ la différence de complexité définie ainsi est une constante ne dépendant que de Ω et Ω’ [Mora & Briegel 2005, 7-8].

81Enfin, la définition ci-dessus suppose, idéalement, que l’état | φ > peut être préparé exactement à partir d’un circuit CB. Dans le cas général, les circuits utilisés permettent la préparation de | φ > à une certaine précision ε. Par conséquent, plus généralement encore, la complexité algorithmique de l’état quantique | φ > relativement à la base B, au code Ω et au paramètre de précision ε est définie par :

CB (| φ >) est le circuit qui prépare | φ > avec la précision ε.

82La dépendance de la définition ci-dessus par rapport à la base B pourrait faire croire que le circuit le plus court servant à préparer un état quantique donné peut toujours être rendu aussi simple que l’on veut en choisissant correctement la base B, ce qui ferait perdre à cette définition beaucoup de son intérêt. En fait, comme le montrent Mora et Briegel, il n’en est rien [Mora and Briegel 2005, 11-12] : de même que le nombre de suites binaires de longueur n compressibles, dont la complexité est inférieure à un nombre entier donné, est petit par rapport au nombre total des suites binaires de longueur n, le nombre d’états quantiques dont la complexité algorithmique relative à une base quelconque et une précision donnée est inférieure à un nombre entier donné est petit par rapport au nombre total d’états pouvant être préparé à l’aide de cette même base et avec la même précision.

83La possibilité de définir une notion de complexité algorithmique d’un « état » quantique individuel permet en particulier de définir l’information d’intrication d’un qubit en terme de complexité algorithmique. Ce qui ne pouvait se faire à l’aide de la notion statistique d’information (section III.2). Une telle définition algorithmique de l’information d’intrication permettrait une évaluation quantitative des quantités d’information manipulées et (ou) transmises dans des tâches typiquement quantiques (codage superdense, téléportation quantique, calcul quantique…), ce qui conduirait alors à en préciser les possibilités et les limites.

84Pour cette définition, on peut utiliser la notion de complexité algorithmique mutuelle. La complexité algorithmique mutuelle de deux suite s’et s’, qui est une mesure de leur degré de corrélation, est définie de la façon suivante :

k(s : s’) = k(s) + k(s’) — k(ss’)

k(ss’) mesure la complexité de la suite jointe ss’. L’information d’intrication d’un système S1,2 préparé dans l’état | φ1,2 >, S1,2 étant composé de deux sous-systèmes S1 et S2 dont certaines des observables sont corrélées (peu importe lesquelles), peut alors être définie par :

kintri(S1,2) = k(D1) + k(D2) — k(D1,2)

85D1,2 = | φ1,2 > < φ1,2 |, D1 = Tr2 D1,2 et D2 = Tr1 D1,2 sont les opérateurs densité assignables, respectivement, à S1 et S2, alors que les complexités k(D1), k(D2) et k(D1,2) sont définies comme précédemment, c’est-à-dire comme les complexités classiques des circuits qui préparent, respectivement, D1 , D2et D1,2, relativement à une même base B donnée de portes logiques, à un code Ω et pour une précision e requise.

86Enfin, notons que la possibilité de définir une notion classique de complexité algorithmique d’un état quantique permet l’utilisation de l’équivalence (4”) entre « entropie » statistique conditionnelle et complexité algorithmique conditionnelle, formulée dans la section V précédente, dans le cadre de la représentation quantique des systèmes physiques, et, par conséquent, d’adopter l’interprétation structurelle (5) de la notion d’entropie thermodynamique et du second principe dans ce cadre plus général. En effet, un macro-état quantique, représenté par un opérateur densité, est défini par un ensemble possible d’’ états purs | φj >auquel est associé une distribution de probabilités {pj}. Or, d’après les développements précédents, chaque état | φj >peut être considéré, relativement à une base B donnée, comme le résultat d’une certaine préparation expérimentale correspondant à un certain « circuit » (de longueur minimale) CB, lequel pouvant être codé par une suite de symboles pour laquelle est défini de façon tout à fait classique une notion de complexité algorithmique. L’ensemble des circuits préparant les micro-états φj >associés aux probabilités pj peut donc être décrit « classiquement », comme un ensemble statistique de suites binaires, de la même manière que l’ensemble des micro-états classiques de la section V. Par conséquent, les résultats rapportés de cette section sont applicables tels quels.

  • 19  Calcul qui est, comme le précédent (cas classique), effectué en unités « naturelles », selon la co (...)

87D’ailleurs, à titre d’application de cette équivalence dans le cadre de la mécanique statistique quantique, Caves a ainsi retrouvé l’expression de l’entropie microcanonique [Caves 1990] : Le nombre de microétats « accessibles » Pj, considérés comme équiprobables, d’un système d’énergie E, à la résolution ΔE près, est ρ(E) ΔE, où ρ(E) est la densité d’état. Par conséquent, utilisant l’équivalence fondamentale (4”) entre « entropie » statistique conditionnelle et complexité algorithmique conditionnelle moyenne des micro-états Pj, la complexité algorithmique du nombre ρ(E) ΔE étant de l’ordre de log2 ρ(E) ΔE, on retrouve l’entropie microcanonique19 Smicro = log2 ρ(E) ΔE, expression qui se réduit, pour un système de taille macroscopique, à log2 ρ(E).

Conclusion : Vers une « thermodynamique » de l’information

88Les développements précédents montrent que la notion de complexité algorithmique peut être utilisée pour évaluer, d’un point de vue dégagé de tout subjectivisme excessif, l’information structurelle encodée dans un état physique, que cet état soit considéré dans le cadre classique ou quantique —la notion d’« état » faisant, dans ce dernier cas, référence à un processus de préparation expérimentale. Cette évaluation de l’information structurelle d’un état physique, qui ne se définit pas par référence à la connaissance (ou au manque de connaissance) qu’en a l’observateur, permet d’interpréter la notion d’entropie thermodynamique en terme de degré d’organisation, c’est-à-dire comme une grandeur pouvant être assignée de façon intrinsèque au système physique considéré. En outre, une telle évaluation du contenu informationnel d’un « état » quantique individuel, qui ne se réfère ni à une notion d’ensemble statistique (via une distribution de probabilités) ni à des processus de mesure, peut donner lieu à un traitement quantitatif des phénomènes de transport et de manipulation d’information qui interviennent de façon essentielle dans les applications de la théorie de l’information quantique.

89Il semblerait, par conséquent, que la notion de complexité algorithmique rende possible la construction d’une véritable « thermodynamique » de l’information régissant les échanges, la manipulation et les transformations de l’information-organisation des systèmes physiques, une science de l’« information » dégagée de tout subjectivisme excessif.

Je remercie Roger Balian pour sa critique détaillée et très stimulante de la première version de ce manuscrit, ainsi que Jean Paul Delahaye pour ses remarques constructives et ses suggestions intéressantes. Je remercie aussi un referee anonyme pour son expertise sur la partie de ce manuscrit concernant l’application de la notion de complexité algorithmique à la physique quantique. Enfin, je suis très reconnaissant envers Guido Baccagaluppi de m’avoir invité à exposer les idées développées dans ce texte au séminaire de Philosophie des Sciences de l’IHPST, ainsi que pour nos discussions fructueuses sur le sujet.

Haut de page

Bibliographie

Balian, R.
— 1982 Du microscopique au macroscopique. Cours de physique statistique de l’Ecole Polytechnique, Tome 1, Éd. Ellipses.
— 2005 Information in statistical physics, Studies in Histories and Philosophy of Modern Physics 36.

Bennett, C. H.
— 1988 Notes on the History of Reversible Computation, IBM J. Res. Dev., Vol. 32, p. 16.

Berthiaijme, A., van Dam W. & Laplante, S.
— 2000 Quantum Kolmogorov Complexity, ArXiv :quant-ph/0005018 v1, 3 May 2000

Bitbol, M.
— 1988 The concept of measurement and time symmetry in quantum mechanics, Philosophy of Science, 55, 349-375.
— 1996 Mécanique Quantique. Une introduction philosophique, Édition Flammarion.

Bohm, D. & Hiley, B. J.
— 1993 The Undivided Universe, Routledge.

Boltzmann, L. in Brush S. G.
— 1966 Kinetic Theory, Vol. 2 (Irreversible Processes), Oxford : Pergamon.

Brillouin, L.
— 1956 Science and Information Theory, New York : Academic Press.

Callen, H. B.
— 1975 Thermodynamics, New York : Willey.

Caves, C. M.
— 1990 Entropy and Information: How much Information is Needed to Assign a Probability?, in Complexity, Entropy and the Physics of Information, Zurek, W.H. (ed) Addisson-Wesley Pub. Co.

Chaitin, G. J.
— 1977 Algorithmic Information Theory, IBM J. Res. Dev. , Vol. 21, p. 350.

Costa de Beauregard, O.
— 1963 Le Second Principe de la Science du Temps, Édition du Seuil.

Coulon, C. & Moreau, S.
— 2000 Physique statistique et thermodynamique, Dunod.

Delahaye, J. P.
— 2002 L’intelligence et le calcul, Belin. Collection Pour la Science.

Diu, B., Guthmann, C., Lederer, D. & Roulet, B.
— 1989 Physique Statistique, Édition Hermann.

Espagnat, B. d
— 1994 Le Réel Voilé. Analyse des concepts quantiques, Fayard.

Everett, H.
— 1973 The Many-Words Interpretation of Quantum Mechanics, Princeton Series in Physics, Princeton University Press.

Gacs, P.
— 2001 Quantum Algorithmic Entropy, Ar-Xiv : quant-ph/0011046 v2.

Gibbs, J.W.
— 1902 Elementary Principles in Statistical Mechanics, Yale University Press.

Grinbaum, A.
— 2004 The Significance of Information in Quantum Theory, PhD Dissertation, Ecole Polytechnique, Paris.

Hakim, R.
— 1996 Introduction à la mécanique statistique, Masson.

Huw, P.
— 1996 Time’s Arrow and Archimedes’ Point, New York, Oxford : Oxford University Press.

Jaynes, E.T.
— 1957 Information Theory and Statistical Mechanics, Phys. Rev., 2o , p. 171 and no 4 p. 620.
— 1965 Gibbs versus Boltzmann entropies, Amer. Journ. of Phys., Vol. 23, p. 391.

Kolmogorov, A. N.
— 1965 Three Approaches to the Quantitative Definition of Information, English translation in Prob. Inform. Transmission, Vol. 1, p. 1.

Landauer, R
— 1961 Irreversibility and Heat Generation in the Computing Process, IBM J. Res. Dev., Vol. 5, p. 183.

Le Bellao, M.
— 2005 Introduction à l’information quantique, Belin

Leff, H.S. & Rex, A.
— 2003 Maxwell’s Demon 2: Entropy, Classical and Quantum Information, Computing, Bristol and Philadelphia: Institute of Physics Publishing.

Levin, L. A.
— 1976 Various Measures of Complexity for Finite Objects Axiomatic Description, English translation, in Soviet Math. , Dokl. Vol. 17, p. 522.

Li,M. & Vitanyi, P.
— 1993 An Introduction to Kolmogorov Complexity and its Applications, New York : Springer-Verlag.

Maxwell, J. C.
— 1891 Theory of Heat, Traduction de G. Mouret : La Chaleur, Paris : éd. B. Tignol.

Mora, C. & Briegel, H.J.
— 2004 Algorithmic complexity of quantum states, ArXiv :quant-ph/0412172, v1 22 Dec 2004.

von Neumann, J.
— 1955 Mathematical Foundations of Quantum Physics, Princeton University Press.

Nielsen, M. A.
— 1998 Quantum Information Theory, PhD Dissertation, University of Queensland.
— 2005 Eaters of the Lotus : Landauer ’ s’Principle and the Return of Maxwell s’Demon. Studies in History and Philosophy of Modern Physics 36, 475-411.

Pauli, W.
— 1928 Über das H-Theorem vom Anwaschsen der Entropie vom Standpunkt der neuen Quantenmechanik in Probleme des Modernen Physik., Hirzel.

Poincaré, H.
— 1889 Sur les tentatives d’explication mécanique des principes de la Thermodynamique, Compte rendu hebd. de l’Académie des Sciences, n°108, p.550.

Pomeransky, A. A.
— 2004 Intrication et Imperfections dans le Calcul Quantique, Thèse de Doctorat, Université Paul Sabatier, Toulouse.

Prigogine, I.
— 1980 Physique, temps et devenir, Masson.

Reif, F.
— 1965 Statistical Physics, Berkeley Physics Course, vol. 5, Mac Graw-Hill.

Schumacher, B.
— 1990 Information from Quantum Measurements, in Complexity, Entropy and the Physics ofInformation, Zurek., W.H. (ed.), Addisson Wesley Publishing Company.
— 1995 Quantum Coding, Physical Review A, vol 51, 4o, p. 2738.

Shannon, CE. & Weaver, W.
— 1949 The Mathematical Theory of Communication, Ed. Urbana. University of Illinois Press.

Shenker, O.R.
— 2000 Logic and Entropy, http://philsci-archive.pitt.edu/115/.

Solomonoff, R. J.
— 1964 A Formal Theory of Inductive Inference, Information and Control, Vol. 7, p. 1.

Szillard, L.
— 1929 On the Decrease of Entropy in a Thermodynamic System by the Intervention of Intelligent Beings, Zeit. Phys., Vol. 53, p. 840. Traduction dans : Quantum Theory and Measurement, Wheeler J. A. and Zurek W. H. (eds.), Princeton University Press 1983.

Timpson, C. G.
— 2004 Quantum Information Theory and the Foundations of Quantum Mechanics, PhD Dissertation, University of Oxford, UK. ArXiv :quant-ph/0412063 vl 8 Dec 2004.

Vitanyi, P.
— 2001 Quantum Kolmogorov Complexity Based on Classical Descriptions, IEEE Transactions on Information Theory, Vol. 47, no 6, 2464.

Zeh, H. D.
— 1989 The Physical Basis of the Direction of Time, Springer-Verlag.

Zurek, W. H.
— 1989 Algorithmic Randomness and Physical Entropy, Phys. Rev., Vol. 40, n° 40, 4731.

Zwanzig, R.
— 1960 Statistical Mechanics of Irreversibility, Boulder Lectures in Theoretical Physics, 3 , p. 106.

Haut de page

Annexe

Appendice

Approximations « relevantes » : généralisation de la méthode [Zwanzig 1960][Zeh 1989, §3.2] [Balian 2005]

Il est possible de généraliser la méthode suivie par Boltzmann, Gibbs ou Pauli qui consiste à remplacer la densité en phase classique ou l’’ opérateur densité quantique par une densité (ou opérateur densité) « relevant(e) » défini(e) en fonction des variables macroscopiques que l’on peut mesurer ou contrôler. Pour chacune des procédures d’’ approximation utilisées, il est en effet possible de définir un opérateur de « relevance » Prel agissant sur la densité d’état classique ou l’opérateur densité quantique « exact(e) » D pour calculer la densité « relevante » correspondante :

Par exemple, l’opérateur de relevance correspondant à l’approximation du coarse graining de Gibbs (section I) se définit par :

ρ est la densité en phase et ρcg est la densité « coarse-grained » définie comme dans la section I, par une opération de moyennage sur les cellules de l’espace des phases résultant de son découpage « grossier » ; alors que dans le cadre quantique l’hypothèse des phases aléatoires de Pauli se traduit par l’introduction de l’opérateur de relevance Pdiag tel que :

Ddiag est obtenu à partir de l’opérateur densité « exact » D après élimination des termes non-diagonaux de sa représentation dans la base de relevance.

Cette substitution a pour conséquence que, dans le domaine classique par exemple, la dynamique Hamiltonienne conservative :

L = {H,.} est l’opérateur de Liouville, est alors remplacée par une dynamique dissipative régissant l’évolution de la densité relevante [Zeh 1989, §3.2] :

où Δt est la durée d’évolution pour laquelle on peut considérer que l’approximation relevante est utilisable. Par exemple, concernant l’hypothèse du chaos moléculaire de Boltzmann, Δt est le temps pour lequel on peut considérer que l’information relative aux corrélations entre molécules dues à leurs collisions devient inutile pour prédire leur évolution future.

Pour chacun des concepts de « relevance » adoptés, c’est-à-dire pour chacun des opérateurs Prel de relevance utilisés, une entropie statistique « relevante » peut être définie (disons, dans sa forme la plus générale, à partir de SVN ) :

Contrairement à l’entropie définie à l’aide de la densité exacte D :

l’entropie relevante Srel n’est pas conservée lors de l’évolution temporelle du système :

ce qui permettrait donc de justifier le second principe de la thermodynamique.

Notons qu’en pratique cette méthode est mise en application de la façon suivante. On modélise le système à N particules par un système d’équations intégro-différentielles régissant l’évolution des « fonctions de répartition à n particules », pour n variant de 1 à N, ces fonctions généralisant celle, à une particule, utilisée par Boltzmann. Ce système d’’équations, appelé «hiérarchie BBGKY», est équivalent à l’équation de Liouville régissant le comportement de la densité d’état d’un système physique mais il se prête bien aux différentes approximations relevantes permettant l’établissement d’équations cinétiques décrivant une évolution irréversible. Par exemple, l’approximation « de degré n » consiste à ne retenir que la description en terme de densité réduite à n particules, ce qui revient à négliger toute information relative aux corrélations de plus de n particules. Ces approximations permettent alors la définition d’une hiérarchie d’entropies relevantes, appelées Srel dans le paragraphe précédent, entropies correspondant aux observables que l’on peut mesurer ou contrôler sur ce système [Balian 2005, 23]. Par exemple, l’équation de Boltzmann peut être établie en ne retenant comme « relevante » que la distribution à une particule et en remarquant que, pour un gaz très dilué où seules les collisions binaires peuvent être considérées comme sources de corrélation entre les propriétés de ses composants, le temps s’écoulant entre deux collisions successives est beaucoup plus grand que la durée d une collision [Balian 2005, 20].

Haut de page

Notes

1  Nous adoptons ici une formulation standard qui mène directement à l’essentiel de ce qui nous préoccupe ici, à savoir la possibilité de caractériser l’irréversibilité interne d’un système isolé à l’aide de la croissance monotone d’une fonction d’état, l’entropie. Pour une formulation plus détaillée du second principe de la thermodynamique, on pourra se reporter par exemple au livre de Callen [Callen 1975, section 1.10].

2  Une fonction d’état est une fonction des variables (ou paramètres) macroscopiques qui définissent l’état d’un système, comme la pression, la température ou le volume. Par conséquent, la notion d’entropie thermodynamique n’est ici définie que pour des systèmes physiques pour lesquels il est possible de définir un jeu de paramètres macroscopiques susceptibles de caractériser leur état. C’est-à-dire pour des systèmes à l’état d’équilibre thermodynamique ou, du moins, pour des systèmes dont les parties sont localement à l’équilibre et en équilibre mutuel —et dans ce dernier cas, l’entropie du système est la somme des entropies définies pour chacun des sous-systèmes (extensivité de l’entropie).

3  Les équations de Hamilton-Jacobi lient les dérivées temporelles des coordonnées généralisées qi et pi et les dérivées partielles de la fonction énergie par rapport à ces même coordonnées —voir, par exemple, [Diu et al. 1989, Appendice III].

4  Ce point a été souligné par de nombreux auteurs depuis longtemps —voir, entre autres références, [Costa de Beauregard 1963] [Bitbol 1988] [Huw 1996 , chap. 2] ou [Zeh 1989, chap. 3]. Par exemple, dans cette dernière référence, Zeh dénonce le « mythe de l’origine statistique de la flèche du temps thermodynamique » (p. 38).

5  Une généralisation de la méthode utilisée par Boltzmann, Pauli ou Gibbs (dont la proposition est rapportée ci-après) pour interpréter le second principe de la thermodynamique dans le cadre de la mécanique statistique, classique ou quantique, en termes d’opérateurs de relevance et d’entropies de relevances est brièvement présentée dans l’appendice. Cette méthode générale est due à Zwanzig [Zwanzig 1960] et a été utilisée et commentée par plusieurs auteurs dont Zeh [Zeh 1989] et Balian [Balian 2005].

6  Ce point sera plus développé dans la section III.2.

7  Notons que la fonction de distribution à N particules, ρ(p(N), q(N), t), définie dans l’espace des phases Γ à 6N dimensions (voir la section I) coïncide avec la densité de probabilité w(p(N)q(N)t)

8  Notons qu’il a été développé par la suite plusieurs variantes de cette expérience de pensée par Szillard, Brillouin, Bennett, Zurek, Norton etc. ... afin d’en permettre une discussion plus précise (les références correspondantes sont celles données dans la bibliographie finale).

9  Notons qu’une illustration du même genre, mais formulé en terme de pression, est proposée et analysée par Shenker [Shenker 2000, 18].

10  Par exemple, la mesure d’une observable M d’états propres | m1 > et | m2 > sur un système préparé dans un état pur qui n’est pas état propre de M :

Image 8.png

ne permet d’obtenir qu’1 bit d’information (obtention d’un des deux résultats équi-probables correspondant à l’un des deux vecteurs propres de M) alors que la superposition des états | m1 > et | m2 > contient de l’« information » relative à l’obtention d’effets d’interférence qui n’est pas prise en compte (« information » qu’il reste justement à définir précisément et à évaluer —ce sera l’objet de la section V).

11  Notons que k(s) n’est définie qu’à une constante additive près dépendant de la machine de Turing universelle utilisée (mais pas de la suite elle-même).

12  La complexité d’une suite peut être considérée comme « apparente » puisque sa mesure dépend des moyens que nous avons trouvé pour la décrire. Mais cette remarque ne remet pas en question le bien-fondé de la définition de k : il y a un sens à parler du plus petit programme capable d’engendrer une suite donnée compte tenu de ces moyens de description.

13  En effet, si n est le nombre de bits nécessaire à la représentation binaire de W, celui-ci se décompose de la façon suivante selon les puissances de 2 :

Image 13.png

avec les i égaux à 0 ou 1. Donc W vérifie l’inégalité suivante : 2n-1 ≤ W ≤ 2n. En prenant le logarithme en base 2 de cette double inégalité, nous obtenons la double inégalité n — 1 ≤ log2 W ≤ n, à partir de laquelle peut être donné un encadrement de n : log2 W ≤ n ≤ log2 W + 1.
Par conséquent, nous pouvons dire que n est de l’ordre de log2 W pour W suffisamment grand (c’est-à-dire pour log2 W >> 1).

14  Un qubit est défini comme un système quantique dont l’« état » peut être représenté dans un espace de Hilbert à 2 dimensions, c’est-à-dire comme un vecteur de type
Image 15.png
où |0 > et |1 > sont les vecteurs de base de cet espace et α et β des coefficients complexes [Nielsen 2000, 19-20].

15  La définition (précise) d’un qubit donnée dans la note précédente signifie qu’un qubit porte ou encode une certaine quantité d’information. Cependant, on a aussi coutume de dire, depuis les travaux de Schumacher [Schumacher 1995] que « le qubit est l’unité d’information quantique » pour caractériser, par analogie avec le bit qui constitue l’unité d’information « classique », la quantité d’information encodée par... un qubit, compris comme le support de cette information. Il serait peut-être judicieux de rebaptiser autrement l’un de ces deux référents (l’unité d’information ou son support) afin de lever cette ambiguïté sémantique. Bien sûr, cette remarque ne remet pas en question les différentes recherches pour définir une mesure de l’information quantique en terme de complexité algorithmique.

16  Berthiaume et al. définissent la fidélité du calcul de l’état pur ψ > par φ > comme la quantité | < ψ | φ > |, c’est-à-dire sans l’exposant 2, définition qu’ils généralisent dans le cas d’un mélange.

17  Un nombre calculable est un nombre pour lequel il existe un programme qui affiche successivement ses décimales. Les programmes étant dénombrables et les nombres réels non dénombrables, il existe donc des réels non calculables.

18  Signalons aussi la proposition de Gács [Gács 2001] pour étendre la notion de complexité algorithmique au domaine quantique. Cette proposition, qui utilise de façon essentielle les probabilités, par la notion de « probabilité universelle », se pose manifestement en porte-à-faux avec notre projet qui est de définir une information structurelle pour un objet individuel. Malgré son intérêt intrinsèque indéniable, relatif à la possibilité de définir une notion algorithmique d’entropie quantique, cette proposition ne sera donc pas considérée ici.

19  Calcul qui est, comme le précédent (cas classique), effectué en unités « naturelles », selon la convention adoptée dans la section IV.1, c’est-à-dire en prenant la constante K = 1 et des logarithmes en base 2 (voir section II).

Haut de page

Table des illustrations

URL http://philosophiascientiae.revues.org/docannexe/image/347/img-1.png
Fichier image/png, 9,4k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-2.png
Fichier image/png, 9,8k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-3.png
Fichier image/png, 7,2k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-4.png
Fichier image/png, 6,5k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-5.png
Fichier image/png, 6,9k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-6.png
Fichier image/png, 5,5k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-7.png
Fichier image/png, 5,6k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-8.png
Fichier image/png, 9,2k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-9.png
Fichier image/png, 6,7k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-10.png
Fichier image/png, 7,8k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-11.png
Fichier image/png, 7,7k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-12.png
Fichier image/png, 8,5k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-13.png
Fichier image/png, 7,9k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-14.png
Fichier image/png, 9,1k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-15.png
Fichier image/png, 5,5k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-16.png
Fichier image/png, 8,3k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-17.png
Fichier image/png, 9,5k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-21.png
Fichier image/png, 1,2k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-22.png
Fichier image/png, 4,0k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-23.png
Fichier image/png, 3,9k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-24.png
Fichier image/png, 4,3k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-25.png
Fichier image/png, 5,9k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-26.png
Fichier image/png, 4,8k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-27.png
Fichier image/png, 4,6k
URL http://philosophiascientiae.revues.org/docannexe/image/347/img-28.png
Fichier image/png, 4,6k
Haut de page

Pour citer cet article

Référence électronique

Pierre Uzan, « Physique, information statistique et complexité algorithmique », Philosophia Scientiæ [En ligne], 11-2 | 2007, mis en ligne le 27 juin 2011, consulté le 23 novembre 2017. URL : http://philosophiascientiae.revues.org/347 ; DOI : 10.4000/philosophiascientiae.347

Haut de page

Auteur

Pierre Uzan

Université Paris I

Haut de page

Droits d’auteur

Tous droits réservés

Haut de page