Lecture indispensable pour tous les statisticiens un rien curieux ou inquiets de ce qu'il font, de ce qu'on leur fait faire, de ce qu'on dit sur ce qu'ils font et de ce qu'on fait à partir de ce qu'ils font. Le livre navigue ainsi en permanence, et c'est ce qui fait sa richesse et (à ma connaissance, du moins) son caractère unique, sur les trois niveaux syntaxique, sémantique et pragmatique de l'histoire des statistiques.
Car bien sûr, "faire des statistiques", c'est collecter des échantillons, les classer dans des boites et tenter de tirer des conclusions sur le tout; ce qui emmêle évidemment de façon inextricable des questions "syntaxiques" (comment tirer des conclusions sur le tout à partir d'une partie ? comment "bien choisir" cette partie ? etc), des questions "sémantiques" (quelles boites ? d'où sortent-elles, de l'analyse "objective", d'une définition "sociologique" ?) et des questions "pragmatiques" (les conclusions tirées des analyses statistiques sont une des sources de la politique de l'Etat (ou plus généralement de l'organisation demandeuse), ce qui ne peut qu'influer sur les choix "objectifs" ou "sociologiques" faits en amont).
A l'heure où l'INSEE, un peu à son corps défendant, change de description de l'emploi comme de chemise, à l'heure où il serait naïf de penser que le rapport Stiglitz ne sera pas l'occasion d'en rajouter question opacité des indicateurs (certes, le PIB est un indicateur pourri de défauts mais, du moins, ces défauts sont bien connus et ne tombent dans le panneau que les imbéciles et / ou ceux qui y ont intérêt; une fois nantis d'une collection d'indicateurs divers et variés, que va-t-on faire pour en tirer quelque chose de "pragmatique" ? Des analyses statistiques relatives à leurs propriétés respectives, sans doute ...), voila vraiment une lecture salutaire.
Indispensable aussi (et tout à fait accessible, c'est là le tour de force) à tous ceux qui veulent se pencher sur pourquoi et comment on transforme des chiffres en nombres et / ou des personnes en hommes moyens !
Paru en 1993 et réédité en 2000 à La Découverte / Poches.
Dans une veine plus strictement technique, l'histoire épique du maximum de vraisemblance racontée par Stephen Stigler devrait être enseignée à tous les aspirants statisticiens : "a beautiful theory killed by a nasty, ugly little fact" !
Et aussi la relecture de l'oeuvre de Jeffreys par Robert, Chopin et Rousseau, mais là c'est franchement plus technique.
Alain Desrosières fait bien remarquer l'influence de certaines avancées en physique (la distribution de Boltzmann par exemple) sur les statistiques.
Ce n'est pas son sujet mais il est amusant de s'intéresser aussi aux "contaminations" inverses, domaine particulièrement riche d'analogies aussi séduisantes qu'incontrôlées; l'assimilation de l'entropie thermodynamique à l'incertitude qu'aurait un observateur idéal sur le micro-état du système en est un exemple.
Pour le dire très vilainement, l'entropie, c'est du désordre; ce désordre, c'est de l'incertitude pour l'observateur; l'évolution de l'incertitude en fonction d'observations, c'est précisément le domaine de prédilection du bayésianisme, donc la physique statistique, c'est seulement une application de plus de l'inférence bayésienne et rien d'autre. Evidemment, ce que dit Jaynes est beaucoup plus intelligent et argumenté que cela ! Et puis, jusqu'à ce qui suit, cette analogie me paraissait fort naturelle.
Ce papier de Cosma Shalizi (très technique) démontre que cette assimilation "analogique" associée à l'emploi du formalisme bayésien standard, d'une part, des équations ordinaires de la dynamique, d'autre part, mène au résultat étonnant (et surtout choquant) que l'entropie d'un système fermé ne peut croître, en contradiction avec le second principe. Bref, mieux vaut renoncer à cette interprétation "subjective" de la physique statistique. Après tout, les états d'âme d'un hypothétique observateur idéal sur l'état du système sont quand même moins importants que la règle de Bayes ou les équations du mouvement ! On peut parfaitement s'en passer, même si on perd une des analogies les plus (faussement) évocatrices de la physique statistique ... et une de mes préférées jusqu'à ce papier !
Comme en écho aux développements d'Alain Desrosières sur la tension permanente au sein des statistiques entre le caractère "objectif" et le caractère "socialement construit" (voire "socialement constructeur") des catégories employées pour l'analyse (en bref, c'est quoi, statistiquement, la pauvreté, le chômage etc) me revient l'introduction d'un autre papier de Shalizi (What is a macrostate ? Subjective observations and objective dynamics) qui traite du même type de problème dans le domaine plus restreint et socialement moins explosif (les dégâts seront limités à quelques laboratoires, et encore !) de la physique statistique.
Cosma Shalizi dans ses oeuvres, toujours injuste avec les bayésiens (ici, Jaynes, qui mérite quand même mieux que d'être caricaturé en admirateur "incertain" de la glace fondante), ce qu'on lui pardonnera pour la clarté de son exposition:
I. WHAT’S STRANGE ABOUT MACROSTATES, OR, IS IT JUST ME?
Almost from the start of statistical mechanics, there has been a tension between subjective or epistemic interpretations of entropy, and objective or physical ones. Many writers, for instance the late E. T. Jaynes (1983), have vigorously asserted that entropy is purely subjective, a quantification of one’s lack of knowledge of the molecular state of a system. It is hard to reconcile this story with the many physical processes which are driven by entropy increase, or by competition between maximizing two different kinds of entropy (Fox, 1988). These processes either happen or they don’t, and observers, knowledgeable or otherwise, seem completely irrelevant. In a nutshell, the epistemic view of entropy says that an ice-cube melts when I become sufficiently ignorant of it, which is absurd.
These difficulties with entropy are only starker versions of the difficulties afflicting all thermodynamic macroscopic variables. Their interpretation oscillates between a purely epistemic one (they are the variables which we happen to be willing and able to observe) and a purely physical one (they have their own dynamics and have brute physical consequences, e.g. for the amount of work which engines can do). These difficulties are inherited by our definition of macrostates. Standard references define macrostates either as sets of microstates, i.e. subsets of phase space, with given values of a small number of macroscopic observables (Baierlein, 1999; Landau and Lifshitz, 1980; Reichl, 1980), or probability distributions over these (Balian, 1991; Ruelle, 1989). A given set of observables induces a set of macrostates, which form a partition of the phase space;1 but why is one such partition better than another?
There are generally several different sets of macroscopic variables which can be observed a given system. In some cases, different sets of observables are equivalent, in the sense that they induce the same partition of the phase space, and so their macrostates are in one-to-one correspondence; for instance, for an ideal gas with a constant number of molecules, we obtain the same macrostates by measuring either pressure and volume, or temperature and entropy. In other cases, observing different sets of variables will partition the set of microstates in different ways — producing partitions that are finer, coarser, or incomparable.
Even if we restrict our attention to extensive variables, there is a hierarchy of increasingly disaggregated, finegrained levels of description, with associated macroscopic variables at each level. At the highest and coarsest level are thermodynamic descriptions, in terms of system-wide extensive variables or bulk averages. Below them are hydrodynamic descriptions, in terms of local densities of extensive quantities. Below them is the Boltzmannian level, described with occupation numbers in cells of single-molecule phase space, or, in the limit, phase-space densities. (Below the Boltzmannian level we get densities over the whole-system phase space, and so statistical mechanics proper.) We can sometimes demonstrate, and in general believe, that we can obtain the coarser descriptions from the finer ones by integration or “contraction” (cf. Keizer, 1987, ch. 9). Thus there are many hydrodynamic macrostates for a given thermodynamic one, i.e. the hydrodynamic partition is much finer.
Clearly there is a problem here if macrostates are purely objective. In that case, we should be forced to use one level of description. On the other hand, we can formulate and test theories at all levels of description, and we know that, for instance, both thermodynamic and hydrodynamic theories are well-validated for many systems.
We hope to offer a resolution along the following lines. Intelligent creatures (such as, to a small extent, ourselves) start with certain variables which they are able to observe, and which interest them. This collection of variables defines a partition of phase space. This partition may not be an optimal predictor of its own future; it may have non-Markovian dynamics, with unaccounted-for patterns in its variables’ time series. In such cases, intelligent observers postulate additional variables, attempt to develop instruments capable of observing them, and thus refine this partition. Our proposal is that good macrostates are precisely the partitions at which this process terminates, i.e. refinements of the observational states whose dynamics are Markovian. One can show that there is a unique coarsest such refinement, given the initial set of observables, and that this refinement is provably optimal in several senses as a statistical predictor of the future.
Car bien sûr, "faire des statistiques", c'est collecter des échantillons, les classer dans des boites et tenter de tirer des conclusions sur le tout; ce qui emmêle évidemment de façon inextricable des questions "syntaxiques" (comment tirer des conclusions sur le tout à partir d'une partie ? comment "bien choisir" cette partie ? etc), des questions "sémantiques" (quelles boites ? d'où sortent-elles, de l'analyse "objective", d'une définition "sociologique" ?) et des questions "pragmatiques" (les conclusions tirées des analyses statistiques sont une des sources de la politique de l'Etat (ou plus généralement de l'organisation demandeuse), ce qui ne peut qu'influer sur les choix "objectifs" ou "sociologiques" faits en amont).
A l'heure où l'INSEE, un peu à son corps défendant, change de description de l'emploi comme de chemise, à l'heure où il serait naïf de penser que le rapport Stiglitz ne sera pas l'occasion d'en rajouter question opacité des indicateurs (certes, le PIB est un indicateur pourri de défauts mais, du moins, ces défauts sont bien connus et ne tombent dans le panneau que les imbéciles et / ou ceux qui y ont intérêt; une fois nantis d'une collection d'indicateurs divers et variés, que va-t-on faire pour en tirer quelque chose de "pragmatique" ? Des analyses statistiques relatives à leurs propriétés respectives, sans doute ...), voila vraiment une lecture salutaire.
Indispensable aussi (et tout à fait accessible, c'est là le tour de force) à tous ceux qui veulent se pencher sur pourquoi et comment on transforme des chiffres en nombres et / ou des personnes en hommes moyens !
Paru en 1993 et réédité en 2000 à La Découverte / Poches.
Dans une veine plus strictement technique, l'histoire épique du maximum de vraisemblance racontée par Stephen Stigler devrait être enseignée à tous les aspirants statisticiens : "a beautiful theory killed by a nasty, ugly little fact" !
Et aussi la relecture de l'oeuvre de Jeffreys par Robert, Chopin et Rousseau, mais là c'est franchement plus technique.
Alain Desrosières fait bien remarquer l'influence de certaines avancées en physique (la distribution de Boltzmann par exemple) sur les statistiques.
Ce n'est pas son sujet mais il est amusant de s'intéresser aussi aux "contaminations" inverses, domaine particulièrement riche d'analogies aussi séduisantes qu'incontrôlées; l'assimilation de l'entropie thermodynamique à l'incertitude qu'aurait un observateur idéal sur le micro-état du système en est un exemple.
Pour le dire très vilainement, l'entropie, c'est du désordre; ce désordre, c'est de l'incertitude pour l'observateur; l'évolution de l'incertitude en fonction d'observations, c'est précisément le domaine de prédilection du bayésianisme, donc la physique statistique, c'est seulement une application de plus de l'inférence bayésienne et rien d'autre. Evidemment, ce que dit Jaynes est beaucoup plus intelligent et argumenté que cela ! Et puis, jusqu'à ce qui suit, cette analogie me paraissait fort naturelle.
Ce papier de Cosma Shalizi (très technique) démontre que cette assimilation "analogique" associée à l'emploi du formalisme bayésien standard, d'une part, des équations ordinaires de la dynamique, d'autre part, mène au résultat étonnant (et surtout choquant) que l'entropie d'un système fermé ne peut croître, en contradiction avec le second principe. Bref, mieux vaut renoncer à cette interprétation "subjective" de la physique statistique. Après tout, les états d'âme d'un hypothétique observateur idéal sur l'état du système sont quand même moins importants que la règle de Bayes ou les équations du mouvement ! On peut parfaitement s'en passer, même si on perd une des analogies les plus (faussement) évocatrices de la physique statistique ... et une de mes préférées jusqu'à ce papier !
Comme en écho aux développements d'Alain Desrosières sur la tension permanente au sein des statistiques entre le caractère "objectif" et le caractère "socialement construit" (voire "socialement constructeur") des catégories employées pour l'analyse (en bref, c'est quoi, statistiquement, la pauvreté, le chômage etc) me revient l'introduction d'un autre papier de Shalizi (What is a macrostate ? Subjective observations and objective dynamics) qui traite du même type de problème dans le domaine plus restreint et socialement moins explosif (les dégâts seront limités à quelques laboratoires, et encore !) de la physique statistique.
Cosma Shalizi dans ses oeuvres, toujours injuste avec les bayésiens (ici, Jaynes, qui mérite quand même mieux que d'être caricaturé en admirateur "incertain" de la glace fondante), ce qu'on lui pardonnera pour la clarté de son exposition:
I. WHAT’S STRANGE ABOUT MACROSTATES, OR, IS IT JUST ME?
Almost from the start of statistical mechanics, there has been a tension between subjective or epistemic interpretations of entropy, and objective or physical ones. Many writers, for instance the late E. T. Jaynes (1983), have vigorously asserted that entropy is purely subjective, a quantification of one’s lack of knowledge of the molecular state of a system. It is hard to reconcile this story with the many physical processes which are driven by entropy increase, or by competition between maximizing two different kinds of entropy (Fox, 1988). These processes either happen or they don’t, and observers, knowledgeable or otherwise, seem completely irrelevant. In a nutshell, the epistemic view of entropy says that an ice-cube melts when I become sufficiently ignorant of it, which is absurd.
These difficulties with entropy are only starker versions of the difficulties afflicting all thermodynamic macroscopic variables. Their interpretation oscillates between a purely epistemic one (they are the variables which we happen to be willing and able to observe) and a purely physical one (they have their own dynamics and have brute physical consequences, e.g. for the amount of work which engines can do). These difficulties are inherited by our definition of macrostates. Standard references define macrostates either as sets of microstates, i.e. subsets of phase space, with given values of a small number of macroscopic observables (Baierlein, 1999; Landau and Lifshitz, 1980; Reichl, 1980), or probability distributions over these (Balian, 1991; Ruelle, 1989). A given set of observables induces a set of macrostates, which form a partition of the phase space;1 but why is one such partition better than another?
There are generally several different sets of macroscopic variables which can be observed a given system. In some cases, different sets of observables are equivalent, in the sense that they induce the same partition of the phase space, and so their macrostates are in one-to-one correspondence; for instance, for an ideal gas with a constant number of molecules, we obtain the same macrostates by measuring either pressure and volume, or temperature and entropy. In other cases, observing different sets of variables will partition the set of microstates in different ways — producing partitions that are finer, coarser, or incomparable.
Even if we restrict our attention to extensive variables, there is a hierarchy of increasingly disaggregated, finegrained levels of description, with associated macroscopic variables at each level. At the highest and coarsest level are thermodynamic descriptions, in terms of system-wide extensive variables or bulk averages. Below them are hydrodynamic descriptions, in terms of local densities of extensive quantities. Below them is the Boltzmannian level, described with occupation numbers in cells of single-molecule phase space, or, in the limit, phase-space densities. (Below the Boltzmannian level we get densities over the whole-system phase space, and so statistical mechanics proper.) We can sometimes demonstrate, and in general believe, that we can obtain the coarser descriptions from the finer ones by integration or “contraction” (cf. Keizer, 1987, ch. 9). Thus there are many hydrodynamic macrostates for a given thermodynamic one, i.e. the hydrodynamic partition is much finer.
Clearly there is a problem here if macrostates are purely objective. In that case, we should be forced to use one level of description. On the other hand, we can formulate and test theories at all levels of description, and we know that, for instance, both thermodynamic and hydrodynamic theories are well-validated for many systems.
We hope to offer a resolution along the following lines. Intelligent creatures (such as, to a small extent, ourselves) start with certain variables which they are able to observe, and which interest them. This collection of variables defines a partition of phase space. This partition may not be an optimal predictor of its own future; it may have non-Markovian dynamics, with unaccounted-for patterns in its variables’ time series. In such cases, intelligent observers postulate additional variables, attempt to develop instruments capable of observing them, and thus refine this partition. Our proposal is that good macrostates are precisely the partitions at which this process terminates, i.e. refinements of the observational states whose dynamics are Markovian. One can show that there is a unique coarsest such refinement, given the initial set of observables, and that this refinement is provably optimal in several senses as a statistical predictor of the future.
Aucun commentaire:
Enregistrer un commentaire