A propos de régula(risa)tion, on me fait remarquer que l'usage courant dans le domaine de l'apprentissage automatique est de déterminer les méta-paramètres (ceux qui déterminent l'importance de la régularisation) par validation ou validation croisée. Fort bien, cela ne m'avait quand même pas échappé ! En termes plus simples, cela revient simplement à essayer différentes combinaisons de valeurs des méta-paramètres pour déterminer celle qui fonctionne le mieux.
Intéressant néanmoins, car effectivement illustratif de la difficulté de régulariser : de combien de Terres disposons-nous pour régler correctement (à coup d'essais / erreurs) les paramètres de l'aberrant système "cap and trade" censé réguler les émissions de gaz à effet de serre ?
Plutôt que les techniques de validation de l'apprentissage automatique standard, ce qui vient à l'esprit ici comme analogie, c'est plutôt le dilemme "exploration / exploitation" de l'apprentissage par renforcement, et dans le cadre d'un système à une seule vie : si le petit robot tombe de la table en explorant, finie la manip et pourtant, il faut bien qu'il l'explore, cette table.
Pas étonnant que dans ce cas, on préfère le voir bouger tout doucement, avec une grande prudence (et donc en interdisant beaucoup d'explorations potentiellement intéressantes, en relâchant les interdictions progressivement, bref, en réglementant son évolution), car "la tempête qui n'arrive que tous les cent ans", on la paye cash ... Il est vrai que Lloyd Blankfein a les moyens, lui !
Aucun commentaire:
Enregistrer un commentaire