Un résultat intrigant en commande sans modèle
Discussing an intriguing result on model-free control
Cédric Join1,5,6 , Emmanuel Delaleau2 , Michel Fliess3,5 , Claude H. Moog4
1

arXiv:1711.02877v1 [] 8 Nov 2017

CRAN (CNRS, UMR 7039), Université de Lorraine, BP 239, 54506 Vandœuvre-lès-Nancy, France.
Cedric.Join@univ-lorraine.fr
2
Département de Mécatronique, École nationale d’ingénieurs de Brest, 29280 Plouzané, France.
emmanuel.delaleau@enib.fr
3
LIX (CNRS, UMR 7161), École polytechnique, 91128 Palaiseau, France. Michel.Fliess@polytechnique.edu
4
LS2N (CNRS, UMR 6004), 44321 Nantes 03, France. moog@ieee.org
5
AL.I.E.N. (ALgèbre pour Identification & Estimation Numériques), 7 rue Maurice Barrès, 54330 Vézelise, France.
{michel.fliess, cedric.join}@alien-sas.com
6
Projet Non-A, INRIA Lille – Nord-Europe, France
RÉSUMÉ. Un exemple mathématique élémentaire prouve, grâce au critère de Routh-Hurwitz, un résultat à l’encontre
de la pratique actuelle en commande sans modèle : il peut y avoir plus de difficultés à régler un correcteur proportionnel
« intelligent » (iP) qu’un proportionnel-dérivé intelligent (iPD). Les simulations numériques de l’iPD et d’un PID classique
tournent largement en faveur du premier. Introduction et conclusion analysent la commande sans modèle à la lumière des
avancées actuelles.
ABSTRACT. An elementary mathematical example proves, thanks to the Routh-Hurwitz criterion, a result that is intriguing with respect to today’s practical understanding of model-free control, i.e., an “intelligent” proportional controller
(iP) may turn to be more difficult to tune than an intelligent proportional-derivative one (iPD). The vast superiority of iPDs
when compared to classic PIDs is shown via computer simulations. The introduction as well as the conclusion analyse
model-free control in the light of recent advances.
MOTS-CLÉS. Commande sans modèle, correcteurs iP, correcteurs iPD, PID, critère de Routh-Hurwitz, réparation, apprentissage, intelligence artificielle.
KEYWORDS. Model-free control, iP controllers, iPD controllers, PID, Routh-Hurwitz criterion, fault accommodation, machine learning, artificial intelligence.

La première fois qu’Aurélien vit Bérénice, il la trouva franchement laide.
Aragon (Aurélien. Paris : Gallimard, 1944)

1.

Introduction

1.1. Généralités

Les faits suivants sont connus de tout automaticien :
— Écrire un « bon » modèle mathématique d’une machine réelle, c’est-à-dire non idéalisée, comme en
physique fondamentale, est redoutable, voire impossible. Ainsi s’explique la popularité industrielle
stupéfiante des correcteurs PID (voir, par exemple, [Åström & Hägglund (2006)],
[Franklin et coll. (2015)], [Janert (2014)], [Lunze (1996)], [O’Dwyer (2009)],
[Rotella & Zambettakis (2008)]). Une telle modélisation y est sans objet.
— Le tribut est lourd :
— performances médiocres,
— défaut de robustesse,
— réglage laborieux des gains.
c 2017 ISTE OpenScience – Published by ISTE Ltd. London, UK – openscience.fr

Page | 1

La « commande sans modèle », ou model-free control, [Fliess & Join (2013)] et ses correcteurs « intelligents » ont été inventés pour combler ces lacunes. De nombreuses publications récentes, dans les
domaines les plus divers, démontrent leur efficacité et simplicité, non seulement en France, mais aussi,
et même davantage, à l’étranger : voir, par exemple, les références de [Fliess & Join (2013)], et
[Abouaïssa et coll. (2017b)], [Abouaïssa et coll. (2017a)] et leurs références.
La bibliographie de [Fliess & Join (2013)] atteste que la dénomination model-free control apparaît
maintes fois dans la littérature, mais en des sens distincts du nôtre. L’importance croissante de l’intelligence artificielle et de l’apprentissage, au travers des réseaux de neurones notamment, s’est fort naturellement greffée au sans-modèle : voir, par exemple, [Cheon et coll. (2015)], [Lillicrap et coll. (2016)],
[Luo et coll. (2016)], [Mnih et coll. (2015)], [Radac & Precup (2017)], [Radac et coll. (2017)]. Nos techniques, sans nul besoin de calculs lourds [Join et coll. (2013)], éludent cette tendance actuelle de l’informatique (voir [Gédouin et coll. (2011)], [Lafont et coll. (2015)], [Menhour et coll. (2017)] pour des
illustrations concrètes).
1.2. Bref aperçu de la commande sans modèle 1

On remplace le modèle global inconnu par le modèle ultra-local :
y (ν) = F + αu

(1)

— Les variables u et y désignent respectivement la commande et la sortie.
— L’ordre de dérivation, choisi par l’ingénieur, ν ≥ 1 est 1, en général. Parfois, ν = 2. On n’a jamais
rencontré ν ≥ 3 en pratique.
— L’ingénieur décide du paramètre α ∈ R de sorte que les trois termes de (1) aient même magnitude.
Une identification précise de α est, donc, sans objet.
— On estime F grâce aux mesures de u et y.
— F subsume non seulement la structure inconnue du système mais aussi les perturbations externes 2 .
Si ν = 2, on ferme la boucle avec un régulateur intelligent proportionnel-intégral-dérivé, ou iPID, c’està-dire une généralisation des PID classiques,
R
Festim − ÿ ∗ − KP e − KI e − KD ė
(2)
u=−
α
— Festim est une estimée F .
— y ∗ est la trajectoire de référence.
— e = y ∗ − y est l’erreur de poursuite.
— KP , KI , KD ∈ R sont les gains.
Il vient, d’après (1) et (2),
Z
ë + KD ė + KP e + KI e = Festim − F
(3)
On obtient une « bonne » poursuite si l’estimée Festim est « bonne », c’est-à-dire F − Festim ' 0. Contrairement aux PID classiques, (3) prouve la facilité, ici, du choix des gains.
1. Pour plus de détails, voir [Fliess & Join (2013)].
2. Cette distinction entre structure interne et perturbations externes se retrouve partout. Elle ne présente, à notre avis, aucune évidence a priori. Les confondre est une percée conceptuelle indubitable. Comparer avec « la commande par rejet actif de perturbations »,
ou Active Disturbance Rejection (ADRC) (voir, par exemple, [Sira-Ramírez et coll. (2017)]).
c 2017 ISTE OpenScience – Published by ISTE Ltd. London, UK – openscience.fr

Page | 2

Si KD = 0 on a un régulateur intelligent proportionnel-intégral, ou iPI,
R
Festim − ÿ ∗ − KP e − KI e
u=−
α
Si KI = 0 on a un régulateur intelligent proportionnel-dérivé, ou iPD,
Festim − ÿ ∗ − KP e − KD ė
u=−
α

(4)

Le plus fréquemment, ν = 1. On obtient alors un régulateur intelligent proportionnel, ou iP,
u=−

Festim − ẏ ∗ − KP e
α

(5)

Remarque. Voir [Delaleau (2014)] pour une autre approche de la stabilisation.
Voici deux exceptions où un iPD est employé avec ν = 2 : [De Miras et coll. (2013)],
[Menhour et coll. (2017)] 3 .

1.3. But

Cet article exhibe un exemple linéaire, ÿ − ẏ = u, a priori élémentaire, où un iPD doit remplacer un
iP, contrairement à ce que l’on aurait pu croire naïvement. L’explication repose sur le critère bien connu
de Routh-Hurwitz (voir, par exemple, [Gantmacher (1966)]). Il démontre l’« étroitesse » de l’ensemble
des paramètres stabilisants {α, KP } en (5).
1.4. Plan

Le paragraphe 2. présente notre exemple et les excellents résultats obtenus avec un iPD. Au paragraphe suivant, les difficultés rencontrées avec un iP sont expliquées grâce au critère de Routh-Hurwitz.
L’équivalence démontrée en [d’Andréa-Novel et coll. (2010)], [Fliess & Join (2013)] entre PID et iPD
nous conduit à comparer leurs performances au paragraphe 4. : l’avantage des iPD y est manifeste. On
en déduit en conclusion quelques pistes de réflexions sur les correcteurs intelligents associés au sansmodèle.

2.

Notre exemple

2.1. Présentation

Soit le système linéaire, stationnaire et instable,
ÿ − ẏ = u

(6)

3. La littérature sur les illustrations du sans-modèle contient plusieurs exemples avec emploi d’un iPID et ν = 2, mais sans justification aucune, comme l’absence de frottements [Fliess & Join (2013)]. Un iP avec ν = 1 aurait suffi peut-être. D’où une implantation
encore plus simple.
c 2017 ISTE OpenScience – Published by ISTE Ltd. London, UK – openscience.fr

Page | 3

Commande

Sortie

15

1.2

1
10
0.8

5
0.6

0.4
0

0.2
-5
0

-10

-0.2
0

5

10

15

20

25

30

0

5

Time(s)

10

15

20

25

30

Time(s)

(a) Commande

(b) Sortie, trajectoire de référence (- -)

Figure 1.: iPD

D’après (1), il vient, si ν = 1,
F = −αÿ + (1 + α)ẏ

(7)

L’iP déduit des calculs de [Fliess & Join (2013)] fonctionne mal.
2.2. iPD

Avec un iPD (4), ν = 2 en (1), on remplace (7) par
F = (1 − α)ÿ + αẏ
Les simulations numériques de la figure 1, déduites des calculs de [Fliess & Join (2013)], sont excellentes. On choisit α = 0.5 et les gains KP and KD tels que (s + 0.5)2 est le polynôme caractéristique de
la dynamique d’erreur. On introduit un bruit additif de sortie, blanc, centré et gaussien, d’écart type 0.01.
La condition initiale est y(0) = −0.05.
3.

Pourquoi l’implantation de l’iP échoue-t-elle ?

Tentons de comprendre l’échec de l’implantation de l’iP. Il vient pour (3) :
ė + KP e = Festim − F

(8)

où F provient de (7). Il est loisible d’écrire Festim dans le domaine opérationnel (voir, par exemple,
[Erdélyi (1962)]) :
Festim = −α

s2
s
y
+
(1
+
α)
y
(T s + 1)2
(T s + 1)

(9)

— Festim et y sont les analogues opérationnels 4 de Festim et y,
4. La terminologie « transformées de Laplace » est beaucoup plus usuelle, comme chacun le sait.
c 2017 ISTE OpenScience – Published by ISTE Ltd. London, UK – openscience.fr

Page | 4

(a) Pour tout T

(b) T = 0.1s

Figure 2.: Domaine de stabilité pour (KP , α, T )

s
(T s+1)

2

s
et (T s+1)
2 représentent des filtres dérivateurs d’ordres 1 et 2, où T > 0 est la constante de
temps (voir, par exemple, [Leich & Boite (1980)]).
Il est loisible de poser y ∗ ≡ 0 pour étudier la stabilité. Alors, e = −y. Grâce à (6)-(9), on obtient le
polynôme caractéristique




KP
1
KP
1
2 KP
2 4
3
2
2
− 2T
T s + s (2T − T ) + s −2T + T (1 + ) − T
+s
−
α
α
α
α
α
On utilise le critère de stabilité de Routh-Hurwitz (voir, par exemple, [Gantmacher (1966)], et
[Franklin et coll. (2015)], [Lunze (1996)], [Rotella & Zambettakis (2008)]). La figure 2 montre, avec
une discrétisation convenable, l’étroitesse de l’ensemble {α, KP } des paramètres stabilisants, y compris en tenant compte de la constante de temps T . La difficulté de trouver un iP satisfaisant pour (6) se
trouve confirmée. Ajoutons que la valeur « évidente » α = −1 ne convient jamais 5 .

—

4.

Comparaison entre iPD et PID

En [d’Andréa-Novel et coll. (2010)], [Fliess & Join (2013)] est démontrée une certaine équivalence
entre iPD (4) et PID usuels :
Z
u = kP e + kI e + kD ė (kP , kI , kD ∈ R)
5. La valeur α = −1 est « évidente » car, alors, F = ÿ en (7). On retrouve (6).
c 2017 ISTE OpenScience – Published by ISTE Ltd. London, UK – openscience.fr

Page | 5

Commande

Sortie

3

1.2

1

2

0.8
1
0.6
0
0.4
-1
0.2

-2

0

-3

-0.2
0

5

10

15

20

25

30

0

5

10

Time(s)

15

20

25

30

Time(s)

(a) Commande

(b) Sortie, trajectoire de référence (- -)

Figure 3.: PID

Commande

Sortie

4

1.2

3

1

2

0.8

1

0.6

0

0.4

-1

0.2

-2

0

-3

-0.2
0

5

10

15

20

25

30

0

5

Time(s)

10

15

20

25

30

Time(s)

(a) Commande

(b) Sortie, trajectoire de référence (- -)

Figure 4.: PID avec δ = 0.8

On détermine kP , kI , kD de sorte que (s + 0.66)3 soit le polynôme caractéristique de la dynamique
d’erreur. On assure ainsi un temps de réponse égal à celui du paragraphe 2.2., à ±5% près. Les résultats
de la figure 3 sont satisfaisants 6 quoiqu’inférieurs à ceux de la figure 1 pour l’iPD 7 . Afin de tester la
robustesse, modifions (6) :
ÿ − ẏ = δu
où δ, 0 ≤ δ ≤ 1, correspond à une perte de puissance de l’actionneur 8 . Avec δ = 0.8, figures 4 and 5
révèlent un meilleur comportement de l’iPD. Cette supériorité s’accentue si δ = 0.5 : voir figures 6 et 7.

6. Un réglage plus soigneux du PID les améliorerait peut-être.
7. Même bruit qu’au paragraphe 2.2.
8. Comparer avec la « réparation », ou fault accommodation, en [Fliess & Join (2013)]. Voir, aussi, [Lafont et coll. (2015)].
c 2017 ISTE OpenScience – Published by ISTE Ltd. London, UK – openscience.fr

Page | 6

Commande

Sortie

15

1.2

1
10
0.8

5
0.6

0.4
0

0.2
-5
0

-10

-0.2
0

5

10

15

20

25

30

0

5

10

Time(s)

15

20

25

30

Time(s)

(a) Commande

(b) Sortie, trajectoire de référence (- -)

Figure 5.: iPD avec δ = 0.8

Commande

Sortie

4

1.2

3

1

2

0.8

1

0.6

0

0.4

-1

0.2

-2

0

-3

-0.2
0

5

10

15

20

25

30

0

5

10

Time(s)

15

20

25

30

Time(s)

(a) Commande

(b) Sortie, trajectoire de référence (- -)

Figure 6.: PID avec δ = 0.5

Commande

Sortie

15

1.2

1
10
0.8

5
0.6

0.4
0

0.2
-5
0

-10

-0.2
0

5

10

15

20

25

30

0

5

Time(s)

10

15

20

25

30

Time(s)

(a) Commande

(b) Sortie, trajectoire de référence (- -)

Figure 7.: iPD avec δ = 0.5

c 2017 ISTE OpenScience – Published by ISTE Ltd. London, UK – openscience.fr

Page | 7

5.

Conclusion

Diverses questions découlent de cette étude :
1. L’iP et l’iPD sont les deux seuls correcteurs intelligents qui devraient importer. Les autres, comme
iPI et iPID, ne joueront, sans doute, qu’un rôle marginal.
2. L’iPD s’impose ici grâce à l’examen d’une équation donnée. Exhiber d’autres équations de systèmes jouissant de cette propriété est un but intellectuel légitime. Mais que faire sans modèle ?
Procéder par essais et erreurs ? Tenir compte des propriétés qualitatives de la machine ? Un mélange des deux ? Voilà encore une interrogation épistémologique nouvelle, due au surgissement de
la commande sans modèle 9 .
3. La preuve repose sur le choix des filtres dérivateurs. Une analyse indépendante d’une telle approche
reste à découvrir. Elle permettrait une meilleure compréhension du phénomène.
Bibliographie
ABOUAÏSSA H., ALHAJ HASAN O., JOIN C., FLIESS M., DEFER D., « Energy saving for building heating via a simple
and efficient model-free control design : First steps with computer simulations ». 21st International Conference on System
Theory, Control and Computing, Sinaia, 2017a. https://hal.archives-ouvertes.fr/hal-01568899/en/
ABOUAÏSSA H., FLIESS M., JOIN C., « On ramp metering : Towards a better understanding of ALINEA via model-free
control ». International Journal of Control, 90 (2017b) : 1018-1026.
d’ANDRÉA-NOVEL B., FLIESS M., JOIN C., MOUNIER H., STEUX B., « A mathematical explanation via “intelligent” PID
controllers of the strange ubiquity of PIDs ». 18th Mediterranean Conference on Control & Automation, Marrakech, 2010.
https://hal.archives-ouvertes.fr/inria-00480293/en/
ÅSTRÖM K.J., HÄGGLUND T., Advanced PID Control. Research Triangle Park, NJ : Instrument Society of America, 2006.
CHEON K., KIM J., HAMADACHE M., LEE D., « On replacing PID controller with deep learning controller for DC motor
system ». Journal of Automation and Control Engineering, 3 (2015) : 452-456.
DELALEAU E., « A proof of stability of model-free control ». 2014 IEEE Conference on Norbert Wiener in the 21st Century
(21CW), Boston, 2014.
DE MIRAS J., JOIN C., FLIESS M., RIACHY S., BONNET S., « Active magnetic bearing : A new step for model-free
control ». 52nd IEEE Conference on Decision and Control, Florence, 2013.
https://hal.archives-ouvertes.fr/hal-00857649/en/
ERDÉLYI A., Operational Calculus and Generalized Functions. New York : Holt Rinehart and Winston, 1962.
FLIESS M., JOIN C., « Model-free control ». International Journal of Control, 86 (2013) : 2228-2252.
FRANKLIN G.F., POWELL J.D., EMAMI-NAEINI A., Feedback Control of Dynamic Systems (7th ed.). Harlow : Pearson,
2015.
GANTMACHER F.R., Théorie des matrices, t. 2 (traduit du russe). Paris : Dunod, 1966.
GÉDOUIN P.-A., DELALEAU E., BOURGEOT J.-M., JOIN C., ARBAB CHIRANI S., CALLOCH S., « Experimental comparison of classical PID and model-free control: Position control of a shape memory alloy active spring ». Control Engineering
Practice, 19 (2011) : 433-441.
JANERT P.K., Feedback Control for Computer Systems. Sebastopol, CA : O’Reilly Media, 2014.
JOIN C., CHAXEL F., FLIESS M., « “Intelligent” controllers on cheap and small programmable devices ». 2nd International
Conference on Control and Fault-Tolerant Systems, Nice, 2013.
https://hal.archives-ouvertes.fr/hal-00845795/en/
LAFONT F., BALMAT J.-F., PESSEL N., FLIESS M., « A model-free control strategy for an experimental greenhouse with
an application to fault accommodation ». Computers and Electronics in Agriculture, 110 (2015) : 139-149.
9. À ce sujet, voir aussi la conclusion de [Fliess & Join (2013)].
c 2017 ISTE OpenScience – Published by ISTE Ltd. London, UK – openscience.fr

Page | 8

LEICH H., BOITE J., Les filtres numériques : Analyse et synthèse des filtres unidimensionnels. Paris : Masson, 2013.
LILLICRAP T.P., HUNT J.J., PRITZEL A., HEESS N., EREZ T., TASSA Y., SILVER D., WIERSTRA D., « Continuous control
with deep reinforcement learning ». 6th International Conference on Learning Representations, Vancouver, 2016.
LUNZE J., Regelungstheorie 1. Berlin : Springer, 1996.
LUO B., LIU D., HUANG T., WANG D., « Model-free optimal tracking control via critic-only Q-learning ». IEEE Transactions on Neural Networks and Learning Systems, 27 (2016) : 2134-2144.
MENHOUR L., D’ANDRÉA-NOVEL B., FLIESS M., GRUYER D., MOUNIER H., « An efficient model-free setting for longitudinal and lateral vehicle control. Validation through the interconnected pro-SiVIC/RTMaps prototyping platform ».
IEEE Transactions on Intelligent Transportation Systems, (2017) : DOI: 10.1109/TITS.2017.2699283
MNIH V., KAVUKCUOGLU K., SILVER D., RUSU A.A., VENESS J., BELLEMARE M.G., GRAVES A., RIEDMILLER M.,
FIDJELAND A.K., OSTROVSKI G., PETERSEN S., BEATTIE C., SADIK A., ANTONOGLOU I., KING H., KUMARAN D.,
WIERSTRA D., LEGG S., HASSABIS D., « Human-level control through deep reinforcement learning ». Nature, 518
(2015) : 529-533.
O’DWYER A., Handbook of PI and PID Controller Tuning Rules (3rd ed.). Londres : Imperial College Press, 2009.
RADAC M.-B., PRECUP R.E., « Data-driven model-free slip control of anti-lock braking systems using reinforcement
Q-learning ». Neurocomputing, (2017) : http://dx.doi.org/10.1016/j.neucom.2017.08.036
RADAC M.-B., PRECUP R.E., ROMAN R.C., « Model-free control performance improvement using virtual reference feedback tuning and reinforcement Q-learning ». International Journal of Control, 48 (2017) : 1071-1083.
ROTELLA F., ZAMBETTAKIS I., Automatique élémentaire. Paris : Hermès-Lavoisier, 2008.
S IRA -R AMÍREZ H., L UVIANO -J UÁREZ A., R AMÍREZ -N ERIA M., Z URITA -B USTAMANTE E.W., Active Disturbance Rejection Control of Dynamic Systems: A Flatness Based Approach. Oxford & Cambridge, MA : Elsevier, 2017.

c 2017 ISTE OpenScience – Published by ISTE Ltd. London, UK – openscience.fr

Page | 9

