Outils Logiques pour l'Informatique

Outils Logiques pour l'Informatique - Revenir à l'accueil

 

Outils Logiques pour l’Informatique Roberto M. Amadio To cite this version: Roberto M. Amadio. Outils Logiques pour l’Informatique. Ecole d’ing´enieur. 2006, Universit´e ´ Paris 7, 2007, pp.86. HAL Id: cel-00163821 https://cel.archives-ouvertes.fr/cel-00163821 Submitted on 18 Jul 2007 HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers. L’archive ouverte pluridisciplinaire HAL, est destin´ee au d´epˆot et `a la diffusion de documents scientifiques de niveau recherche, publi´es ou non, ´emanant des ´etablissements d’enseignement et de recherche fran¸cais ou ´etrangers, des laboratoires publics ou priv´es.Outils Logiques pour l’Informatique∗ Roberto M. Amadio Universit´e Paris 7 18 juillet 2007 R´esum´e Ces notes sont une introduction `a la logique math´ematique et aux techniques de d´eduction automatique dans le cadre du calcul propositionnel classique avec des applications `a la r´esolution de probl`emes combinatoires et `a la mod´elisation et analyse de syst`emes informatiques. 1 Introduction Dans ces notes on aborde les th`emes suivants. – Calcul propositionnel classique. Interpr´etation. Formes normales. M´ethode de Davis Putnam. Fonctions d´efinissables. Relation avec les circuits combinatoires. – Syst`eme de preuve de Gentzen. Correction, compl´etude et compacit´e. M´ethode de preuve par r´esolution. – M´ethodes bas´ees sur les diagrammes de d´ecision binaire. Application `a l’analyse de syst`emes finis. – Langages formels et automates finis. Non-d´eterminisme et d´eterminisation. – Notions de calculabilit´e. Machines de Turing. Enum´erations. D´ecidabilit´e. Th´eor`eme de ´ Rice. – Notions de complexit´e. Classes P et NP. R´eduction en temps polynomial. Le probl`eme SAT et la notion de NP-compl´etude. Th´eor`eme de Cook-Levin. – Ordres bien fond´es et principe d’induction. – M´ethodes de terminaison. Plongement monotone. Ordres produit et lexicographique. Lemme de K¨onig. Ordre sur les multi-ensembles. – Travail Pratique. Mise en oeuvre d’une proc´edure de d´eduction automatique type DavisPutnam, R´esolution, – Travail Pratique. Utilisation d’un SAT solver type SATO ou CHAFF et application `a la r´esolution de probl`emes combinatoires type planification, ordonnancement, programmation lin´eaire sur les entiers,. . . On pourra se r´ef´erer aux textes suivants pour une pr´esentation plus approfondie. – J. Barwise, Handbook of mathematical logic (chapitres r´edig´es par J. Barwise et H. Schwichtenberg), Elsevier. ∗Ces notes sont bas´ees sur un cours que j’ai assur´e `a l’Universit´e de Paris 7 en 2005 et 2006. Elles sont compl´et´ees par une s´election de travaux dirig´es et pratiques. 1– J. Gallier. Logic for computer science (chapitres 1-4), Harper et Row (disponible en ligne). – J. Goubault-Larrecq et I. Mackie. Proof theory and automated deduction (chapitre 1), Kluwer Academic Publishers. – M. Sipser. Introduction to the theory of computation (chapitres 3-7), Thomson. On trouve aussi plusieurs textes d’introduction `a la logique r´edig´es en fran¸cais qui comprennent un chapitre sur le calcul propositionnel. Par exemple : – R. Cori, D. Lascar. Logique math´ematique, tome 1 : calcul propositionnel - cours et exercices, Dunod. Le texte – P. Wolper. Introduction `a la calculabilit´e, InterEditions. comprend une introduction ´el´ementaire aux machines de Turing et `a la complexit´e. 22 Calcul Propositionnel La logique est `a l’origine une r´eflexion sur le discours (logos) et sur sa coh´erence. En particulier, la logique math´ematique s’int´eresse `a l’organisation et `a la coh´erence du discours math´ematique et donc aux notions de validit´e et de preuve. Dans le calcul propositionnel classique, on dispose d’un certain nombre de propositions qui peuvent ˆetre vraies ou fausses et d’un certain nombre d’op´erateurs qui permettent de combiner ces propositions. 2.1 Formules – Soit V = {x1, x2, . . .} un ensemble d´enombrable de variables propositionnelles. – L’ensemble Form des formules est le plus petit ensemble tel que Form ⊇ V et si A, B ∈ Form alors ¬A (n´egation), (A ∧ B) (conjonction) (A ∨ B) (disjonction) sont des formules.1 – Si A ∈ V on dit que A est une formule atomique. – Si A ∈ V ou A = ¬B et B ∈ V on dit que A est un litt´eral. Dans le premier cas on dit que le litt´eral est positif et dans le deuxi`eme qu’il est n´egatif. On d´enote un litt´eral avec `, `0 , . . . – L’ensemble Var (A) des variables pr´esentes dans la formule A est d´efini par : Var (x) = {x}, Var (¬A) = Var (A), Var (A ∧ B) = Var (A ∨ B) = Var (A)∪ Var (B). 2.2 Interpr´etation – 2 = {0, 1} est l’ensemble des valeurs bool´eennes, d’apr`es George Boole. De fa¸con ´equivalente on peut utiliser B = {faux, vrai} avec la convention que faux correspond `a 0 et vrai `a 1. – Une affectation est une fonction partielle v : V * 2 avec domaine de d´efinition dom(v). – Si v est une affectation, x est une variable propositionnelle et b une valeur bool´eenne alors v[b/x] est l’affectation d´efinie par v[b/x](y) = ( b si y = x v(y) autrement – L’interpr´etation [[A]]v d’une formule A par rapport `a l’affectation v est d´efinie par r´ecurrence sur la structure de A en supposant que Var (A) ⊆ dom(v) (autrement l’interpr´etation n’est pas d´efinie) : [[x]]v = v(x) [[¬A]]v = NOT([[A]]v) [[A ∧ B]]v = AND([[A]]v, [[B]]v) [[A ∨ B]]v = OR([[A]]v, [[B]]v). 1 Il s’agit d’un exemple de d´efinition inductive d’un ensemble dont il sera question dans la section 8. 3o`u les fonctions NOT, AND, OR sont d´efinies par : x NOT(x) x y AND(x, y) x y OR(x, y) 0 1 0 0 0 0 0 0 1 0 0 1 0 0 1 1 1 0 0 1 0 1 1 1 1 1 1 1 Parfois, il est pr´ef´erable d’utiliser une notation plus compacte, `a savoir : x = NOT(x), x + y = OR(x, y) et x · y = AND(x, y). – On ´ecrit v |= A si [[A]]v = 1. – On dit que A est satisfiable s’il existe une affectation v telle que v |= A. – On dit que A est valide (ou une tautologie) si pour toute affectation v, v |= A. Exercice 2.1 Montrez que A est valide si et seulement si ¬A n’est pas satisfiable. Exercice 2.2 Si X est un ensemble de variables et v est une affectation alors v|X est la restriction de v `a X. Soit A une formule et X ⊇ Var (A). Montrez que si v|X = v 0 |X alors [[A]]v = [[A]]v 0 . Donc l’interpr´etation [[A]]v est ind´ependante des valeurs de l’affectation v sur les variables propositionnelles qui ne sont pas pr´esentes dans A. 2.3 Substitution La substitution [B/x]A d’une formule B pour une variable propositionnelle x dans la formule A est d´efinie par : [B/x](y) = ( B si y = x y autrement [B/x](¬A) = ¬[B/x]A, [B/x](A ∧ A0 ) = ([B/x]A ∧ [B/x]A0 ) [B/x](A ∨ A0 ) = ([B/x]A ∨ [B/x]A0 ) Proposition 2.3 [[[B/x]A]]v = [[A]]v[[[B]]v/x]. Idee de la preuve ´ . Par r´ecurrence sur la structure de A. • 2.4 Equivalence logique ´ On d´efinit les formules : 0 =def x ∨ ¬x 1 =def x ∧ ¬x (A → B) =def ¬A ∨ B (A ↔ B) =def (A → B) ∧ (B → A) Si |= A ↔ B on dit que A et B sont logiquement ´equivalentes et on ´ecrit aussi A ≡ B. Exercice 2.4 Montrez que A et B sont logiquement ´equivalentes si et seulement si pour toute affectation v, [[A]]v = [[B]]v. Exercice 2.5 Montrez : (A ∨ 0) ≡ A, (A ∨ 1) ≡ 1, (A ∨ B) ≡ (B ∨ A), ((A ∨ B) ∨ C) ≡ (A ∨ (B ∨ C)), (A ∨ A) ≡ A (A ∧ 0) ≡ 0, (A ∧ 1) ≡ A, (A ∧ B) ≡ (B ∧ A), ((A ∧ B) ∧ C) ≡ (A ∧ (B ∧ C)), (A ∧ A) ≡ A, (A ∧ B) ∨ C ≡ (A ∧ C) ∨ (B ∧ C), (A ∨ B) ∧ C ≡ (A ∧ C) ∨ (A ∧ C), ¬¬A ≡ A, ¬(A ∨ B) ≡ ((¬A) ∧ (¬B)), ¬(A ∧ B) ≡ ((¬A) ∨ (¬B)) . 4On appelle les deux derni`eres ´equivalences de l’exercice pr´ec´edent lois de De Morgan. Si {Ai | i ∈ I} est une famille de formules index´ees sur l’ensemble I on peut ´ecrire : V {Ai |i∈I} ou V i∈I Ai , W {Ai |i∈I} ou W i∈I Ai . Comme la disjonction et la conjonction sont associatives et commutatives, cette notation d´efinit une formule unique `a ´equivalence logique pr`es. Par convention, si I est vide on a : ^ ∅ = 1 et _ ∅ = 0 . 2.5 Fonctions d´efinissables et formes normales – Soit x1, . . . , xn une liste de variables distinctes telle que {x1, . . . , xn} ⊇ var (A). Une formule A d´efinit une fonction fA : 2 n → 2 par fA(b1, . . . , bn) = [[A]][b1/x1, . . . , bn/xn] Notez que la fonction fA non seulement d´epend de A mais aussi de la liste de variables x1, . . . , xn. Par exemple, la formule x d´efinit la premi`ere projection par rapport `a la liste x, y et la deuxi`eme projection par rapport `a la liste y, x. – Une formule est en forme normale disjonctive (DNF pour Disjunctive Normal Form) si elle est une disjonction de conjonctions de litt´eraux. – On appelle clause une disjonction de litt´eraux. Une formule est en forme normale conjonctive (CNF pour Conjuctive Normal Form) si elle est une conjonction de clauses. Th´eor`eme 2.6 Toute fonction f : 2 n → 2 est d´efinissable par une formule A en forme normale disjonctive telle que Var (A) = {x1, . . . , xn}. Idee de la preuve ´ . On construit un tableau de v´erit´e avec 2n entr´ees. Si f(b1, . . . , bn) = 1 avec bi ∈ {0, 1} alors on construit un monˆome (`1 ∧ · · · ∧ `n) o`u `i = xi si bi = 1 et `i = ¬xi autrement. La formule A est la disjonction de tous les monˆomes obtenus de cette fa¸con. Par exemple, si f(0, 1) = f(1, 0) = 1 et f(0, 0) = f(1, 1) = 0 alors on obtient A = (¬x1 ∧ x2) ∨ (x1 ∧ ¬x2). • Corollaire 2.7 Toute fonction f : 2 n → 2 est d´efinissable par une formule A en forme normale conjonctive telle que Var (A) = {x1, . . . , xn}. Idee de la preuve ´ . Par le th´eor`eme 2.6 on peut construire une formule A en forme normale disjonctive pour la fonction NOT ◦ f : 2 n → 2. Donc la formule ¬A d´efinit la fonction f. On applique maintenant les lois de De Morgan et on obtient : ¬ _ i∈I ( ^ j∈Ji `i,j ) ≡ ^ i∈I (¬( ^ j∈Ji `i,j )) ≡ ^ i∈I ( _ j∈Ji (¬`i,j ) ) ≡ ^ i∈I ( _ j∈Ji ` 0 i,j ) o`u ` 0 i,j = ¬xi,j si `i,j = xi,j et ` 0 i,j = xi,j si `i,j = ¬xi,j . Bien sˆur, on utilise ici l’´equivalence logique A ≡ ¬¬A. • 5Remarque 2.8 Tout ensemble fini X peut ˆetre cod´e par les ´el´ements d’un ensemble 2 n pour n suffisamment grand. Toute fonction f : 2 n → 2 m se d´ecompose en m fonctions f1 : 2 n → 2, . . . , fm : 2 n → 2. Ainsi toute fonction f : X → Y o`u X et Y sont finis peut ˆetre d´efinie, modulo codage, par un vecteur de formules du calcul propositionnel. Avec un peu de r´eflexion, tout objet fini peut ˆetre repr´esent´e par des formules du calcul propositionnel. Cette puissance de repr´esentation explique en partie la grande vari´et´e d’applications possibles du calcul propositionnel. Exercice 2.9 Montrez que toute formule est logiquement ´equivalente `a une formule compos´ee de n´egations et de conjonctions (ou de n´egations et de disjonctions). Exercice 2.10 La taille |A| d’une formule A peut se d´efinir par : |x| = 1, |¬A| = 1 + |A|, |A ∧ B| = 1 + |A| + |B|, |A ∨ B| = 1 + |A| + |B| . Donnez une borne sup´erieure `a la taille d’une formule qui d´efinit une fonction f : 2 n → 2. Exercice 2.11 (1) Montrez que : _ i=1,...,m ( ^ j=1,...,ni `i,j ) ≡ ^ 1≤i≤m,1≤ki≤ni (`1,k1 ∨ · · · ∨ `m,km) (2) Supposez ni = n pour i = 1, . . . , m. Exprimez la taille des formules dans (1) en fonction de n et m. (3) D´erivez une proc´edure pour transformer une formule en CNF. Exercice 2.12 (1) Montrez l’´equivalence logique : (A ∧ B) ∨ (¬A ∧ B) ≡ B (1) (2) On peut appliquer cette ´equivalence logique pour simplifier une forme normale disjonctive. Par exemple, consid´erez la fonction f(x, y, z) d´efinie par le tableau de v´erit´e : x\yz 00 01 11 10 0 0 1 1 0 1 1 1 1 1 Calculez la forme normale disjonctive de f et essayez de la simplifier en utilisant l’´equivalence logique 1. (3) La pr´esentation du tableau de v´erit´e n’est pas arbitraire. . . Proposez une m´ethode graphique pour calculer une forme normale disjonctive simplifi´ee. Exercice 2.13 Soit f une fonction sur les nombres naturels. Dire qu’un probl`eme est d´ecid´e en O(f), signifie qu’on dispose d’un algorithme A et de n0, k nombres naturels tels que pour toute entr´ee dont la taille n est sup´erieure `a n0, le temps de calcul de A sur l’entr´ee en question est inf´erieure `a k · f(n). (1) Montrez que la satisfaction d’une formule en DNF et la validit´e d’une formule en CNF peuvent ˆetre d´ecid´ees en O(n). (2) Soit pair (x1, . . . , xn) = (Σi=1,...,nxi) mod 2 la fonction qui calcule la parit´e d’un vecteur de bits. Montrez que la repr´esentation en DNF ou CNF de cette fonction est en O(2n ). Peut-on appliquer (1) pour simplifier la repr´esentation ? 6Exercice 2.14 (if-then-else) La fonction ternaire ITE est d´efinie par ITE(1, x, y) = x et ITE(0, x, y) = y. Montrez que toute fonction f : 2 n → 2, n ≥ 0 s’exprime par composition de la fonction ITE et des (fonctions) constantes 0 et 1. Exercice 2.15 (nand,nor) Les fonctions binaires NAND et NOR sont d´efinies par NAND(x, y) = NOT(AND(x, y)) et NOR(x, y) = NOT(OR(x, y)). Montrez que toute fonction f : 2 n → 2, n ≥ 0, s’exprime comme composition de la fonction NAND (ou de la fonction NOR). Montrez que les 4 fonctions unaires possibles n’ont pas cette propri´et´e et que parmi les 16 fonctions binaires possibles il n’y en a pas d’autres qui ont cette propri´et´e. Exercice 2.16 L’or exclusif ⊕ (xor) est d´efini par A ⊕ B ≡ (A ∧ ¬B) ∨ (¬A ∧ B) Montrez que : (1) ⊕ est associatif et commutatif. (2) x ⊕ 0 ≡ x et x ⊕ x ≡ 0. (3) Toute fonction bool´eenne f : 2 n → 2 peut ˆetre repr´esent´ee `a partir de 1, ∧ et ⊕. 2.6 M´ethode de Davis-Putnam La m´ethode de Davis Putnam permet de d´ecider si une formule en forme normale conjonctive est satisfiable. On repr´esente une formule A en CNF comme un ensemble (´eventuellement vide) de clauses {C1, . . . , Cn} et une clause C comme un ensemble (´eventuellement vide) de litt´eraux. Dans cette repr´esentation, on d´efinit la substitution [b/x]A d’une valeur bool´eenne b ∈ {0, 1} dans A comme suit : [b/x]A = {[b/x]C | C ∈ A et [b/x]C 6= 1} [b/x]C =    1 si (b = 1 et x ∈ C) ou (b = 0 et ¬x ∈ C) C\{`} si (b = 1 et ` = ¬x ∈ C) ou (b = 0 et ` = x ∈ C) C autrement On d´efinit une fonction DP qui agit r´ecursivement sur une formule A en CNF dans la repr´esentation d´ecrite ci-dessus : function DP(A) = case (1) A = ∅ : true (2) ∅ ∈ A false (3) {x,¬x} ⊆ C ∈ A : DP(A\{C}) (4) {x} ∈ A : DP([1/x]A) (5) {¬x} ∈ A : DP([0/x]A) (6) else : choisir x dans A; DP([0/x]A) or DP([1/x]A) Dans (1), nous avons une conjonction du vide qui par convention est ´equivalente `a true. Dans (2), A contient une clause vide. La disjonction du vide ´etant ´equivalente `a false, la formule A est aussi ´equivalente `a false. Dans (3), une clause contient un litt´eral et sa n´egation et elle est 7donc ´equivalente `a true. Dans (4) et (5), A contient une clause qui est constitu´ee uniquement d’une variable ou de sa n´egation. Ceci permet de connaˆıtre la valeur de la variable dans toute affectation susceptible de satisfaire la formule. Dans (6), nous sommes oblig´es `a consid´erer les deux valeurs possibles d’une affectation sur une variable. Exercice 2.17 (1) Montrez que si A est une fonction en CNF alors la fonction DP termine. (2) Montrez que DP(A) retourne true (false) si et seulement si A est satisfiable (ne l’est pas). Exercice 2.18 Expliquez comment utiliser la m´ethode de Davis-Putnam pour d´ecider la validit´e d’une formule. Exercice 2.19 Modifiez la fonction DP pour que, si la formule A est satisfiable, elle retourne une affectation v qui satisfait A. Exercice 2.20 R´efl´echissez aux structures de donn´ees et aux op´erations n´ecessaires `a la mise en oeuvre de l’algorithme en Java. Exercice 2.21 En logique classique, on peut d´efinir l’implication A → B comme ¬A ∨ B. Analysez la satisfiabilit´e et la validit´e des formules suivantes : (x → w) → ((y → z) → ((x ∨ y) → w)) (x → y) → ((y → ¬w) → ¬x) Calculez la CNF des deux formules et de leurs n´egations. Appliquez la m´ethode de DavisPutnam pour d´eterminer la satisfiabilit´e des formules obtenues. Exercice 2.22 Une clause de Horn est une clause (c’est-`a-dire une disjonction de litt´eraux) qui contient au plus un litt´eral positif. Une formule de Horn est une formule en CNF dont les clauses sont des clauses de Horn. (1) Montrez que toute formule de Horn est ´equivalente `a la conjonction (´eventuellement vide) de clauses de Horn de la forme : (1) x (2) ¬x1 ∨ · · · ∨ ¬xn (3) ¬x1 ∨ · · · ∨ ¬xn ∨ xn+1 o`u n ≥ 1 et xi 6= xj si i 6= j. Dans ce cas on dit que la formule de Horn est r´eduite. (2) Montrez qu’une formule de Horn r´eduite qui ne contient pas de clauses de la forme (1) ou qui ne contient pas de clauses de la forme (2) est satisfiable. (3) Donnez une m´ethode efficace (temps polynomial) pour d´eterminer si une formule de Horn est satisfiable. 2.7 Circuits Une formule A du calcul propositionnel avec variables x1, . . . , xn peut ˆetre vue comme un arbre. On a vu que A d´efinit une fonction fA : 2 n → 2. Une fa¸con naturelle de calculer la fonction fA est de propager les valeurs de v´erit´e des feuilles vers la racine. On peut mesurer la complexit´e du calcul en comptant le nombre de portes ou en comptant la longueur du chemin le plus long. Intuitivement, la premi`ere mesure correspond `a l’espace occup´e par le calcul alors que la deuxi`eme correspond au temps n´ecessaire au calcul. 82.7.1 Circuits bool´eens Une formule/arbre A peut pr´esenter une certaine redondance. Par exemple, consid´erons la formule : (x3 ∧ ¬((x1 ∨ x2) ∧ (¬x1 ∨ ¬x2))) ∨ (¬x3 ∧ (x1 ∨ x2) ∧ (¬x1 ∨ ¬x2)) Les formules x1, x2, x3, (x1 ∨ x2), (¬x1 ∨ ¬x2) paraissent plusieurs fois dans la formule A. On peut alors envisager de donner une repr´esentation plus compacte de A dans laquelle les sous formules identiques sont partag´ees. On arrive ainsi `a la notion de circuit bool´een. Un circuit bool´een est un graphe dirig´e acyclique G = (N, A) o`u on appelle les noeuds dans N portes logiques. A chaque porte logique on associe une ´etiquette ∧,∨,¬, 0, 1, x1, . . . , xn. Les noeuds avec ´etiquettes ∧,∨ ont 2 arˆetes entrantes, les noeuds avec ´etiquette ¬ ont 1 arˆete entrante et les noeuds avec ´etiquettes 0, 1, x1, . . . , xn n’ont pas d’arˆete entrante. Les noeuds qui n’ont pas d’arˆete entrante correspondent aux entr´ees du circuit. Les noeuds qui n’ont pas d’arˆete sortante correspondent aux sorties du circuit. Chaque sortie correspond `a une fonction (avec entr´ees x1, . . . , xn) repr´esent´ee par le circuit. Les fonctions calcul´ees par le circuit sont obtenues en affectant des valeurs de v´erit´e aux variables x1, . . . , xn et en propageant ces valeurs de v´erit´e des entr´ees vers les sorties. Le fait que le graphe est acyclique assure que ce calcule peut toujours ˆetre effectu´e et que le r´esultat est d´etermin´e de fa¸con unique. 2.7.2 Circuits combinatoires Les circuits bool´eens sont une abstraction math´ematique de dispositifs ´electroniques qu’on appelle circuits combinatoires. Dans les circuits combinatoires, les portes logiques sont r´ealis´ees par des transistors, les arˆetes correspondent `a des interconnexions et les valeurs bool´eennes correspondent `a des tensions. Typiquement, 0 est repr´esent´e par la masse (tension 0V ) et 1 par 5V . Dans les circuits combinatoires les boucles sont interdites, ce qui correspond `a la condition d’acyclicit´e dans les circuits bool´eens. Cette condition permet de garantir que suite `a une variation des tensions en entr´ee, la tension du circuit en sortie se stabilise sur une valeur significative (proche de 0V ou de 5V apr`es un temps qui est li´e `a des variables physiques comme la temp´erature et la longueur des interconnexions). Remarquons que les mesures de complexit´e que nous avons ´evoqu´ees pour les circuits logiques ont une interpr´etation imm´ediate en terme de circuits combinatoires. Le nombre de noeuds du circuit bool´een correspond au nombre de portes logiques, c’est-`a-dire au nombre de transistors n´ecessaires `a la mise en oeuvre du circuit. Coupl´ee avec la topologie des interconnexions, cette mesure d´etermine l’espace occup´e par le circuit. La longueur du chemin le plus long correspond au temps qu’il faut attendre entre une variation du signal en entr´ee et la stabilisation du signal en sortie. La notion de circuit bool´een fait abstraction de la notion de temps (le calcul du r´esultat est instantan´e) et dans une certaine mesure de distance (on compte le nombre de portes mais on ne compte pas la longueur des interconnexions) et il permet de simplifier grandement la conception d’un circuit combinatoire. Dans la suite nous allons consid´erer dans un certain d´etail la conception d’un additionneur. 92.7.3 Additionneur On consid`ere un vecteur bn, . . . , b0 o`u bi ∈ {0, 1} comme un nombre en base 2. Ainsi le nombre repr´esent´e est Σi=0,...,nbi2 i qu’on d´enote aussi avec (bn · · · b0)2. Un multiplexeur est un circuit bool´een avec n + 2n entr´ees cn−1, . . . , c0, x2n−1, . . . , x0 et une sortie y tel que y = x(cn−1···c0)2 Exercice 2.23 Construisez un circuit bool´een qui r´ealise un multiplexeur dont le nombre de portes est proportionnel `a 2 n et dont la longueur du chemin le plus long est proportionnelle `a n. Un additionneur est un circuit bool´een avec 2n entr´ees xn−1, yn−1, . . . , x0, y0 et n + 1 sorties rn, sn−1, . . . , s0 tel que (xn−1 · · · x0)2 + (yn−1 · · · y0)2 = (rnsn−1 · · · s0)2 On peut r´ealiser un additionneur en utilisant l’algorithme standard qui propage la retenue de droite `a gauche. Exercice 2.24 (1) R´ealisez un circuit A avec 3 entr´ees x, y, r et deux sorties s, r0 tel que (r 0 s)2 = (x)2 + (y)2 + (r)2 (2) Expliquez comment inter-connecter n circuits A pour obtenir un additionneur sur n bits. (3) Montrez que dans le circuit en question le nombre de portes et la longueur du chemin le plus long sont proportionnels `a n. Exercice 2.25 Le but de cet exercice est de r´ealiser un additionneur dont le nombre de portes est encore polynomiale en n mais dont la longueur du chemin le plus long est proportionnelle `a lg(n). Pour ´eviter que la retenue se propage `a travers tout le circuit, l’id´ee est d’anticiper sa valeur. Ainsi pour additionner 2 vecteurs de longueur n, on additionne les premiers n/2 bits (ceux de poids faible) et en mˆeme temps on additionne les derniers n/2 bits (ceux de poids fort) deux fois (en parall`ele) une fois avec retenue initiale 0 et une fois avec retenue initiale 1. On applique cette m´ethode r´ecursivement sur les sous-vecteurs de longueur n/4, n/8, . . . selon le principe diviser pour r´egner. (1) Construisez explicitement un tel circuit pour n = 4. (2) D´eterminez en fonction de n le nombre de portes et la longueur du chemin le plus long du circuit obtenu. Exercice 2.26 Un d´ecodeur est un circuit avec n entr´ees xn−1, . . . , x0 et 2 n sorties y2n−1, . . . , y0 tel que yi = 1 ssi i = (xn−1 · · · x0)2 R´ealisez un tel circuit. 10Exercice 2.27 On dispose d’un circuit combinatoire CE avec 2 entr´ees x, y et 2 sorties <, = dont le comportement est sp´ecifi´e par le tableau suivant (bien sˆur, les symboles choisis pour les sorties ne sont pas arbitraires) : x y < = 0 0 0 1 0 1 1 0 1 0 0 0 1 1 0 1 Un comparateur n bits est une fonction bool´eenne C avec 2n entr´ees et 1 sortie telle que : C(xn−1, yn−1, . . . , x0, y0) = 1 ssi (xn−1 · · · x0)2 < (yn−1 · · · y0)2 On remarque que : (xn−1 · · · x0)2 < (yn−1 · · · y0)2 ssi (xn−1 < yn−1) ou ((xn−1 = yn−1) et (xn−2 · · · x0)2 < (yn−2 · · · y0)2) Montrez comment construire un circuit combinatoire qui impl´emente un comparateur 4 bits en disposant de : (i) 4 circuits CE , (ii) 8 portes AND binaires (vous n’ˆetes pas oblig´es de les utiliser toutes) et 1 porte OR avec 4 entr´ees. Si vous ˆetes bloqu´e, essayez d’abord le comparateur 2 bits. 113 Syst`emes de preuve Pour l’instant on a consid´er´e un langage logique (la logique propositionnelle classique) et une notion de validit´e. Comment s’assurer qu’une formule est valide ? Dans le cas de la logique propositionnelle, on peut envisager de v´erifier toutes les affectations mais cette m´ethode demande 2n v´erifications pour une formule qui contient n variables. De plus pour v´erifier la validit´e de formules en logique du premier ordre on aurait `a consid´erer une infinit´e de cas car les domaines d’interpr´etation sont infinis. D’o`u l’id´ee de se donner des axiomes et des r`egles pour d´eduire avec un effort fini de calcul des formules valides. Par exemple, on pourrait avoir les axiomes : (A1) A → (B → A) (A2) (A → (B → C)) → ((A → B) → (A → C)) et on pourrait avoir une r`egle : (R) A A → B B A partir des axiomes et des r`egles on peut construire des ` preuves. Une preuve est un arbre dont les feuilles sont ´etiquet´ees par des axiomes et dont les noeuds internes sont ´etiquet´es par des r`egles d’inf´erence. La formule qui se trouve `a la racine de l’arbre est la formule que l’on d´emontre. Par exemple, en prenant B = (A → A) et C = A on peut construire une preuve de A → A par application des axiomes (A1 − 2) et de la r`egle (R) (2 fois). On remarquera qu’axiomes et r`egles sont toujours donn´es en forme sch´ematique. Par exemple, dans l’axiome (A1) il est entendu qu’on peut remplacer les formules A et B par des formules arbitraires. 3.1 Correction et compl´etude On dit qu’un syst`eme de preuve est : correct s’il permet de d´eduire seulement des formules valides, complet si toute formule valide peut ˆetre d´eduite. Il est trivial de construire des syst`emes corrects ou complets mais il est beaucoup plus d´elicat de construire des syst`emes corrects et complets. On va examiner un syst`eme correct et complet propos´e par Gerhard Gentzen en 1930. Une id´ee g´en´erale est d’´ecrire des r`egles d’inf´erence qui permettent de r´eduire la ‘complexit´e structurale (ou logique)’ des formules jusqu’`a une situation qui peut ˆetre trait´ee directement par un axiome. Exercice 3.1 Soit A = `1 ∨ · · · ∨ `n une disjonction de litt´eraux. Montrez que A est valide si et seulement si une variable propositionnelle x et sa n´egation ¬x sont pr´esentes dans A. Ceci sugg`ere un axiome : x ∨ ¬x ∨ B ou plus en g´en´eral A ∨ ¬A ∨ B On consid`ere maintenant la situation pour la conjonction et la disjonction. 12Exercice 3.2 Montrez que : |= A ∧ B ssi |= A et |= B Ceci sugg`ere une r`egle pour la conjonction : A B A ∧ B Exercice 3.3 Montrez que : |= A ∨ B si |= A ou |= B Ceci sugg`ere deux r`egles pour la disjonction : A A ∨ B B A ∨ B Comment traiter la n´egation ? L’exercice suivant montre comment r´eduire la n´egation en faisant passer la formule `a droite ou `a gauche d’une implication. Exercice 3.4 Montrez que : |= B → (¬A ∨ C) ssi |= (B ∧ A) → C |= (B ∧ ¬A) → C ssi |= B → (A ∨ C) Ce type de consid´erations nous m`enent `a la notion de s´equent. D´efinition 3.5 Un s´equent est un couple (Γ, ∆) qu’on ´ecrit Γ ` ∆ d’ensembles finis (´eventuellement vides) de formules. Un s´equent Γ ` ∆ est valide si la formule ( ^ A∈Γ A) → ( _ B∈∆ B) est valide. Par convention, on ´ecrit un s´equent {A1, . . . , An} ` {B1, . . . , Bm} comme A1, . . . , An ` B1, . . . , Bm et un ensemble Γ ∪ {A} comme Γ, A. On remarquera que la virgule ‘,’ est interpr´et´ee comme une conjonction `a gauche et comme une disjonction `a droite du s´equent. On va maintenant reformuler nos id´ees sur la simplification des formules en utilisant la notion de s´equent. (Ax ) A, Γ ` A, ∆ (∧ `) A, B, Γ ` ∆ A ∧ B, Γ ` ∆ (` ∧) Γ ` A, ∆ Γ ` B, ∆ Γ ` A ∧ B, ∆ (∨ `) A, Γ ` ∆ B, Γ ` ∆ A ∨ B, Γ ` ∆ (` ∨) Γ ` A, B, ∆ Γ ` A ∨ B, ∆ (¬ `) Γ ` A, ∆ ¬A, Γ ` ∆ (` ¬) A, Γ ` ∆ Γ ` ¬A, ∆ 13Ce syst`eme est remarquable par sa simplicit´e conceptuelle : il comporte un axiome ‘identit´e’ qui dit que de A on peut d´eriver A et des r`egles d’inf´erence. Pour chaque op´erateur de la logique, on dispose d’une r`egle qui introduit l’op´erateur `a gauche du ` et d’une autre qui l’introduit `a droite. Exercice 3.6 Montrez que : (1) Un s´equent A, Γ ` A, ∆ est valide. (2) Pour chaque r`egle d’inf´erence la conclusion est valide si et seulement si les hypoth`eses sont valides. Th´eor`eme 3.7 Le syst`eme de Gentzen d´erive exactement les s´equents valides. Idee de la preuve ´ . Par l’exercice 3.6 tout s´equent d´erivable est valide. Donc le syst`eme est correct. Soit Γ ` ∆ un s´equent valide. On applique les r`egles jusqu’`a ce que toutes les formules dans les s´equents soient atomiques. Ensuite on remarque qu’un s´equent valide dont toutes les formules sont atomiques peut ˆetre d´eriv´e par application de l’axiome (Ax ). Cette remarque est une simple reformulation de l’exercice 3.1. • D´efinition 3.8 Soit A une formule. L’ensemble sf (A) des sous formules de A est d´efini par sf (A) =    {A} si A atomique {A} ∪ sf (B) si A = ¬B {A} ∪ sf (B1) ∪ sf (B2) si A = B1 ∧ B2 ou A = B1 ∨ B2 Exercice 3.9 (sous-formule) Montrez que si un s´equent est d´erivable alors il y a une preuve du s´equent qui contient seulement des sous formules de formules dans le s´equent. Exercice 3.10 (affaiblissement) Montrez que si le s´equent Γ ` ∆ est d´erivable alors le s´equent Γ ` A, ∆ l’est aussi. Exercice 3.11 (implication) Dans le syst`eme de Gentzen on peut donner un traitement direct de l’implication : (→`) Γ ` A, ∆ B, Γ ` ∆ A → B, Γ ` ∆ (`→) Γ, A ` B, ∆ Γ ` A → B, ∆ Red´emontrez le th´eor`eme 3.7 pour le syst`eme de Gentzen ´etendu avec ces r`egles. Exercice 3.12 Montrez que les r`egles pour la disjonction et l’implication sont d´erivables des r`egles pour la conjonction et la n´egation en utilisant les ´equivalences : A ∨ B ≡ ¬(¬A ∧ ¬B) et A → B ≡ ¬A ∨ B. Exercice 3.13 (1) Ecrire l’axiome et les r`egles d’inf´erence du calcul des s´equents pour les ´ op´erateurs logiques de n´egation ¬ et d’implication →. Rappel : on peut retrouver les r`egles pour l’implication `a partir des r`egles pour la n´egation et la disjonction. (2) Utilisez les syst`eme de preuve d´ecrit pour construire une preuve des s´equents suivants : ` (¬¬A → A) et (A → B),(A → ¬B) ` ¬A 14Exercice 3.14 Trouvez les r`egles (` NAND) et (NAND `) pour l’op´erateur logique NAND en utilisant le fait que NAND(A, B) s’´ecrit comme ¬(A ∧ B). Exercice 3.15 (coupure) La r`egle de coupure (ou cut) est : (coupure) A, Γ ` ∆ Γ ` A, ∆ Γ ` ∆ Montrez que le syst`eme de Gentzen ´etendu avec cette r`egle est toujours correct (et complet). Exercice 3.16 D´erivez du syst`eme de Gentzen un algorithme pour v´erifier si une formule A est valide. Quelle est la complexit´e en temps de votre algorithme ? Exercice 3.17 On consid`ere les formules suivantes : A = (x ∨ z) ∧ (y ∨ w), B = (¬x ∨ ¬y) ∧ (¬z ∨ ¬w), C = (¬x ∨ ¬z) ∧ (¬y ∨ ¬w) 1. Consid´erez le s´equent A, C ` B. S’il est valide, construisez une preuve du s´equent, autrement donnez une affectation des variables x, y, z, w qui montre qu’il ne l’est pas. 2. Mˆeme probl`eme pour le s´equent A, B ` C. 3.2 Compacit´e Un ensemble (´eventuellement infini) de formules T est satisfiable s’il existe une affectation qui satisfait chaque formule dans T. Exercice 3.18 Si T est satisfiable alors chaque sous ensemble fini de T est satisfiable. On va montrer que la r´eciproque est aussi vraie. D´efinition 3.19 (1) Un ensemble T de formules est finement satisfiable si tout sous ensemble fini de T est satisfiable. (2) Un ensemble T de formules finement satisfiable est maximal si pour toute formule A soit A ∈ T soit ¬A ∈ T. Exercice 3.20 Montrez que : (1) Si S est un ensemble finement satisfiable et maximal alors : A ∈ S ssi ¬A /∈ S A ∧ B ∈ S ssi A ∈ S et B ∈ S A ∨ B ∈ S ssi A ∈ S ou B ∈ S (2) Soit S un ensemble de formules finement satisfiable et maximal. On d´efinit une affectation vS par : vS(x) = ( 1 si x ∈ S 0 si ¬ ∈ S Pourquoi cette d´efinition est-elle correcte ? (3) Soit S finement satisfiable et maximal. Montrez que S est satisfiable. (4) Soit T un ensemble de formules. Montrez que s’il existe S ⊇ T finement satisfiable et maximal alors T est satisfiable. 15Exercice 3.21 Soit T un ensemble de formules finement satisfiable et A une formule. Alors, soit T ∪ {A} est finement satisfiable soit T ∪ {¬A} est finement satisfiable. Th´eor`eme 3.22 (compacit´e) Si un ensemble de formules T est finement satisfiable alors il est satisfiable. Idee de la preuve ´ . Soit {An | n ∈ N} une ´enum´eration de toutes les formules. On d´efinit T0 = T et Tn+1 = ( Tn ∪ {An} si Tn ∪ {An} est finement satisfiable Tn ∪ {¬An} autrement S = S n∈N Tn On d´emontre que Tn est finement satisfiable par r´ecurrence sur n en utilisant l’exercice 3.21. On en d´erive que S est finement satisfiable car si X ⊆ S et X est fini alors ∃ n X ⊆ Tn. On v´erifie aussi que S est maximal car pour toute formule A il existe n tel que A = An et donc A ∈ Tn+1 ou ¬A ∈ Tn+1. Donc par l’exercice 3.20, S est satisfiable et donc T l’est aussi. • Exercice 3.23 Soit T un ensemble de formules. On ´ecrit T |= A si pour toute affectation v, si v satisfait T alors v satisfait A. Montrez que si T |= A alors il existe T0 sous-ensemble fini de T tel que T0 |= A. Suggestion : utilisez le th´eor`eme de compacit´e. 3.3 M´ethode de preuve par r´esolution Exercice 3.24 Montrez que la r`egle d’inf´erence suivante est valide : A ∨ ¬C B ∨ C A ∨ B (2) Exercice 3.25 Pour repr´esenter les formules en CNF on adopte la mˆeme notation ensembliste utilis´ee pour d´ecrire la m´ethode de Davis-Putnam. – Une clause C est un ensemble de litt´eraux. – Une formule A est un ensemble de clauses. Nous consid´erons une variante de la r`egle (2) : A ∪ {C ∪ {x}} ∪ {C 0 ∪ {¬x}} x /∈ C ¬x /∈ C 0 A ∪ {C ∪ {x}} ∪ {C 0 ∪ {¬x}} ∪ {C ∪ C 0} (3) Dans la suite on appelle (3) r`egle de r´esolution. 2 L’effet de l’application de la r`egle consiste `a ajouter une nouvelle clause C ∪ C 0 qu’on appelle r´esolvant des deux clauses C ∪ {x} et C 0 ∪ {¬x}. (1) Montrez que l’hypoth`ese est logiquement ´equivalente `a la conclusion. (2) Conclure que si la conclusion n’est pas satisfiable alors l’hypoth`ese n’est pas satisfiable. En particulier, si la conclusion contient la clause vide alors l’hypoth`ese n’est pas satisfiable. 2Sans les conditions x /∈ C et ¬x /∈ C 0 on pourrait par exemple ‘simplifier’ les clauses {x} et {¬x} en {x,¬x}. 16Fait Si une formule A en CNF n’est pas satisfiable alors la r`egle de r´esolution permet de d´eriver une formule A0 avec une clause vide. On dit que la r`egle de r´esolution est compl`ete pour la r´efutation, c’est-`a-dire pour la d´erivation de la clause vide. La m´ethode peut ˆetre impl´ement´ee it´erativement. A chaque it´eration on ajoute toutes les clauses qui sont un r´esolvant de deux clauses. Cette it´eration termine forc´ement car le nombre de clauses qu’on peut construire est fini. Parfois, il convient de repr´esenter la d´erivation comme un graphe dirig´e acyclique (ou DAG pour directed acyclic graph) dont les noeuds sont ´etiquet´es par les clauses. Initialement on a autant de noeuds que de clauses et pas d’arˆetes. Chaque fois qu’on applique la r`egle de r´esolution (3) on introduit un nouveau noeud qui est ´etiquet´e avec la clause r´esolvant C ∪ C 0 et deux nouvelles arˆetes qui vont des noeuds ´etiquet´es avec les clauses C ∪ {x} et C 0 ∪ {¬x} vers le noeud ´etiquet´e avec la clause C ∪ C 0 . Exercice 3.26 Construire la formule A en CNF qui correspond au principe du nid de pigeon avec 2 pigeons et 1 nid. D´erivez la clause vide en utilisant la r`egle de r´esolution. Mˆeme probl`eme avec 3 pigeons et 2 nids (attention le calcul risque d’ˆetre long). Exercice 3.27 Soit A une formule en CNF avec m variables et n clauses. Montrez qu’il y a au plus m · (n · (n − 1)/2) fa¸cons d’appliquer la r`egle de r´esolution. Exercice 3.28 Soit A une formule en CNF et C une clause. Expliquez comment utiliser la m´ethode de r´esolution pour ´etablir si l’implication A → C est valide. Exercice 3.29 Un exercice de r´evision. On consid`ere les formules en CNF suivantes : 1. ¬x ∨ (¬y ∨ x) 2. (x ∨ y ∨ ¬z) ∧ (x ∨ y ∨ z) ∧ (x ∨ ¬y) ∧ ¬x. 3. (x ∨ y) ∧ (z ∨ w) ∧ (¬x ∨ ¬z) ∧ (¬y ∨ ¬w). Pour chaque formule : 1. Si la formule est valide calculez une preuve de la formule dans le syst`eme de Gentzen. 2. Si la formule est satisfiable mais pas valide calculez une affectation qui satisfait la formule en utilisant la m´ethode de Davis-Putnam. 3. Si la formule n’est pas satisfiable d´erivez la clause vide en utilisant la m´ethode par r´esolution. 174 Diagrammes de d´ecision binaire et applications Les diagrammes de d´ecision binaire (BDD pour Binary Decision Diagrams) sont une repr´esentation des fonctions bool´eennes. Cette repr´esentation avait d´ej`a ´et´e remarqu´ee par Lee en 1959 mais son int´erˆet algorithmique a ´et´e r´ealis´e plus r´ecemment par Bryant en 1986. Les BDD repr´esentent une fonction bool´eenne comme un circuit compos´e de multiplexeurs (if-then-else) et de constantes 0 et 1. Une propri´et´e importante de cette repr´esentation est qu’´etant donn´e un ordre sur les variables, le BDD peut ˆetre r´eduit efficacement `a une forme canonique. On parle alors de diagramme de d´ecision binaire ordonn´e et r´eduit (ROBDD pour reduced ordered binary decision diagram). En pratique, la repr´esentation canonique est consid´erablement plus compacte que la repr´esentation explicite dont la taille est exponentielle dans le nombre de variables de la fonction. Une deuxi`eme propri´et´e importante est qu’il est possible de manipuler directement les repr´esentations canoniques pour calculer la conjonction, la disjonction, le compl´ementaire,. . . La situation est similaire `a celle des langages r´eguliers o`u un langage peut ˆetre repr´esent´e par un automate et les op´erations d’union, intersection, compl´ementaire sur les langages peuvent ˆetre calcul´ees directement sur les automates. Aujourd’hui, les BDD sont courrament utilis´es dans la synth`ese et analyse de circuits. 4.1 OBDD Soit f : 2 n → 2 une fonction bool´eenne `a n variables x1, . . . , xn. Si b ∈ {0, 1} est une valeur bool´eenne, on d´enote par [b/xi ]f : 2 (n−1) → 2 la fonction bool´eenne `a n − 1 variables o`u la variable xi est remplac´ee par b. On appelle restriction cette op´eration sur les fonctions. En utilisant la restriction, on peut exprimer une fonction `a n variables comme une combinaison bool´eenne de fonctions `a n − 1 variables. f = xi [1/xi ]f + xi [0/xi ]f On nomme cette transformation expansion de Shannon. On remarquera que la quantification universelle et existentielle sur une variable propositionnelle s’exprime aussi par le biais de la restriction : ∀xi f = ([1/xi ]f)([0/xi ]f) ∃xi f = ([1/xi ]f) + ([0/xi ]f) Cette transformation entraˆıne un doublement de la taille de la formule pour chaque quantifi- cation. On abr`ege l’op´erateur ternaire if then else par → , . Ainsi : x → f, f0 = (xf) + xf0 o`u x est une variable bool´eenne. On utilise cette notation, pour reformuler l’expansion de Shannon : f = xi → [1/xi ]f, [0, xi ]f On fixe un ordre sur les variables, par exemple x1 < · · · < xn. On d´efinit par r´ecurrence l’ensemble des expressions qui d´ependent d’un sous-ensemble de variables : – Les expressions 0 et 1 d´ependent de l’ensemble vide. – Si les expressions e1 et e2 d´ependent de {xi+1, . . . , xn}, alors l’expression xi → e1, e2 d´epend de {xi , xi+1, . . . , xn}. 18– Si l’expression e d´epend de X et X ⊆ X0 alors e d´epend de X0 . A partir de la fonction f on peut it´erer l’expansion de Shannon en commen¸cant par la variable x1 et en terminant avec les fonctions constantes 0 et 1. Ainsi on construit : f = x1 → [1/x1]f, [0/x1]f = x1 → (x2 → [1/x2, 1/x1]f, [0/x2, 1/x1]f),(x2 → [1/x2, 0/x1]f, [0/x2, 0/x1]f) · · · = · · · On peut repr´esenter l’expression comme un arbre binaire complet de profondeur n − 1 o`u les noeuds internes sont ´etiquet´es par les variables et les noeuds terminaux par 0 ou 1, et les deux arˆetes sortantes d’un noeud interne sont ´etiquet´ees par 0 et 1. Cette repr´esentation d´epend de l’ordre des variables et pour cette raison on parle de BDD ordonn´es (OBDD). On remarquera que cette repr´esentation a aussi une taille O(2n ). Cependant, la repr´esentation d’un OBDD comme un arbre binaire est souvent redondante et une repr´esentation plus compacte est possible par partage de sous-arbres communs. Dans ce cas, le BDD est repr´esent´e par un graphe dirig´e acyclique (DAG) connexe et avec une racine. 4.2 Simplification Soit N un ensemble fini de noeuds et V = {x1, . . . , xn} un ensemble de variables ordonn´e par x1 < · · · < xn. On peut repr´esenter un OBDD comme suit : v : N → {0, 1} ∪ V (´etiquette des noeuds) l : N → (N ∪ {↑}) (arˆete sortant ´etiquet´e par 0) h : N → (N ∪ {↑}) (arˆete sortant ´etiquet´e par 1) tel que : – Le graphe r´esultat est acyclique et tous les noeuds sont accessibles `a partir d’un noeud identifi´e comme ´etant la racine. – Les noeuds non-terminaux sont ´etiquet´es par des variables et les noeuds terminaux sont ´etiquet´es par 0 ou 1. En d’autres termes : v(n) ∈ V ⇒ l(n), h(n) ∈ N v(n) ∈ {0, 1} ⇒ l(n) = h(n) =↑ – L’ordre des variables est respect´e : v(n) ∈ V and v(l(n)) ∈ V ⇒ v(n) < v(l(n)) v(n) ∈ V and v(h(n)) ∈ V ⇒ v(n) < v(h(n)) A partir d’un OBDD on applique trois r`egles de simplification : – Soient n et n 0 deux noeuds terminaux distincts avec la mˆeme ´etiquette. Alors tous les pointeurs `a n 0 peuvent ˆetre redirig´es sur n et n 0 peut ˆetre ´elimin´e. – Soit n un noeud non-terminal et l(n) = h(n) = n 0 . Alors tous les pointeurs `a n peuvent ˆetre redirig´es sur n 0 , et n peut ˆetre ´elimin´e. – Soient n et n 0 deux noeuds non-terminaux distincts tels que v(n) = v(n 0 ), l(n) = l(n 0 ) et h(n) = h(n 0 ). Alors tous les pointeurs `a n 0 peuvent ˆetre redirig´es sur n et n 0 peut ˆetre ´elimin´e. On ´ecrit B 7→ B0 si un OBDD B est transform´e en B0 par une des r`egles de simplification. On dit que B est un forme normale s’il ne peut pas ˆetre simplifi´e. 19Th´eor`eme 4.1 (1) Si B est un OBDD bien form´e par rapport `a un ordre donn´e et B 7→ B0 alors B0 est un OBDD bien form´e par rapport au mˆeme ordre. (2) Toute s´equence de simplification termine. (3) Si B 7→ B0 et B 7→ B00 alors ou bien B0 = B00 ou bien il existe B0 1 et B00 1 tels que B0 7→ B0 1 , B00 7→ B00 1 et B0 1 et B00 1 sont ´egaux `a renommage des noeuds pr`es. (4) Tout OBDD peut ˆetre simplifi´e en une forme normale et cette forme est unique `a renommage des noeuds pr`es. Exercice 4.2 Calculez le ROBDD pour la fonction f : 2 3 → 2 avec ordre x < y < z. xyz 000 001 010 011 100 101 110 111 f(x, y, z) 0 0 0 1 0 1 0 1 Exercice 4.3 (1) Calculez le ROBDD pour la fonction (a∧b)∨(c∧d) avec ordre a < b < c. (2) Calculez le ROBDD pour un comparateur de 2-bits ∧i=1,2(ai = bi) en utilisant les ordres a1 < b1 < a2 < b2 et a1 < a2 < b1 < b2. (3) G´en´eraliser `a un comparateur de n-bits et d´eterminez le nombre de noeuds dans le ROBDD pour les ordres a1 < b1 < · · · < an < bn et a1 < · · · an < b1 < · · · < bn. Exercice 4.4 Soit p : 2 n → 2 la fonction pour le contrˆole de parit´e, c’est-`a-dire p(x1, . . . , xn) = (Σi=1,...,nxi) mod 2 Donnez le sch´ema et pr´ecisez le nombre de noeuds du ROBDD (BDD ordonn´e et r´eduit) qui repr´esente la fonction p par rapport `a l’ordre x1 < · · · < xn. Exercice 4.5 Montrez que la satisfaction et la validit´e d’une fonction bool´eenne repr´esent´ee par un ROBDD peut ˆetre d´ecid´ee en O(1). Exercice 4.6 On sait qu’un langage r´egulier (ou rationnel) ´eventuellement infini peut ˆetre repr´esent´e par un graphe ´etiquet´e fini. On pourrait repr´esenter une fonction f : 2 n → 2 par le langage : Lf = {x1 . . . xn | f(x1, . . . , xn) = 1} ⊂ {0, 1} ∗ Comparez l’automate Mf qui reconnaˆıt le langage Lf avec le ROBDD associ´e `a la fonction f. Est-ce-que les deux repr´esentations ont la mˆeme taille ? 4.3 Ordre des variables L’ordre des variables a un effet important sur la taille d’un ROBDD. Par exemple, consid´erons la fonction Σi=1,...,naibi . Avec l’ordre a1 < b1 < · · · < an < bn la taille du ROBDD est O(n) alors qu’avec l’ordre a1 < · · · an < b1 < · · · < bn la taille du ROBDD est O(2n ). Une bonne heuristique est de garder proche dans l’ordre les variables qui interagissent dans le calcul du r´esultat. Il est int´eressant d’´etudier la meilleure et la pire repr´esentation possible pour certaines classes de fonctions. – Pour les fonctions sym´etriques, c’est-`a-dire pour les fonctions dont le r´esultat est invariant par permutation de l’entr´ee, la taille du ROBBD varie entre O(n) et O(n 2 ). – Pour le bit central de la fonction d’addition sur n bits la taille varie entre O(n) et O(2n ). 20– Pour le bit central de la fonction de multiplication sur n bits la taille est toujours O(2n ). Exercice 4.7 (1) Montrez que f : 2 n → 2 est sym´etrique si et seulement si il y a une fonction h : {0, . . . , n} → 2 telle que f(x1, . . . , xn) = h(Σi=1,...,nxi). (2) Conclure qu’une fonction sym´etrique a une repr´esentation comme ROBDD dont la taille est O(n 2 ). 4.4 Restriction Etant donn´e un OBDD pour la fonction ´ f, le calcul de la restriction, par exemple [0/x]f, consiste `a rediriger toute arˆete qui pointe au noeud n tel que v(n) = x vers l(n). Le calcul de [1/x]f est similaire. Exercice 4.8 Montrez que l’application de l’algorithme de restriction sur un ROBDD peut ne pas produire un ROBDD. 4.5 Application On d´efinit un algorithme A pour l’application qui prend l’OBDD de deux fonctions bool´eennes f, g : 2 n → 2 et une op´eration binaire op : 2 2 → 2, et retourne un OBDD pour la fonction (f op g) : 2 n → 2 (par rapport au mˆeme ordre). La remarque fondamentale est que l’op´eration op commute avec l’expansion de Shannon : f op g = x → ([1/x]f op [1/x]g),([0/x]f op [0/x]g) L’algorithme visite les deux OBDD en profondeur d’abord. En supposant que nf et ng soient les racines des deux OBDD, l’appel A(nf , n0 g , op) retournera la racine de l’OBDD pour f op g. L’algorithme r´ecursif est d´ecrit dans la table 1, o`u new est une fonction qui retourne un nouveau noeud. Cet algorithme peut ˆetre amen´e `a ´evaluer plusieurs fois le mˆeme couple de sous-arbres. Pour ´eviter cela, on consid`ere une optimisation qui consiste `a garder dans un tableau de hachage les couples de sous-arbres d´ej`a visit´es. Une deuxi`eme optimisation est d’arrˆeter les appels r´ecursifs chaque fois qu’on arrive `a une feuille d’un des sous-arbres avec la propri´et´e que la valeur de la feuille est suffisante pour d´eterminer le r´esultat de l’op´eration op. Enfin, il est possible de modifier l’algorithme de fa¸con `a ce qu’il recherche `a la vol´ee une des 3 simplifications. De cette fa¸con, on peut g´en´erer directement un ROBDD `a partir de ROBDD. Quand toutes ces optimisations sont mises en oeuvre et ´etant donn´e un tableau d’hachage qui garantit un temps d’acc`es constant en moyenne, il est possible de montrer que la complexit´e de l’op´eration d’application est de l’ordre du produit de la taille des OBDD qui repr´esentent f et g. En gros, une op´eration logique peut au plus ´elever au carr´e la taille de la repr´esentation. Bryant appelle cela une propri´et´e de d´egradation gracieuse (bien sˆur l’it´eration d’un carr´e donne un exponentiel !) Exercice 4.9 On consid`ere la fonction bool´eenne f : 2 2n → 2 telle que f(xn−1, . . . , x0, yn−1, . . . , y0) = 1 ssi (xn−1 · · · x0)2 ≤ (yn−1 · · · y0)2 o`u (zn−1 · · · z0)2 est la valeur en base 2 de la suite zn−1 · · · z0. On ordonne les variables de la fa¸con suivante : xn−1 < yn−1 < · · · < x0 < y0 21A(n, n0 , op) = case v(n) = v(n 0 ) ∈ V : n 00 := new; v(n 00) := v(n); l(n 00) := A(l(n), l(n 0 ), op); h(n 00) := A(h(n), h(n 0 ), op); n 00 v(n) et (iv) les noeuds qui correspondent aux ´etats finaux ont un double contour. Dans la suite, on proc`ede en trois ´etapes : 1. On d´efinit la notion de configuration d’un automate. 2. On d´ecrit comment un automate peut se d´eplacer d’une configuration `a une autre. 3. On sp´ecifie quels mots sont accept´es par l’automate. Une m´ethodologie similaire est utilis´ee dans la suite pour un type d’automate plus g´en´eral qu’on appelle Machine de Turing. D´efinition 5.2 Soit M = (Σ, Q, qo, F, δ) un AFD. Une configuration est un couple (w, q) ∈ Σ ∗ × Q. On d´efinit une relation de r´eduction `M par (aw, q) `M (w, δ(a, q)) et on suppose que ` ∗ M est la clˆoture r´eflexive et transitive de `M. Le langage L(M) reconnu (ou accept´e) par M est d´efini par : L(M) = {w ∈ Σ ∗ | (w, qo) ` ∗ M (, q) and q ∈ F} . Exemple 5.3 Soit M = ({a, b}, {1, 2}, 1, {2}, δ) avec fonction de transition δ sp´ecifi´ee comme suit : Etat ´ Entr´ee a b 1 1 2 2 1 2 Il n’est pas difficile de montrer que L(M) est l’ensemble des mots qui terminent par b. Remarque 5.4 Dans la d´efinition de AFD on insiste pour que pour chaque ´etat q et pour chaque caract`ere a de l’alphabet il y ait exactement une arˆete sortante de q avec ´etiquette a. En pratique, on peut relˆacher cette condition et demander juste qu’il y ait au plus une arˆete sortante de q avec ´etiquette a. Un tel automate peut ˆetre transform´e facilement en un AFD en introduisant un ´etat ‘puits’ qs et en ´etendant la fonction de transition δ de fa¸con telle que δ(a, qs) = qs pour tout a ∈ Σ et δ(a, q) = qs chaque fois que δ(a, q) n’est pas d´efini. Remarque 5.5 (minimisation) Il est facile de construire diff´erents AFD qui acceptent le mˆeme langage. Cependant on peut montrer que parmi ces automates il y en a un qui a un nombre minimum d’´etats. De plus cet automate est unique `a renommage des ´etats pr`es. 255.3 Automates non-d´eterministes Nous consid´erons trois extensions de la notion d’AFD qui nous m`enent `a la notion d’automate fini non-d´eterministe (AFN). 1. On permet de lire plus qu’un caract`ere dans un pas de calcul. 2. On permet de ne pas lire un caract`ere (-transition). 3. Pour un noeud donn´e, on autorise deux ou plus arˆetes sortantes ´etiquet´ees avec le mˆeme mot. D´efinition 5.6 (AFN) Un automate fini non-d´eterministe (AFN) N est un vecteur (Σ, Q, qo, F, δ) o`u Σ est un alphabet, Q est un ensemble fini d’´etats, qo est l’´etat initial, F ⊆ Q est l’ensemble des ´etats finaux et δ : Q × Σ ∗ → 2 Q est une fonction de transition qui s’´evalue dans l’ensemble vide presque partout. Une configuration pour un AFN est un couple (w, q) ∈ Σ ∗ × Q. La relation de r´eduction `N est d´efinie par : (w, q) `N (w 0 , q0 ) si w = w 00w 0 et q 0 ∈ δ(w 00, q) et le langage reconnu L(N) est d´efini par L(N) = {w ∈ Σ ∗ | (w, qo) ` ∗ N (, q) et q ∈ F} . Dans un AFD, ´etant donn´e un mot w on trouve un chemin de calcul unique qui va de (w, qo) `a (, q), pour un certain q. Par opposition, dans un AFN on peut avoir plusieurs chemins, et le w est accept´e si au moins un chemin m`ene `a un ´etat final. Un probl`eme fondamental est de comprendre si et dans quel mesure le calcul non-d´eterministe est plus puissant que le calcul d´eterministe. Th´eor`eme 5.7 (d´eterminisation) Pour tout AFN on peut construire un AFD qui accepte le mˆeme langage. Proof hint. (1) Si un automate peux ex´ecuter le pas de calcul (a1 · · · an, q) ` (, q0 ) avec n ≥ 2 alors on introduit n−1 nouveaux ´etats non-finaux q1, . . . , qn−1 et on red´efinit la fonction de transition pour que : (a1 · · · an, q) ` (a2 · · · an, q1) ` · · · ` (an, qn−1) ` (, q0 ) . (2) On peut donc supposer que dans une transition un automate N = (Σ, Q, qo, F, δ) lit au plus un caract`ere et que la fonction de transition a le type δ : (Σ ∪ {}) × Q → 2 Q. Maintenant, l’id´ee est d’´eliminer les -transitions, en ajoutant une transition ´etiquet´ee par a de q `a q1, chaque fois qu’il y a un chemin de q `a q1 dont toutes les arˆetes sont ´etiquet´ees par  sauf une qui est ´etiquet´ee par a. Formellement, on introduit une notion de -clˆoture d’un ´etat q comme suit : E(q) = {q 0 | (, q) ` ∗ (, q0 )} . Ensuite on construit un nouveau automate N0 = (Σ, Q, qo, F0 , δ0 ) o`u F 0 = {q ∈ Q | E(q)∩F 6= ∅} et δ 0 : Σ × Q → 2 Q est d´efinie par δ 0 (a, q) = [ q 0∈E(q) {E(q 00) | q 00 ∈ δ(a, q0 )} . 26Dans d’autres termes, (a, q) `N0 (, q1) ssi (a, q) ` ∗ N (a, q0 ) `N (, q00) ` ∗ N (, q1) . (3) On peut supposer que l’automate N a une fonction de transition δ avec le type suivant δ : Σ × Q → 2 Q. Supposons que de l’´etat q, en lisant a, l’automate peut aller ou bien dans q1 ou bien dans q2, c.-a.-d., δ(a, q) = {q1, q2}. Pour simuler ce comportement non-d´eterministe avec un AFD M on dit que M plac´e dans l’´etat q, en lisant a, peut aller dans un ‘nouveau ´etat’ {q1, q2} qui est capable de ‘simuler’ le comportement `a la fois de q1 et q2. Formellement, on construit un AFD M = (Σ, 2 Q, {qo}, FM, δM) dont les ´etats sont des sous-ensembles de l’ensemble des ´etats de N et tel que : FM = {X ⊆ Q | X ∩ F 6= ∅} δM(a, X) = S q∈X δ(a, q) . • Exemple 5.8 Consid´erons l’AFN N = ({a, b}, {1, 2, 3}, 1, {2}, δ) avec δ(, 1) = {2} δ(bb, 1) = {3} δ(a, 2) = {2} δ(, 3) = {1} δ(a, 3) = {3} . On ´elimine la transition ´etiquet´ee par bb en introduisant un ´etat auxiliaire, ensuite on ´elimine les -transitions, et enfin on d´eterminise l’automate. Remarque 5.9 (coˆut) Il y a des AFN tels que chaque AFD ´equivalent a un nombre d’´etats qui est exponentiel dans le nombre d’´etats de l’AFN. Remarque 5.10 (langages r´eguliers) On dit qu’un langage accept´e par un automate fini est r´egulier (ou rationnel). La classe des langages r´eguliers a une th´eorie tr`es riche qui sera l’objet d’un cours au deuxi`eme semestre. Exercice 5.11 Montrez que pour tout langage L, L ∗ = (L ∗ ) ∗ . Exercice 5.12 Montrez qu’il existe des langages L1 et L2 tels que (L1 ∪ L2) ∗ 6= L ∗ 1 ∪ L ∗ 2 . Exercice 5.13 Montrez qu’il existe des langages L1 et L2 tels que (L1 · L2) ∗ 6= L ∗ 1 · L ∗ 2 . Exercice 5.14 Consid´erons l’automate fini M = (Q, Σ, δ, q0, F), o`u Q = {q0, q1, q2, q3}, Σ = {0, 1}, F = {q0} et la fonction δ est d´efinie par le tableau suivant : Etat ´ Entr´ee 0 1 q0 q2 q1 q1 q3 q0 q2 q0 q3 q3 q1 q2 V´erifiez si les chaˆınes 1011010 et 101011 sont accept´ees par M. Prouvez que L(M) est l’ensemble des mots compos´es d’un nombre pair de 0 et d’un nombre pair de 1. 27Exercice 5.15 Pour chacun des langages suivants, construire un automate fini non d´eterministe qui l’accepte : 1. Les repr´esentations binaires des nombres pairs. 2. Les repr´esentations d´ecimales des multiples de 3. 3. Le langage des mots sur l’alphabet {a, b} contenant ou bien la chaˆıne aab ou bien la chaˆıne aaab. 4. Le langage des mots sur l’alphabet {0, 1} dont le troisi`eme caract`ere de droite existe et est ´egale `a 1. Construire des automates d´eterministes pour les langages d´ecrits ci-dessus. Exercice 5.16 Soient M un AFD qui accepte un langage L et N1, N2 deux AFN qui acceptent les langages L1, L2, respectivement (sur un alphabet Σ fix´e). 1. Montrez qu’on peut construire un AFD qui accepte le langage compl´ementaire Σ ∗\L. 2. Montrez qu’on peut construire un AFN qui accepte le langage L1 ∪L2 et le langage it´er´e (L1) ∗ . 3. Conclure que la classe des langages accept´es par un AFD est stable par union, intersection, compl´ementaire et it´eration. Exercice 5.17 Soit l’automate fini non-d´eterministe M = (Q, Σ, δ, q0, F), o`u Q = {q0, q1, q2}, Σ = {0, 1, 2}, F = {q0, q2}, et la fonction de transition δ est d´efinie par le tableau suivant : Etat ´ Entr´ee 0 1 2 q0 {q0, q1, q2} {q1, q2} {q2} q1 ∅ {q1, q2} {q2} q2 ∅ ∅ {q2} Transformez cet automate en automate fini d´eterministe. Exercice 5.18 Transformez l’automate M = (Q, Σ, δ, q0, F) suivant en automate fini d´eterministe. On suppose que Q = {q0, q1, q2}, Σ = {0, 1, 2}, F = {q2}, et la fonction de transition δ est d´efinie par le tableau suivant : Etat ´ Entr´ee 0 1 2  q0 {q0} {q1} ∅ {q2} q1 ∅ {q1} ∅ {q2} q2 ∅ ∅ {q2} ∅ 286 Calculabilit´e Certains probl`emes calculatoires demandent une m´emoire qui est fonction de la taille de l’entr´ee (par exemple le tri d’une liste d’´el´ements ou la multiplication de deux matrices). De tels probl`emes ne peuvent pas ˆetre r´esolus par des automates finis dont la m´emoire est born´ee a priori. On consid`ere le probl`eme de formaliser un mod`ele de calcul suffisamment g´en´eral pour calculer tout ce qu’un ‘ordinateur’ pourrait calculer en disposant d’une quantit´e illimit´ee de temps et de m´emoire. Plusieurs mod`eles ´equivalents ont ´et´e propos´es `a partir des ann´ees ’30. On base la pr´esentation sur les machines de Turing (MdT) qui peuvent ˆetre vues comme une simple g´en´eralisation des automates finis. 6.1 Machines de Turing Un automate fini dispose d’un contrˆole fini et d’un ruban sur lequel il peut d´eplacer sa tˆete de lecture de gauche `a droite. Une machine de Turing a en plus la possibilit´e d’´ecrire sur le ruban et de d´eplacer la tˆete de lecture de droite `a gauche. D´efinition 6.1 Une machine de Turing (d´eterministe) M est un vecteur M = (Q, Σ, Γ,t, q0, qa, qr, δ) o`u : – Q est un ensemble fini d’´etats. – Σ est l’alphabet d’entr´ee. – Γ est l’alphabet du ruban. – t ∈ Γ\Σ est un symbole sp´ecial, – q0, qa, qr ∈ Q sont des ´etats. En particulier q0 est l’´etat initial et qa, qr sont deux ´etats finaux distincts qui entraˆınent l’arrˆet du calcul. – δ : Q × Γ → Q × Γ × {L, R} est la fonction (d´eterministe) de transition o`u L pour left et R pour right sont deux symboles. Une configuration de la machine M est un mot wqw0 o`u w, w0 ∈ Γ ∗ et q ∈ Q. Une configuration initiale est un mot q0w o`u w ∈ Σ ∗ repr´esente l’entr´ee de la machine. Une MdT calcule sur un ruban dont la taille n’est pas born´ee `a droite. Soit t ω le mot infini t t t · · · Une configuration wqw0 d´ecrit : (i) le contenu du ruban qui est ww0t ω , (ii) l’´etat q de la machine et (iii) la position de la tˆete de lecture qui lit le premier caract`ere du mot w 0t ω . 4 Un pas de calcul est d´ecrit par la fonction δ. En fonction de l’´etat courant et du symbole en lecture, la machine se d´eplace dans un nouvel ´etat, ´ecrit un symbole `a la place du symbole lu et d´eplace la tˆete de lecture `a gauche ou `a droite. Le d´eplacement de la tˆete de lecture `a gauche est impossible si le mot w de la configuration courante est vide. Dans ce cas la tˆete de lecture reste sur place. 4Remarquez que les configurations wqw0 , wqw0t, wqw0 t t, · · · sont ´equivalentes dans le sens qu’elles d´ecrivent la mˆeme situation. 29Pour formaliser ces id´ees, on d´efinit une relation binaire `M. En supposant que q /∈ {qa, qr}, la relation `M est la plus petite relation sur les configurations qui satisfait : wqaw0 `M wbq0w 0 si δ(q, a) = (q 0 , b, R) wq `M wbq0 si δ(q, t) = (q 0 , b, R) wcqaw0 `M wq0 cbw0 si δ(q, a) = (q 0 , b, L) qaw0 `M q 0 bw0 si δ(q, a) = (q 0 , b, L) wcq `M wq0 cb si δ(q, t) = (q 0 , b, L) q `M q 0 b si δ(q, t) = (q 0 , b, L) On remarque que, la fonction δ ´etant totale, le calcul de M s’arrˆete si et seulement si la machine arrive `a un ´etat final. Exercice 6.2 Examinez la d´efinition de machine de Turing et r´epondez aux questions suivantes : 1. Une MdT peut-elle ´ecrire le symbole t sur le ruban ? 2. L’alphabet d’entr´ee et du ruban peuvent-ils ˆetre ´egaux ? 3. La tˆete de lecture peut-elle rester au mˆeme endroit pendant deux ´etapes cons´ecutives ? 4. Une MdT peut-elle contenir un seul ´etat ? Un automate fini peut accepter ou refuser un mot, une MdT peut aussi boucler. Dans la d´efinition de langage accept´e par une MdT il faut prendre en compte cette troisi`eme possibilit´e. D´efinition 6.3 (1) Un ensemble L ⊆ Σ ∗ est semi-d´ecidable s’il existe une MdT M telle que L = {w | q0w ` ∗ M w 0 qaw 00}. Dans ce cas on dit que M semi-d´ecide (ou accepte) L. (2) Un ensemble L est d´ecidable s’il existe une MdT M dont le calcul termine toujours et qui semi-d´ecide L. Dans ce cas on dit que M d´ecide L. Exemple 6.4 On construit une MdT qui d´ecide {a n b m | n, m ≥ 0}. On a Σ = {a, b}, Γ = Σ∪ {t} et Q = {q0, qa, qr, q1}. On remarque qu’il est inutile de sp´ecifier le comportement de la fonction δ sur les ´etats qa et qr car par d´efinition la MdT s’arrˆete quand elle arrive `a ces ´etats. Par ailleurs, il est aussi inutile de sp´ecifier le caract`ere ´ecrit et le d´eplacement effectu´e par la tˆete de lecture pour toute transition qui va dans les ´etats finaux. En effet, pour les probl`emes de d´ecision on s’int´eresse seulement `a l’´etat final et on ignore le contenu du ruban et la position de la tˆete de lecture. Enfin, on peut interpr´eter l’absence de sp´ecification comme une transition dans l’´etat qr. Avec ces conventions, on peut d´ecrire le comportement de la fonction δ par le tableau : a b t q0 q0, a, R q1, b, R qa, , q1 q1, b, R qa, , Comme dans les automates finis, on peut introduire une notation graphique. Par exemple, on ´ecrira : q a/b,L → q 0 30pour signifier que la MdT dans l’´etat q et en lisant a, ´ecrit b, se d´eplace `a gauche (L) et va dans l’´etat q 0 . On remarquera que dans ce cas notre MdT se comporte comme un automate fini : elle se d´eplace seulement `a droite et elle ne modifie pas le contenu du ruban. Exemple 6.5 On construit une MdT qui d´ecide {a n b n | n ≥ 0}. On a Σ = {a, b}, Γ = Σ ∪ {X, Y,t} et Q = {q0, qa, qr, q1, q2, q3, q4}. La fonction δ est sp´ecifi´ee comme suit : a b X Y t q0 q1, X, R qa, , q1 q1, a, R q2, Y, L q1, Y, R q2 q2, a, L q3, X, R q2, Y, L q3 q1, X, R q4, Y, R q4 q4, Y, R qa, , Exemple 6.6 Soit Σ = {0, 1, ]} et L = {w]w | w ∈ {0, 1} ∗}. On peut construire une MdT qui d´ecide L en prenant Γ = Σ ∪ {t, X}. La machine lit le premier caract`ere b de w, le remplace par X, puis d´eplace sa tˆete de lecture `a droite pour v´erifier que le premier symbole `a droite de ] est b, le remplace par X, puis revient `a gauche du ] et ainsi de suite. Un observateur qui regarderait le contenu du ruban verrait par exemple : 01]01t ω X1]01 t ω · · · X1]X1 t ω · · · XX]X1 t ω · · · XX]XXt ω Exercice 6.7 Donnez la description formelle d’une MdT qui d´ecide le langage {w]w | w ∈ {0, 1} ∗}. Exercice 6.8 (programmation MdT) Pr´esentez le graphe de transition d’une MdT M d´eterministe avec alphabet d’entr´ee Γ = {0, 1,(0, 0),(0, 1),(1, 0),(1, 1)} qui a la propri´et´e suivante : `a partir de la configuration initiale q0(xn−1, yn−1)· · ·(x0, y0), M va parcourir l’entr´ee de gauche `a droite et la remplacer par zn−1 · · · z0 o`u (zn−1 · · · z0)2 = max{(xn−1 · · · x0)2, (yn−1 · · · y0)2} et s’arreter dans un ´etat accepteur qa. En d’autres termes, M doit calculer le maximum des entr´ees. Exercice 6.9 On se propose de programmer une Machine de Turing avec alphabet d’entr´ee Σ = {0, 1, ]} qui a la propri´et´e suivante : `a partir d’une configuration initiale q0]w o`u w est un mot fini compos´e de 0 et 1 la machine s’arrˆete dans un ´etat accepteur qa avec un ruban qui contient le mot ]]w. En d’autres termes, la fonction de la machine est de d´ecaler d’une case vers la droite le mot w en ins´erant le symbole ] dans la case qui est ainsi lib´er´ee. 1. Donnez la repr´esentation graphique d’une Machine de Turing qui impl´emente la fonction de d´ecalage d´ecrite ci-dessus. Suggestion Il est possible de programmer cette tˆache avec une MdT dont la tˆete de lecture se d´eplace toujours `a droite. 2. Tracez le calcul de la machine de la configuration initiale q0]10 `a la configuration finale. Exercice 6.10 Donnez la description formelle d’une MdT qui d´ecide le langage des mots sur l’alphabet {0} dont la longueur est une puissance de 2 : 2 0 , 2 1 , 2 2 , . . . 31Exercice 6.11 D´ecrivez informellement une MdT qui d´ecide le langage : {a i b j c k | i · j = k et i, j, k ≥ 1} . Si un calcul termine on peut aussi voir le ‘contenu du ruban’ comme le r´esultat du calcul. Plus pr´ecis´ement on consid`ere comme ‘r´esultat du calcul’ la concat´enation de tous les symboles dans l’alphabet d’entr´ee qui sont sur le ruban `a la fin du calcul. Par exemple, si le ruban a la forme ta t tbat ω et a, b sont des symboles de l’alphabet d’entr´ee, le r´esultat du calcul est aba. On ´ecrit M(w) ↓ si la MdT M avec entr´ee w termine et M(w) = w 0 si M(w) ↓ avec r´esultat w 0 . D´efinition 6.12 (1) Une fonction partielle f : Σ∗ * Σ ∗ est une fonction partielle r´ecursive s’il existe une MdT M avec alphabet d’entr´ee Σ telle que f(w) = w 0 si et seulement si M(w) = w 0 . (2) Une fonction r´ecursive est une fonction partielle r´ecursive totale, c’est-`a-dire qui est d´efinie sur chaque entr´ee. Exercice 6.13 Soit Σ = {0, 1} et suc : Σ∗ → Σ ∗ la fonction ‘successeur’ en base 2 telle que : (suc(w))2 = (w)2 + 1 Montrez que suc est r´ecursive. 6.2 Enum´erations ´ Une vari´et´e de structures finies comme arbres, graphes, polynˆomes, grammaires, MdT,. . . peuvent ˆetre cod´ees comme mots finis d’un alphabet fini. Exemple 6.14 (probl`emes et langages) Un graphe dirig´e fini est un couple (N, A) o`u N est un ensemble fini de noeuds et A ⊆ N × N est un ensemble d’arˆetes. Deux graphes dirig´es (N, A) et (N0 , A0 ) sont isomorphes s’il existe une bijection f : N → N0 telle que (n, n0 ) ∈ A ssi (f(n), f(n 0 )) ∈ A0 . Notre objectif est de fixer un alphabet fini Σ et de repr´esenter les graphes dirig´es comme un langage sur cet alphabet fini. Plus pr´ecis´ement on va repr´esenter les graphes dirig´es `a ‘isomorphisme pr`es’. Ceci est justifi´e par le fait qu’en g´en´eral on s’int´eresse aux propri´et´es des graphes qui sont invariantes par isomorphisme (connectivit´e, diam`etre, isomorphisme,. . .). On suppose que l’ensemble des noeuds N est un segment initial des nombres naturels cod´es en binaire, par exemple N = 0, 1, 10, 11. En cons´equence, A est maintenant un ensemble de couples de nombres naturels cod´es en binaire. On peut ajouter un symbole ] qui agit comme un s´eparateur. Maintenant le graphe ({0, 1, 2, 3}, {(2, 0),(1, 3),(2, 3)}) peut ˆetre repr´esent´e par le mot fini sur l’alphabet Σ = {0, 1, ]} : ]0]1]10]11]]10]0]1]11]10]11] Par le biais de ce codage, on peut consid´erer `a isomorphisme pr`es l’ensemble des graphes dirig´es comme un certain langage de mots finis sur un alphabet fini. Si G est un graphe dirig´e, on d´enote par hGi son codage. Supposons maintenant qu’on s’int´eresse au probl`eme de savoir si deux graphes dirig´es sont isomorphes.5 On peut reformuler ce probl`eme comme le probl`eme de la reconnaissance du langage : L = {hGi]]]hG 0 i | G et G 0 sont isomorphes} 5Notez qu’on peut avoir plusieurs codages qui repr´esentent le mˆeme graphe `a isomorphisme pr`es. 32Exemple 6.15 (fixer un alphabet) On applique maintenant la mˆeme m´ethode aux MdT. Une MdT est un programme. Il est clair que le ‘nom’ des ´etats n’affecte pas le comportement d’une MdT. Ainsi on peut supposer que les ´etats sont cod´es, par exemple, en binaire. Consid´erons maintenant l’ensemble Γ. Il est possible de simuler le comportement d’une MdT M qui utilise un alphabet Γ avec une autre MdT M0 qui utilise seulement un alphabet {0, 1,t}. Si Γ a n ´el´ements on code chaque ´el´ement de Γ par une suite binaire de longueur k = dlg ne. Pour simuler un pas de calcul de M, M0 doit : (i) lire k symboles cons´ecutifs et en fonction de ces k symboles et de l’´etat courant (ii) ´ecrire k symboles et (iii) d´eplacer la tˆete de lecture de k symboles `a droite ou `a gauche. Donc, `a un codage pr`es, le comportement de toute MdT qui op`ere sur un alphabet arbitraire peut ˆetre simul´e par une MdT qui op`ere sur un alphabet fini qui est fix´e une fois pour toutes. Exemple 6.16 (´enum´eration de MdT) On s’int´eresse maintenant `a la repr´esentation comme mots finis des MdT sur un alphabet donn´e. On peut fixer un codage pour le symbole t, pour les ´etats q0, qa, qr et pour les symboles L, R. Ensuite, la fonction δ peut ˆetre repr´esent´ee en listant son graphe (on peut ´eventuellement ajouter un symbole sp´ecial pour s´eparer les diff´erents ´el´ements de la liste comme on l’a fait dans le cas des graphes). En proc´edant de la sorte toute MdT est repr´esent´ee par un mot fini sur un alphabet fini. Soit MdT(Σ) ⊆ Σ ∗ l’ensemble des codages de MdT sur l’alphabet Σ choisi. Les mots qui composent cet ensemble doivent repr´esenter comme une liste la fonction δ d’une MdT. Il est donc d´ecidable de savoir si un mot appartient `a MdT(Σ). Par ailleurs, on peut d´efinir une fonction r´ecursive et surjective ϕ : Σ∗ → MdT(Σ). Soit w0 le codage d’une MdT. La fonction ϕ est d´efinie par : ϕ(w) = ( w si w code une MdT w0 autrement Mots ou nombres ? On a ´etudi´e la calculabilit´e de langages de mots finis. Une autre possibilit´e aurait ´et´e de consid´erer la calculabilit´e de sous-ensembles de nombres naturels. La th´eorie n’est pas vraiment affect´ee par ce choix car les mots finis peuvent ˆetre cod´es par des nombres naturels et le codage est effectivement calculable comme on va le montrer dans les exercices qui suivent. Exercice 6.17 On peut ´enum´erer les couples de nombres naturels en proc´edant ‘par diagonales’ : (0, 0), (1, 0),(0, 1), (2, 0),(1, 1),(0, 2), (3, 0). . . Montrez que la fonction hm, ni = (m + n)(m + n + 1)/2 + n est une bijection entre N × N et N. D´ecrire un algorithme pour calculer la fonction inverse. Exercice 6.18 On d´efinit les fonctions h ik : Nk → N pour k ≥ 2 : hm, ni2 = hm, ni hn1, . . . , nkik = hhn1, . . . , nk−1ik−1, nki si k ≥ 3 Montrez que les fonctions h ik sont des bijections. Exercice 6.19 On consid`ere l’ensemble N∗ des mots finis de nombres naturels. Notez que N∗ est en correspondance bijective avec S k≥0 Nk . D´efinissez une bijection entre N∗ et N. 33Exercice 6.20 Soit Σ = {a, b, . . . , z} un alphabet fini. On peut ´enum´erer les ´el´ements de Σ ∗ comme suit : , a, b, . . . , z, aa, . . . , az, ba, . . . , bz, za, . . . , zz, aaa, . . . Si Σ contient k ´el´ements on aura k 0 mots de longueur 0, k mots de longueur 1, k 2 mots de longueur 2, . . . D´efinissez une bijection entre Σ ∗ et N. MdT universelle Un corollaire de ces exercices est qu’il y a une bijection h , i : Σ∗×Σ ∗ → Σ. Par le biais de cette bijection, une MdT peut interpr´eter tout mot w comme un couple de mots hw1, w2i. Par ailleurs, par le biais de la fonction ϕ une MdT peut interpr´eter tout mot comme le codage d’une MdT. On peut alors construire une MdT U qu’on appelle MdT universelle telle que U(hw1, w2i) = ϕ(w1)(w2) La machine U –dont on omet les d´etails de construction– re¸coit un mot w qui est interpr´et´e comme un couple de mots w1, w2. Ensuite le mot w2 est interpr´et´e comme l’entr´ee de la MdT d´ecrite par le premier mot w1. La MdT U simule la MdT ϕ(w1) sur l’entr´ee w2. Ainsi, la machine U se comporte comme un interpr`ete qui re¸coit en argument un programme et une entr´ee et calcule le r´esultat du programme sur l’entr´ee. Exercice 6.21 (1) Montrez qu’un langage est semi-d´ecidable si et seulement si il est le domaine de d´efinition d’une fonction partielle r´ecursive. (2) On dit qu’un langage L ⊆ Σ ∗ est r´ecursivement ´enum´erable s’il est l’image d’une fonction partielle r´ecursive. Montrez qu’un langage L est r´ecursivement ´enum´erable si et seulement si il est semi-d´ecidable. Suggestion : Soit M une MdT et w0, w1, w2, . . . une suite d’entr´ees. On peut simuler M sur w0 pour 0 pas, sur w0 pour 1 pas, sur w1 pour 0 pas, sur w0 pour 2 pas, sur w1 pour 1 pas, sur w2 pour 0 pas,. . . Exercice 6.22 (1) Rappel : tout nombre naturel n ≥ 2 admet une d´ecomposition unique comme produit p n1 1 · · · p nk k o`u k ≥ 1, p1 < · · · < pk sont des nombres premiers et n1, . . . , nk ≥ 1. En utilisant ce fait, d´efinissez une fonction surjective de N dans les parties finies de N. (2) On ne peut pas g´en´eraliser aux parties de N ! Supposez une ´enum´eration e : N → 2 N. Consid´erez X = {n | n /∈ e(n)}. Comme e est surjective, il existe nX tel que e(nX) = X et soit nX ∈ X soit nX ∈/ X. Montrez que dans les deux cas on arrive `a une contradiction. (3) On dit qu’un ensemble X est d´enombrable s’il y a une fonction bijective entre X et les nombres naturels N. (3.1) Montrez que l’ensemble des langages sur un alphabet Σ n’est pas d´enombrable. (3.2) Conclure qu’il y a des langages qui ne sont pas semi-d´ecidables. On r´esume ces consid´erations comme suit : – Un probl`eme algorithmique peut ˆetre (souvent) reformul´e comme un probl`eme de reconnaissance d’un langage. – Sans perte de g´en´eralit´e, nous pouvons limiter notre attention aux MdT qui op`erent sur un alphabet Γ fix´e une fois pour toutes. 34– On peut coder une MdT comme un mot fini et on peut ´enum´erer tous les codages de MdT sur un alphabet donn´e. – A un codage pr`es, il y a autant de MdT que de nombres naturels alors que l’ensemble des langages a la cardinalit´e des parties de nombres naturels. Il doit donc y avoir des langages qui ne sont pas d´ecidables. – On peut s’int´eresser de fa¸con ´equivalente `a la calculabilit´e de langages de mots finis, d’ensembles de couples de mots finis, d’ensembles de nombres naturels,. . . – On peut construire une MdT universelle qui re¸coit en entr´ee le codage d’une MdT M et une entr´ee w et simule le calcul de M sur w. 6.3 Temps de calcul Un pas de calcul d’une MdT est une op´eration ´el´ementaire qui demande un effort de calcul born´e : il s’agit de consulter un tableau fini, d’´ecrire un symbole et de d´eplacer d’une position la tˆete de lecture. Il semble donc raisonnable de mesurer le temps de calcul d’une MdT simplement comme le nombre de pas de calcul n´ecessaires pour arriver `a un ´etat final. D´efinition 6.23 Soit M une MdT qui termine sur toute entr´ee. La complexit´e en temps de M est une fonction t : N → N o`u t(n) est le nombre maximal de pas de calcul n´ecessaires `a la machine pour terminer sur une entr´ee de taille n (la taille d’un mot est sa longueur). Souvent on s’int´eresse seulement `a l’ordre de grandeur de la complexit´e. D´efinition 6.24 Soient f, g : N → N deux fonctions sur les nombres naturels. On dit que f est O(g) s’ils existent n0, c ∈ N tels que pour tout n ≥ n0, f(n) ≤ cg(n). En d’autres termes, f est O(g) si presque partout f est domin´ee par g `a une constante multiplicative pr`es. Exercice 6.25 Montrez que : 6n 3 + 2n 2 + 20n + 45 est O(n 3 ). Il est int´eressant d’analyser comment la notation O interagit avec le logarithme et l’exposant. Une premi`ere remarque est qu’on peut n´egliger la base du logarithme et prendre toujours le logarithme en base 2. En effet, logbn = log2n/log2 b. En ce qui concerne l’exposant, on remarquera que la fonction 3n n’est pas O(2n ). Cependant elle est O(2(cn) ) en prenant par exemple c = 2. Pour cette raison, on introduit la notation 2O(f) . Par exemple, la notation 2 O(n) indique une fonction 2cn pour une constante c. Ainsi 745n est 2O(n) . Notez cependant que 2n 2 n’est pas 2O(n) . D´efinition 6.26 Soit g : N → N une fonction sur les nombres naturels et M une MdT. On dit que M est O(g) si la complexit´e en temps t de M est O(g). Par exemple, dire qu’une machine M est O(n) veut dire qu’ils existent n0, c ∈ N tels que pour toute entr´ee w de taille n ≥ n0 le temps de calcul de M sur l’entr´ee w est au plus cn. Exercice 6.27 Montrez qu’il y a une MdT M qui d´ecide le langage L = {w]w | w ∈ {0, 1} ∗} qui est O(n 2 ). 356.4 Variantes de MdT Plusieurs variantes de MdT ont ´et´e consid´er´ees. Ces variantes n’affectent pas la notion de langage semi-d´ecidable ou d´ecidable mais peuvent changer de fa¸con significative la complexit´e du calcul. Machines multi-rubans Une MdT multi-rubans est une MdT qui dispose d’un nombre fini k de rubans. Sa d´efinition formelle suit celle d’une MdT standard modulo le fait que le type de la fonction de transition δ est maintenant δ : Q × Γ k → Q × Γ k × {L, R, S} k Un pas de calcul se d´eroule de la fa¸con suivante : en fonction de l’´etat courant et des symboles lus sur les k rubans, la machine va dans un autre ´etat, remplace les symboles lus par d’autres symboles et d´eplace les tˆetes de lecture. Avec la directive S pour stay on a la possibilit´e de garder une tˆete de lecture `a la mˆeme place. Proposition 6.28 Soit M une MdT multi-rubans. On peut construire une MdT standard M0 qui simule M. Si la complexit´e de M est t(n) ≥ n la complexit´e de M0 est O(t(n) 2 ). Idee de la preuve ´ . Supposons que la MdT M dispose de 3 rubans dont le contenu est 0101t ω , aabt ω et bat ω et dont les tˆetes de lecture sont en deuxi`eme, troisi`eme et premi`ere position respectivement. La MdT M0 m´emorise les trois rubans sur un seul ruban de la fa¸con suivante : ]0101]aab]ba]t ω On notera que M0 dispose d’un nouveau symbole ] pour s´eparer les rubans et que pour chaque symbole a de M on introduit un nouveau symbole a. Le symbole soulign´e indique la position de la tˆete de lecture. Un pas de calcul de M est simul´e de la fa¸con suivante : – M0 commence par parcourir son ruban de gauche `a droite pour calculer les symboles en lecture et d´eterminer les actions `a effectuer. – Ensuite, M0 effectue un deuxi`eme passage dans lequel elle remplace le symbole en lecture (les symboles soulign´es) par des nouveaux symboles et ´eventuellement d´eplace la tˆete de lecture (c’est-`a-dire, remplace un symbole par un symbole soulign´e). – Si le symbole soulign´e pr´ec`ede le symbole ] et le calcul pr´evoit un d´eplacement `a droite il est n´ecessaire d’allouer une nouvelle case. A cette fin, la machine M0 d´ecale `a droite le contenu du ruban. La borne O(t(n) 2 ) sur le temps de calcul de la simulation est obtenue de la fa¸con suivante. D’abord on observe que si la complexit´e de M est t(n), la taille des rubans manipul´es par M ne peut jamais d´epasser t(n). Ensuite on d´etermine le nombre d’op´erations n´ecessaires `a simuler un pas de calcul de M. Le premier passage est O(t(n)). Le deuxi`eme passage est aussi O(t(n)) car le d´ecalage `a droite peut ˆetre effectu´e au plus k fois si la machine M comporte k rubans et chaque d´ecalage peut ˆetre effectu´e en O(t(n)). • Les machines multi-rubans permettent de donner une preuve simple du fait suivant. Proposition 6.29 Un langage L est d´ecidable si et seulement si L et son compl´ementaire L c sont semi-d´ecidables. 36Idee de la preuve ´ . (⇒) Par d´efinition un langage d´ecidable est semi-d´ecidable. D’une MdT M qui d´ecide L on obtient une MdT M0 qui d´ecide L c simplement en ´echangeant les ´etats finaux qa et qr. (⇐) Soient M et M0 les MdT qui d´ecident L et L c , respectivement. On d´erive une MdT N avec 2 rubans qui copie d’abord l’entr´ee w du premier au deuxi`eme ruban et qui simule ensuite alternativement un pas de r´eduction de la machine M et un pas de r´eduction de la machine M0 . La machine N accepte si M arrive `a l’´etat qa et elle refuse si M0 arrive `a l’´etat q 0 a . La machine N termine toujours car tout mot w est accept´e soit par M soit par M0 . • MdT non-d´eterministes Une MdT non-d´eterministe M est une MdT dont la fonction de transition δ a le type : δ : Q × Γ → 2 (Q×Γ×{L,R}) La notion de pas de calcul est adapt´ee imm´ediatement. Par exemple, on ´ecrira wqaw0 `M wbq0w 0 si (q 0 , b, R) ∈ δ(q, a) Exercice 6.30 Compl´etez la d´efinition de pas de calcul d’une machine non-d´eterministe. La d´efinition 6.3 de langage semi-d´ecidable et d´ecidable s’applique directement aux MdT non-d´eterministes.6 On remarquera que pour qu’une entr´ee w soit accept´ee il suffit qu’il existe un calcul qui m`ene de la configuration initiale `a l’´etat qa. Proposition 6.31 Soit N une MdT non-d´eterministe. On peut construire une MdT standard M qui simule N. Si la complexit´e de N est t(n) ≥ n la complexit´e de M est 2 O(t(n)) . Idee de la preuve ´ . Dans une MdT non-d´eterministe N il y a une constante k qui borne le nombre d’alternatives possibles dans la suite du calcul. Ainsi on peut repr´esenter le calcul d’une MdT non-d´eterministe comme un arbre ´eventuellement infini mais dont le branchement est born´e par la constante k. Les noeuds de cet arbre correspondent `a des mots sur {0, . . . , k − 1} ∗ . On peut ´enum´erer tous les noeuds de l’arbre en explorant l’arbre en largeur d’abord : , 0, . . . , k − 1, 00, . . . , 0(k − 1), 10, . . . , 1(k − 1), . . .(k − 1)0, . . . ,(k − 1)(k − 1), 000, . . . Une MdT peut calculer le successeur imm´ediat d’un mot π par rapport `a cette ´enum´eration. Pour simuler la machine N on utilise une MdT M avec 3 rubans. La proposition 6.28 nous assure qu’on peut toujours remplacer M par une MdT standard. Le premier ruban de M contient l’entr´ee w, le deuxi`eme contient le chemin de l’arbre π qui est actuellement explor´e et le troisi`eme contient le ruban de la machine N lorsqu’elle calcule en effectuant les choix selon le chemin π. Pour un chemin donn´e π, la machine M copie l’entr´ee du premier ruban au troisi`eme et effectue ensuite un calcul en simulant l’ex´ecution de N sur le chemin π. – Le calcul peut bloquer car le chemin π ne correspond pas `a un choix possible. Dans ce cas on consid`ere le successeur imm´ediat de π et on it`ere. 6Ce n’est pas le cas pour la notion de fonction partielle r´ecursive car il faut d´ecider d’abord quel est le r´esultat d’une MdT non-d´eterministe. . . 37– Le calcul arrive `a la fin du chemin π mais la machine ne se trouve pas dans l’´etat qa. Dans ce cas aussi on consid`ere le successeur imm´ediat de π et on it`ere. – Le calcul arrive `a la fin du chemin π et la machine se trouve dans l’´etat qa. Dans ce cas on accepte et on arrˆete le calcul. – La simulation peut aussi noter qu’il ne reste plus de chemins `a explorer et dans ce cas elle s’arrˆete et refuse. Si la complexit´e de N est t(n), la taille des chemins `a consid´erer est aussi O(t(n)). Le nombre de chemins `a simuler est 2O(t(n)). Donc la complexit´e de M est 2O(t(n)). Enfin, la MdT standard qui simule M est aussi 2O(t(n)) car (2cn) 2 est 2O(n) . • Exercice 6.32 (1) Montrez que les langages accept´es par un automate fini sont d´ecidables. (2) Montrez que la collection des langages d´ecidables est stable par rapport aux op´erations d’union, compl´ementaire, concat´enation et it´eration. (3) Montrez que la collection des langages semi-d´ecidables est stable par rapport aux op´erations d’union et concat´enation. Suggestion : utilisez le non-d´eterminisme. Th`ese de Church-Turing Il est ´evident que le calcul d’une MdT est effectif dans le sens qu’une personne (une machine ´electronique) peut simuler le calcul d’une MdT `a condition de disposer d’une quantit´e de papier (d’une quantit´e de m´emoire) qui peut ˆetre ´etendue ind´efiniment. La th`ese de Church-Turing affirme que : Tout langage semi-d´ecidable par une “proc´edure effective” est semi-d´ecidable par une MdT. On ne peut pas d´emontrer cette affirmation tant que la notion de “proc´edure effective” n’est pas formalis´ee. Le probl`eme est qu’il n’y a pas de d´efinition g´en´erale de “proc´edure effective”. On dispose seulement d’exemples de “proc´edures effectives” (par exemple les MdT, les programmes assembleurs, les programmes Java, les syst`emes de preuve,. . .) et ce qu’on peut faire est de d´emontrer que ces exemples sont ´equivalents au sens o`u ils permettent de semi-d´ecider le mˆeme ensemble de langages. Nombreuses preuves de ce type ont ´et´e effectu´ees depuis les ann´ees 30 et ceci nous permet d’avoir un certain niveau de confiance dans la validit´e de la th`ese. 6.5 Langages ind´ecidables On rappelle qu’il y a une bijection h , i entre les mots finis et les couples de mots finis et que tout mot w peut ˆetre vu comme la repr´esentation d’une MdT ϕ(w). En particulier, on utilise la notation M, M0 , . . . pour des mots qui sont consid´er´es comme des MdT. On ´ecrit aussi ϕ(M)(w) pour indiquer le r´esultat du calcul de la MdT repr´esent´ee par ϕ(M) sur une entr´ee w. D´efinition 6.33 Le langage H est d´efini par H = {hM, wi | ϕ(M)(w) ↓} 38Le langage H est semi-d´ecidable par la MdT universelle. Le langage H formalise un probl`eme int´eressant qu’on appelle probl`eme de l’arrˆet : ´etant donn´e une MdT (un programme) M et une entr´ee w on se demande si le calcul de M sur l’entr´ee w termine. On peut aussi consid´erer le comportement d’une machine M lorsque elle re¸coit comme entr´ee le codage d’une machine M0 . En particulier, on peut s’int´eresser au r´esultat de l’application de la machine M `a son propre codage. D´efinition 6.34 Le langage K est d´efini par K = {M | ϕ(M)(M) ↓} On va montrer que les langages H et K ne sont pas d´ecidables. Au passage, par la proposition 6.29 cela implique que les langages compl´ementaires Hc et Kc ne sont mˆeme pas semi-d´ecidables. Th´eor`eme 6.35 Le langage K n’est pas d´ecidable. Idee de la preuve ´ . Si K est d´ecidable il devrait y avoir une MdT ϕ(M) telle que ϕ(M)(M0 ) ↓ ssi M0 ∈ Kc Si on applique ϕ(M) `a M on a deux possibilit´es : 1. Si ϕ(M)(M) ↓ alors M ∈ Kc et donc ¬ϕ(M)(M) ↓. 2. Si ¬ϕ(M)(M) ↓ alors M /∈ Kc et donc ϕ(M)(M) ↓. Les deux possibilit´es m`enent `a une contradiction, donc Kc n’est pas semi-d´ecidable.7 • Plutˆot que d´emontrer directement que H n’est pas d´ecidable on va introduire une technique pour r´eduire l’analyse d’un langage `a l’analyse d’un autre langage. D´efinition 6.36 Soient L, L0 deux langages sur un alphabet Σ. On dit que L se r´eduit `a L 0 et on ´ecrit L ≤ L 0 s’il existe une fonction r´ecursive f : Σ∗ → Σ ∗ telle que w ∈ L ssi f(w) ∈ L 0 . Si L ≤ L 0 alors les m´ethodes de d´ecision qu’on d´eveloppe pour L 0 peuvent ˆetre appliqu´ees `a L aussi. Proposition 6.37 Si L ≤ L 0 et L 0 est semi-d´ecidable (d´ecidable) alors L est semi-d´ecidable (d´ecidable). Idee de la preuve ´ . On sait qu’il existe une fonction r´ecursive f telle que w ∈ L ssi f(w) ∈ L 0 . Supposons que Mf soit une MdT qui calcule f et M0 une MdT qui semi-d´ecide L 0 . Pour semid´ecider (d´ecider) L il suffit de composer M0 et Mf . • Exemple 6.38 On obtient que K ≤ H en utilisant la fonction f(M) = hM, Mi. Comme K n’est pas d´ecidable, H ne peut pas ˆetre d´ecidable non plus. 7On appelle cette technique de preuve diagonalisation. On l’a d´ej`a utilis´ee dans l’exercice 6.22. 39Le fait que le probl`eme de l’arrˆet soit ind´ecidable n’est que la pointe de l’iceberg. . . D´efinition 6.39 On dit que deux MdT sont extensionnellement ´equivalentes si elles terminent sur les mˆemes entr´ees en donnant la mˆeme r´eponse (accepter/refuser).8 D´efinition 6.40 On dit qu’un langage P ⊆ Σ ∗ est une propri´et´e extensionnelle si P ne distingue pas les codages de deux machines qui sont extensionnellement ´equivalentes.9 On dit aussi que P est triviale si P ou P c est l’ensemble vide. Th´eor`eme 6.41 (Rice) Toute propri´et´e extensionnelle P non triviale est ind´ecidable. Idee de la preuve ´ . Soit M∅ le codage d’une MdT qui accepte le langage vide. Supposons que M∅ ∈/ P (autrement on montre que P c est ind´ecidable). Supposons aussi que M1 ∈ P. Soit f la fonction qui associe au codage d’une MdT M le codage d’une MdT qui re¸coit une entr´ee w, calcule ϕ(M)(M) et si elle termine calcule M1(w). La machine f(M) est extensionnellement ´equivalente `a M1 (et donc appartient `a P) si et seulement si M ∈ K. Donc la fonction f montre que K ≤ P. • Exercice 6.42 En utilisant le th´eor`eme de Rice, montrez que les langages suivants sont ind´ecidables : (1) L’ensemble K des codages de MdT qui terminent sur l’entr´ee  et acceptent . (2) L’ensemble Tot des codages de MdT qui terminent sur toute entr´ee. (3) L’ensemble Eq des codages de couples de MdT qui sont extensionnellement ´equivalentes. Une cons´equence de (2) est qu’il ne peut pas y avoir un langage de programmation dans lequel on peut programmer exactement les fonctions totales. Il ne serait pas d´ecidable de savoir si un programme de ce langage est bien form´e. Il est donc n´ecessaire de donner des crit`eres d´ecidables qui assurent la terminaison mais qui excluent certains programmes qui terminent. Une cons´equence de (3) est qu’on ne peut pas automatiser le probl`eme de l’´equivalence de deux programmes. Dans ce cas aussi on est amen´e `a faire des approximations. Exercice 6.43 Montrez ou invalidez les assertions suivantes : 1. Il y a une MdT qui accepte les mots sur l’alphabet {0, 1} qui contiennent autant de 0 que de 1 (si la MdT existe, il suffira d’en donner une description informelle). 2. Rappel : si A et B sont deux langages, on ´ecrit A ≤ B s’il existe une r´eduction de A `a B. Si A est s´emi-d´ecidable et A ≤ Ac alors A est d´ecidable. 3. L’ensemble des (codages de) MdT qui reconnaissent un langage fini est d´ecidable. Exercice 6.44 Montrez ou donnez un contre-exemple aux assertions suivantes : 1. L’ensemble des (codages de) MdT qui terminent sur le mot vide est d´ecidable. 2. L’ensemble des (codages de) MdT qui divergent sur le mot vide est semi-d´ecidable. 8 Il y a des variations possibles de cette d´efinition. Par exemple, on peut dire que les machines sont ´equivalentes si elles calculent la mˆeme fonction partielle. 9En d’autres termes, si M et M0 sont extensionnellement ´equivalentes alors soit {M, M0 } ⊆ P soit {M, M0 }∩ P = ∅. 403. L’ensemble des (codages de) MdT qui terminent sur le mot vide en 10100 pas de calcul est d´ecidable. Exemple 6.45 On termine en mentionnant (sans preuve) quelques probl`emes ind´ecidables remarquables. (1) Soit Σ un alphabet et soit (v1, w1)· · ·(vk, wk) une suite finie de couples de mots dans Σ ∗ . Le probl`eme de correspondance de Post (PCP) consiste `a d´eterminer s’ils existent n ≥ 1 et i1, . . . , in ∈ {1, . . . , k} tels que : vi1 · · · vin = wi1 · · · win . Par exemple, consid´erez {(ab, a),(bcc, bb),(c, cc)}. On ne peut pas concevoir un algorithme qui pour tout PCP d´ecide si le probl`eme a une solution. En d’autres termes, le probl`eme de correspondance de Post est ind´ecidable. (2) Soit p(x1, . . . , xn) un polynˆome de degr´e arbitraire avec variables x1, . . . , xn et avec coef- ficients dans Z. Par exemple, p(x, y, z) = 6x 3yz2 + 3xy2 − x 3 − 10. Le dixi`eme probl`eme de Hilbert consiste `a d´eterminer si le polynˆome p a des racines dans Z, c’est-`a-dire : ∃ x1, . . . , xn ∈ Z p(x1, . . . , xn) = 0 Ce probl`eme a ´et´e propos´e comme un challenge parmi d’autres en 1900 par D. Hilbert et il a ´et´e montr´e ind´ecidable par Matijasevich en 1970 (le mˆeme probl`eme sur les r´eels est d´ecidable). (3) La logique du premier ordre est l’extension du calcul propositionnel o`u l’on introduit la quantification. Par exemple, on peut ´ecrire ∀ x ∃ y A(x, y). Une telle formule est valide si pour tout ensemble U 6= ∅ et pour toute relation binaire RA sur U il est vrai que pour tout u ∈ U il existe v ∈ V tel que (u, v) ∈ RA. La validit´e d’une formule du premier ordre est ind´ecidable. (4) On peut s’int´eresser aux formules du premier ordre sur un alphabet particulier qui comprend les symboles +,∗ et < qui sont interpr´et´es comme l’addition, la multiplication et l’in´egalit´e de nombres naturels. De mˆeme, les quantificateurs sont interpr´et´es maintenant sur les nombres naturels. Par exemple, ∀ x ∃ y x < y est une formule qui dit que pour chaque nombre naturel x on peut trouver un nombre naturel y qui est strictement plus grand. La validit´e d’une formule du premier ordre (interpr´et´ee sur les nombres naturels) est (hautement) ind´ecidable.10 10On peut construire une hi´erarchie qu’on appelle hi´erarchie arithm´etique de probl`emes ind´ecidables et toujours ‘plus durs’. 417 Complexit´e : les classes P et NP On s’int´eresse au probl`emes d´ecidables en temps polynomial (d´eterministe ou non-d´eterministe). D´efinition 7.1 P (NP) est la classe des langages qui sont d´ecidables par une MdT d´eterministe (non-d´eterministe) en temps O(n k ) pour un certain k. Il suit de la d´efinition que tout probl`eme dans P est aussi dans NP. Les classes P et NP sont suffisamment robustes pour ne pas ˆetre affect´ees par une modification du mod`ele de calcul. Par exemple, ces classes ne d´ependent pas du fait que les MdT disposent de un ou de plusieurs rubans. On peut mˆeme enrichir le mod`ele de calcul en supposant que la machine dispose d’une m´emoire illimit´ee en acc`es direct (RAM pour random access memory). Dans une telle machine l’acc`es `a une cellule de m´emoire est effectu´e en O(1). On peut d´emontrer qu’une MdT d´eterministe peut simuler une machine avec RAM avec une d´egradation polynomiale des performances, c’est-`a-dire qu’il y a un (petit) nombre k tel que si la machine avec RAM a complexit´e O(t(n)) la MdT qui la simule a complexit´e O(t(n) k ). Une grande partie des probl`emes qui sont consid´er´es dans un cours standard d’algorithmique font partie de la classe P. Par exemple, les probl`emes de tri, la r´esolution de syst`emes d’´equations lin´eaires, les probl`emes de recherche dans un arbre, le probl`eme de la connectivit´e d’un graphe,. . . Dans la suite on va consid´erer un certain nombre de probl`emes qui sont dans la classe NP. Exemple 7.2 (1) Le probl`eme de savoir si une formule du calcul propositionnel est satisfiable est dans NP. Il suffit de deviner une affectation et de v´erifier. (2) Soit G = (V, E) un graphe non-dirig´e. Le probl`eme du circuit hamiltonien consiste `a d´eterminer s’il existe un parcours du graphe qui contient chaque sommet du graphe une et une seule fois. Un algorithme dans NP qui r´epond `a la question devine une permutation des sommets et v´erifie si elle correspond `a un parcours dans le graphe. (2) Soit V un ensemble de villes et d une fonction qui associe `a chaque paire de villes (v, v0 ) la distance d(v, v0 ) ≥ 0 pour aller de v `a v 0 . Le probl`eme du voyageur de commerce11 est de d´eterminer s’il existe un parcours qui traverse chaque ville exactement une fois dont la longueur est inf´erieure `a b. En d’autres termes, dans TSP on consid`ere un graphe non-dirig´e, complet (chaque couple de noeuds est connect´e par une arˆete) et avec une fonction de coˆut sur les arˆetes et on cherche `a d´eterminer si le graphe contient un circuit hamiltonien dont le coˆut est inf´erieur `a b. Un algorithme dans NP qui r´epond `a la question devine une permutation des villes et v´erifie si la somme des distances est inf´erieure `a b. 12 7.1 R´eduction polynomiale Faute de pouvoir d´emontrer que les probl`emes dans l’exemple 7.2 sont ou ne sont pas dans P, on va essayer de les comparer. A cette fin, on reprend la notion de r´eduction entre probl`emes (d´efinition 6.36) en ajoutant la contrainte que la r´eduction est calculable en temps polynomiale (d´eterministe). 11Aussi connu comme TSP pour Travelling Salesman Problem. 12Ce probl`eme est aussi formul´e comme un probl`eme d’optimisation o`u l’on cherche `a minimiser la longueur d’un parcours ferm´e. 42D´efinition 7.3 Soient L, L0 deux langages sur un alphabet Σ. On dit que L se r´eduit `a L 0 en temps polynomial et on ´ecrit L ≤P L 0 s’il existe une fonction r´ecursive f : Σ∗ → Σ ∗ calculable en temps polynomial telle que w ∈ L ssi w ∈ L 0 Exemple 7.4 Il y a une r´eduction polynomiale du probl`eme du circuit hamiltonien au probl`eme du voyageur de commerce. L’ensemble des noeuds correspond `a l’ensemble des villes. La distance d est d´efinie par : d(v, v0 ) = ( 1 si (v, v0 ) arˆete 2 autrement La constante b est ´egale au nombre des villes. Maintenant, on remarque : – S’il existe un parcours de longueur b alors ce parcours ne peut contenir que des chemins entre villes de longueur 1. Donc ce parcours correspond `a un chemin hamiltonien. – Inversement, s’il y a un chemin hamiltonien alors la r´eponse au probl`eme du voyageur de commerce est positive. Exercice 7.5 Une formule est en 3-CNF si elle est en CNF et chaque clause (disjonction de litt´eraux) comporte exactement 3 litt´eraux. Le probl`eme 3-SAT consiste `a d´eterminer si une formule en 3-CNF est satisfiable. Montrez que : (1) 3-SAT est dans NP. (2) Une clause `1 ∨ · · · ∨ `n avec n > 3 peut ˆetre remplac´ee par (`1 ∨ `2 ∨ y1) ∧ (¬y1 ∨ `3 ∨ y2) ∧ · · ·(¬yn−3 ∨ `n−1 ∨ `n) o`u y1, . . . , yn−3 sont des nouvelles variables. (3) Une clause avec 1 ou 2 litt´eraux peut ˆetre remplac´ee par une clause avec 3 litt´eraux. (4) Conclure qu’il y a une r´eduction polynomiale de SAT `a 3-SAT. Exercice 7.6 Montrez que la notion de r´eduction polynomiale est transitive : L1 ≤P L2 et L2 ≤P L3 implique L1 ≤P L3. 7.2 SAT et NP-compl´etude D´efinition 7.7 Un probl`eme L (langage) est NP-complet s’il est dans NP et si tout probl`eme L 0 dans NP admet une r´eduction polynomiale `a L. Dans un certain sens les probl`emes NP-complets sont les plus durs. Si on trouve un algorithme polynomial pour un probl`eme NP-complet alors on a un algorithme polynomial pour tous les probl`emes de la classe NP. Un fait remarquable est que plusieurs probl`emes naturels sont NP-complets. Th´eor`eme 7.8 (Cook-Levin 1971) Le probl`eme SAT est NP-complet. Idee de la preuve ´ . Soit L un langage d´ecid´e par une MdT M non d´eterministe polynomiale en temps p(n). Donc w ∈ L ssi `a partir de la configuration initiale q0w la machine M peut arriver `a l’´etat qa. On d´ecrit une r´eduction polynomiale qui associe `a chaque mot w une 43formule en CNF Aw qui est satisfiable si et seulement si w ∈ L. L’id´ee est que la formule Aw va d´ecrire les calculs possibles (M est non-d´eterministe !) de la machine M sur l’entr´ee w. La remarque fondamentale est qu’un calcul d’une machine de Turing en temps p(n) sur un mot w de taille n peut ˆetre repr´esent´e par un tableau de taille p(n) × p(n) dont la case de coordonn´ees (i, j) contient la valeur du ruban au temps i et `a la position j. Si le calcul termine avant p(n) on peut toujours recopier le ruban jusqu’au temps p(n). On peut associer `a chaque case (i, j) et `a chaque symbole a une variable propositionnelle xi,j,a avec l’id´ee que xi,j,a = 1 si et seulement si la case (i, j) contient le symbole a. Ensuite on peut construire des formules (de taille polynomiale en n) qui assurent que : – Exactement un symbole est dans chaque case. – Les cases (1, j) correspondent `a la configuration initiale. – Chaque case (i + 1, j) est obtenue des cases (i, j − 1),(i, j),(i, j + 1) selon les r`egles de la Machine. – La configuration finale accepte. Exemple 7.9 On construit une CNF qui correspond au calcul de la MdT M dans l’exemple 6.4 sur l’entr´ee aab. 13 Le calcul de la MdT pourrait ˆetre : 1 2 3 4 5 1 q0 a a b t 2 a q0 a b t 3 a a q0 b t 4 a a b q1 t 5 a a b t qa Pour repr´esenter le calcul on introduit les variables xi,j,u o`u i, j ∈ {1, . . . , 5} et u ∈ {a, b, q0, q1, qa}. La configuration initiale est sp´ecifi´ee par : Ainit = x1,1,q0 ∧ x1,2,a ∧ x1,3,a ∧ x1,4,b ∧ x1,5,t On doit imposer la contrainte que `a chaque instant exactement un symbole est pr´esent `a chaque position. Par exemple, pour l’instant i `a la position j on ´ecrira : Ai,j = (xi,j,a ∨ · · · ∨ xi,j,qa ) ∧ (¬xi,j,a ∨ ¬xi,j,b) ∧ · · · ∧ (¬xi,j,q1 ∨ ¬xi,j,qa ) L’objectif est d’arriver `a une configuration qui contient l’´etat qa. Cela revient `a demander : Aaccept = ∨1≤i,j≤5xi,j,qa Enfin on doit d´ecrire les ‘r`egles de calcul’ de la machine M. Par exemple, on pourrait exprimer δ(q0, a) = (q0, a, R) par la conjonction de formules de la forme (xi−1,j−1,q0 ∧ xi−1,j,a) → (xi,j−1,a ∧ xi,j,q0 ) Il est possible de proc´eder d’une fa¸con plus syst´ematique. Une propri´et´e int´eressante des MdT est qu’`a chaque instant le calcul est localis´e dans une r´egion de taille born´ee. Si w1qw2 `M w 0 1 q 0w 0 2 la diff´erence entre les deux configurations est localis´ee dans une r´egion de taille 3 qui 13Il s’agit d’un cas tr`es sp´ecial car la MdT en question se comporte comme un automate fini d´eterministe. Cependant les id´ees se g´en´eralisent. 44comprend l’´etat et les deux symboles contigu¨es. L’id´ee est alors de regarder toutes les fenˆetres de largeur 3 et de hauteur 2 dans le tableau qui repr´esente le calcul (il y en a un nombre polynomial) et de s’assurer que le contenu de chaque fenˆetre est conforme aux r`egles de la machines. La formule en question peut ˆetre exprim´ee en CNF. Par exemple, on pourrait avoir une formule de la forme : ((x1 ∧ x2) → (y1 ∧ y2)) ∨ ((x1 ∧ x2) → (w1 ∧ w2)) ∨ ((x1 ∧ x2) → (z1 ∧ z2)) pour dire que si deux cases contiennent les symboles a1, a2 (variables x1, x2) alors deux autres cases contiennent ou bien les symboles b1, b2 (variables y1, y2) ou bien les symboles c1, c2 (variables w1, w2) ou bien les symboles d1, d2 (variables z1, z2). Une telle formule peut se r´e-´ecrire en CNF comme suit. (¬x1 ∨ ¬x2 ∨ y1 ∨ w1 ∨ z1)∧ (¬x1 ∨ ¬x2 ∨ y1 ∨ w1 ∨ z2)∧ (¬x1 ∨ ¬x2 ∨ y1 ∨ w2 ∨ z1)∧ (¬x1 ∨ ¬x2 ∨ y1 ∨ w2 ∨ z2)∧ (¬x1 ∨ ¬x2 ∨ y2 ∨ w1 ∨ z1)∧ (¬x1 ∨ ¬x2 ∨ y2 ∨ w1 ∨ z2)∧ (¬x1 ∨ ¬x2 ∨ y2 ∨ w2 ∨ z1)∧ (¬x1 ∨ ¬x2 ∨ y2 ∨ w2 ∨ z2) La transformation est exponentielle dans le nombre de possibilit´es (3 dans notre cas), mais pour une MdT donn´ee, ce nombre est born´e par une constante. Exercice 7.10 On dispose d’un ensemble P = {1, . . . , m} de pigeons et d’un ensemble N = {1, . . . , n} de nids. Le principe du nid de pigeon14 est le suivant : 1. Chaque pigeon a un nid. 2. Chaque nid a au plus un pigeon. D´ecrivez le principe par une formule du calcul propositionnel en CNF qui utilise comme formules atomiques oi,j pour i = 1, . . . , m et j = 1, . . . , n o`u la validit´e de oi,j repr´esente le fait que le pigeon i occupe le nid j. La formule en question doit ˆetre satisfiable si et seulement si m ≤ n. Quelle est la taille de la formule en fonction de m, n ? Remarque : si on prend m = n+1 on obtient une formule en CNF qui n’est pas satisfiable. Cette formule est utilis´ee souvent comme un test pour les m´ethodes de preuve (Davis-Putnam, r´esolution,. . .) Exercice 7.11 On dispose d’une grille 4 × 4 qui se d´ecompose en 4 sous-grilles 2 × 2. On d´enote par le couple (i, j), o`u i, j ∈ {1, 2, 3, 4}, les coordonn´ees d’une case de la grille. Chaque case de la grille contient un ensemble de nombres naturels contenu dans {1, 2, 3, 4}. On introduit 64 variables propositionnelles xi,j,k pour i, j, k ∈ {1, 2, 3, 4} avec l’interpr´etation suivante : xi,j,k est ‘vrai’ si et seulement si la case de coordonn´ees (i, j) contient le nombre k. 14Traduction approximative de pigeon principle. 45Soit A une formule qui utilise les variables xi,j,k et P une propri´et´e de la grille. On dit que A exprime P si, dans l’interpr´etation ci-dessus, A est satisfiable si et seulement si P est v´erifi´ee. Par exemple, par la formule A = x1,1,2 ∨ x1,1,3 on exprime la propri´et´e que la case de coordonn´ees (1, 1) contient ou bien 2 ou bien 3. 1. D´efinissez des formules en forme normale conjonctive qui expriment les propri´et´es suivantes : (a) La case de coordonn´ees (2, 2) contient au moins un num´ero compris entre 1 et 4. (b) On ne peut pas trouver deux cases sur la premi`ere ligne qui contiennent le num´ero 4. (c) La case (3, 2) contient au plus un num´ero. 2. Donnez une borne sup´erieure au nombre de litt´eraux contenus dans une formule en forme normale conjonctive qui exprime la propri´et´e suivante : il n’y a pas deux cases sur la mˆeme ligne, sur la mˆeme colonne ou sur la mˆeme sous-grille 2×2 qui contiennent le mˆeme num´ero. Expliquez votre calcul. Exercice 7.12 Pour n ≥ 1 on introduit n 2 variables propositionnelles xi,j avec 1 ≤ i, j ≤ n. (1) Construisez une formule An en forme normale conjonctive qui a la propri´et´e suivante : une affectation v satisfait An exactement quand il existe une permutation π : {1, . . . , n} → {1, . . . , n} telle que v(xi,j ) = 1 si et seulement si π(i) = j. Par exemple, pour n = 2 il n’y a que deux affectations qui peuvent satisfaire A2 `a savoir soit (v(x1,1) = v(x2,2) = 1 et v(x1,2) = v(x2,1) = 0) soit (v(x1,1) = v(x2,2) = 0 et v(x1,2) = v(x2,1) = 1). Ecrivez explicitement ´ An pour n = 3 et ensuite donnez le sch´ema de la formule An pour un n arbitraire. Suggestion : une permutation sur un ensemble fini X est la mˆeme chose qu’une fonction injective sur X. (2) Un graphe fini non-dirig´e G est un couple (N, E) o`u N = {1, . . . , n}, n ≥ 2 est un ensemble qui repr´esente les noeuds du graphe et E est un ensemble de sous-ensembles de N de cardinalit´e 2 qui repr´esente les arˆetes du graphe. On dit que G admet un circuit hamiltonien s’il existe une permutation π : {1, . . . , n} → {1, . . . , n} telle que {π(1), π(2)} ∈ E, . . . , {π(n − 1), π(n)} ∈ E Montrez que le probl`eme de savoir si un graphe admet un circuit hamiltonien a une r´eduction polynomiale au probl`eme de la satisfiabilit´e d’une formule en CNF du calcul propositionnel. Suggestion : on utilise la formule An de l’exercice 7.12 pour sp´ecifier l’existence d’une permutation et on ajoute des variables yi,j , i, j = 1, . . . , n, i 6= j pour sp´ecifier les arˆetes du graphe. Exercice 7.13 On dispose d’un ´echiquier (une matrice carr´ee) n × n. Une reine qui occupe une position de l’´echiquier peut attaquer toutes les positions sur la mˆeme ligne, la mˆeme colonne ou sur les diagonales inclin´ees de 45 d´egr´ees. On cherche `a placer r reines sur l’´echiquier de fa¸con `a ce qu’elles ne puissent pas s’attaquer mutuellement. A cette fin, ´ecrivez une formule en CNF qui est satisfiable si et seulement si le probl`eme a une solution. On utilisera des formules atomiques oi,j pour i = 1, . . . , m et j = 1, . . . , n o`u la validit´e de oi,j repr´esente le fait qu’une reine occupe la position (i, j). Remarque : la formule obtenue est aussi un test int´eressant pour les m´ethodes de preuve. Par exemple, pour n = r = 4 ou n = r = 8 le probl`eme a une solution. 46Exercice 7.14 Soit A une matrice et b un vecteur `a coefficients dans Z. Le probl`eme de programmation lin´eaire enti`ere (ILP pour integer linear programming) consiste `a d´eterminer s’il existe un vecteur ~x `a coefficients dans Nm tel que A~x = ~b. 15 Ce probl`eme est dans NP. On utilise des notions d’alg`ebre lin´eaire pour montrer que si le probl`eme a une solution alors il en a une dont la taille est polynomiale dans la taille de la matrice A. Ensuite on peut appliquer la m´ethode standard qui consiste `a deviner un vecteur ~x et `a v´erifier qu’il est une solution. A partir de ce fait, le but de l’exercice est de montrer que le probl`eme est NP-complet par r´eduction du probl`eme SAT. Il peut ˆetre utile de consid´erer d’abord les probl`emes suivants. – Montrez qu’en introduisant des variables auxiliaires on peut exprimer la satisfaction d’une contrainte d’in´egalit´e comme un probl`eme d’ILP. – Montrez qu’on peut exprimer la contrainte x ∈ {0, 1}. – Montrez qu’on peut exprimer la contrainte x = y o`u x, y ∈ {0, 1}, 0 = 1 et 1 = 0. – Montrez comment coder la validit´e d’une clause (disjonction de litt´eraux). Exercice 7.15 Soit G un graphe non-dirig´e (cf. exercice 8.6). Un k-clique est un ensemble de k noeuds de G qui ont la propri´et´e que chaque couple de noeuds est connect´ee par une arˆete. Le langage CLIQUE est compos´e de couples hG, ki o`u (i) G est le codage d’un graphe, (ii) k est un nombre naturel et (iii) G contient comme sous-graphe un k-clique. Le langage 3-SAT est compos´e de formules en forme normale conjonctive o`u chaque clause contient 3 litt´eraux. 1. Montrez que le langage CLIQUE est dans NP. 2. On souhaite construire une r´eduction polynomiale de 3-SAT `a CLIQUE. Si la formule A contient k clauses alors le graphe associ´e GA contient k groupes de noeuds o`u chaque groupe est compos´e de 3 noeuds et chaque noeud est ´etiquet´e par un litt´eral. Par exemple, si la clause est (x ∨ ¬y ∨ z) alors on aura un groupe de 3 noeuds ´etiquet´es avec x, ¬y et z. (a) D´ecrivez les arˆetes de GA de fa¸con `a ce que le graphe GA contienne une k-clique si et seulement si la formule A est satisfiable et dessinez le graphe GA dans le cas o`u A = (x ∨ y) ∧ (¬x ∨ ¬y) ∧ (¬x ∨ y) ∧ (x ∨ ¬y) (la formule en question comporte seulement deux litt´eraux par clause mais la construction du graphe GA s’applique aussi bien `a ce cas). (b) Quelle conclusion peut-on tirer de la construction pr´ec´edente ? Motivez votre r´eponse : i. Si 3-SAT est un probl`eme polynomiale d´eterministe alors CLIQUE est un probl`eme polynomiale d´eterministe. ii. CLIQUE est un probl`eme NP-complet. Exercice 7.16 Un graphe (non-dirig´e) G est compos´e d’un ensemble fini non-vide de noeuds N et d’un ensemble A d’arˆetes qui connectent les noeuds. Formellement, une arˆete est un ensemble {i, j} de noeuds de cardinalit´e 2. On dit que deux noeuds sont adjacents s’il y a une arˆete qui les connecte. 15Comme pour le probl`eme du voyageur de commerce, le probl`eme ILP est souvent formul´e comme un probl`eme d’optimisation. Par exemple, il s’agit de minimiser une fonction lin´eaire ~cT ~x sous les contraintes A~x = ~b et ~x ≥ 0. 47Probl`eme du coloriage Etant donn´e un graphe ´ G = (N, A) et un nombre naturel k ≥ 2 on d´etermine s’il existe une fonction c : N → {1, . . . , k} telle que si i, j sont deux noeuds adjacents alors c(i) 6= c(j). 16 Probl`eme de l’emploi du temps Etant donn´e (i) un ensemble d’´etudiants ´ E = {1, . . . , n} (n ≥ 2), (ii) un ensemble de cours C = {1, . . . , m} (m ≥ 2), (iii) un ensemble de plages horaires P = {1, . . . , p} (p ≥ 2) et (iv) une relations binaire R telle que (i, j) ∈ R si et seulement si l’´etudiant i suit le cours j on d´etermine s’il existe une fonction emploi du temps edt : C → P telle que si un ´etudiant suit deux cours diff´erents j 6= j 0 alors edt(j) 6= edt(j 0 ). D´emontrez ou donnez un contre-exemple aux assertions suivantes : 1. Le probl`eme de l’emploi du temps se r´eduit au probl`eme du coloriage. 2. Le probl`eme de l’emploi du temps se r´eduit en temps polynomial au probl`eme du coloriage. 3. Le probl`eme du coloriage est dans NP. Remarque 7.17 (1) On connaˆıt un bon millier de probl`emes NP-complets. Cependant, certains probl`emes comme l’isomorphisme de graphes (cf. exemple 6.14) r´esistent `a une classi- fication. A l’´etat de nos connaissances, il est possible que le probl`eme de l’isomorphisme de graphes soit ni NP-complet ni dans P. (2) La question de savoir s’il y a un langage dans NP qui n’est pas dans P est ouverte depuis 1971. C’est un probl`eme naturel de la th´eorie de la complexit´e et il est aussi le probl`eme le plus m´ediatis´e de l’informatique th´eorique. 17 (3) Une autre fa¸con de mesurer la complexit´e du calcul d’une MdT est de compter l’espace, c’est-`a-dire le nombre de cellules du ruban qu’elle utilise. La classe PSPACE (NPSPACE) est la classe des probl`emes qui peuvent ˆetre r´esolus par une MdT d´eterministe (non-d´eterministe) en utilisant un espace polynomial dans la taille de l’entr´ee. Il n’est pas tr`es difficile de montrer que PSPACE=NPSPACE. On en d´eduit imm´ediatement que P ⊆ NP ⊆ PSPACE mais on ne sait pas si une de ces inclusions est stricte. (4) Nombreuses autres classes de complexit´e ont ´et´e introduites. Par exemple : LOGSPACE, la classe des probl`emes qui peuvent ˆetre r´esolus en espace logarithmique (LOGSPACE ⊆ P) et EXPTIME, la classe des probl`emes qui peuvent ˆetre r´esolus en temps exponentiel (PSPACE ⊆ EXPTIME). 16On peut voir les valeurs {1, . . . , k} comme des couleurs qu’on affecte aux noeuds, d’o`u le nom du probl`eme. 17Le probl`eme P vs. NP est cit´e parmi les “7 probl`emes math´ematiques du troisi`eme mill´enaire” par la Clay Foundation `a cot´e de l’hypoth`ese de Riemann, la conjecture de Poincar´e, la r´esolution des ´equations de Navier-Stokes,. . . La preuve de la conjecture de Poincar´e a ´et´e annonc´ee r´ecemment, il ne reste donc que 6 probl`emes. . . 488 Preuves par induction On s’int´eresse d’abord aux d´efinitions inductives. Dans une d´efinition inductive on construit un ensemble ‘inductif’ par stratifications successives et on dispose d’un principe de r´ecurrence ainsi que d’un ordre implicite. Les ensembles librement engendr´es constituent un exemple remarquable d’ensemble inductif. Par ailleurs, on peut g´en´eraliser la notion d’ordre et arriver `a la notion d’ensemble bien fond´e. Les ensembles bien fond´es admettent un principe d’induction qui g´en´eralise le principe de r´ecurrence habituel. 8.1 Ensembles inductifs Soit A un ensemble, X ⊆ A un sous-ensemble, et F = {fi : Ani → A | i ∈ I} un ensemble d’op´erations sur A. A partir de (A, X, F) on voudrait d´efinir inductivement un ensemble Ind(A, X, F) comme le plus petit sous-ensemble de A qui contient X et qui est stable par rapport aux op´erations dans F, c’est-`a-dire pour tout i ∈ I si y1, . . . yni ∈ Y alors fi(y1, . . . , yni ) ∈ Y . Exemple 8.1 Soit Z l’ensemble des nombres entiers et suc et + les op´erations successeur et addition, respectivement. On pourrait d´efinir : (1) L’ensemble des nombres naturels comme le plus petit sous-ensemble de Z qui contient {0} et qui est stable par rapport `a l’op´eration de successeur. (2) L’ensemble des nombres pairs positifs comme le plus petit sous-ensemble de Z qui contient {0, 2} et qui est stable par rapport `a l’op´eration d’addition. Il n’est pas si ´evident qu’une d´efinition inductive d´efinit bien un ensemble. Il faut d’abord s’assurer que le plus petit ensemble dont parle la d´efinition existe. A partir de (A, X, F) on peut d´efinir une fonction F : 2A → 2 A comme suit : F(Z) = X ∪ {fi(z1, . . . , zni ) | i ∈ I, zj ∈ Z, j = 1, . . . , ni} On remarque que la condition F(Z) ⊆ Z est satisfaite si et seulement si X ⊆ Z et Z est stable par rapport aux op´erations dans F. Maintenant consid´erons l’intersection de tous les ensembles Z ⊆ A qui satisfont cette condition : Y = \ {Z ⊆ A | F(Z) ⊆ Z} . (5) Proposition 8.2 Le plus petit ensemble Ind(A, X, F) existe et est ´egale `a Y. Idee de la preuve ´ . Par d´efinition, si F(Z) ⊆ Z alors Y ⊆ Z. Pour s’assurer de l’existence du plus petit ensemble tel que. . . il reste `a d´emontrer que F(Y ) ⊆ Y . D’abord on observe que F est monotone, c’est-`a-dire : X1 ⊆ X2 ⇒ F(X1) ⊆ F(X2) Si F(Z) ⊆ Z par d´efinition de Y on d´erive que Y ⊆ Z et par monotonie que F(Y ) ⊆ F(Z). Donc F(Y ) ⊆ \ {F(Z) | Z ⊆ A, F(Z) ⊆ Z} ⊆ \ {Z | Z ⊆ A, F(Z) ⊆ Z} = Y . • Si F(Z) = Z on dit que Z est un point fixe de F. 49Proposition 8.3 (it´eration) (1) L’ensemble Y d´efini par l’´equation (5) est le plus petit point fixe de F. (2) De plus on peut donner une d´efinition it´erative de Y . Si on d´efinit, F 0 = ∅ Fn+1 = F(F n ) F ω = [ n≥0 F n alors F n ⊆ Fn+1 et F ω = Y . Idee de la preuve ´ . (1) On sait F(Y ) ⊆ Y . Par monotonie, F(F(Y )) ⊆ F(Y ). Par d´efinition de Y , Y ⊆ F(Y ). (2) On observe, F n ⊆ Y implique par monotonie F n+1 ⊆ F(Y ) ⊆ Y . Donc F ω ⊆ Y . Ensuite, on v´erifie que F(F ω ) ⊆ Fω , ce qui implique Y ⊆ Fω . • Proposition 8.4 Tout ensemble Y d´efini inductivement `a partir de (A, X, F) admet le principe d’induction suivant : Z ⊆ Y, F(Z) ⊆ Z Z = Y (6) Si on explicite le principe dans le cas des nombres naturels N, on obtient le principe de r´ecurrence habituel : Z ⊆ N, 0 ∈ Z, ∀ n n ∈ Z → n + 1 ∈ Z Z = N (7) Exercice 8.5 (transitivit´e) Soit R une relation binaire sur un ensemble. Sa clˆoture r´eflexive et transitive R∗ est la plus petite relation qui contient la relation identit´e, la relation R et telle que si (x, y),(y, z) ∈ R∗ alors (x, z) ∈ R∗ . Montrez que R∗ peut ˆetre vu comme un ensemble d´efini inductivement. Exercice 8.6 Un graphe non-dirig´e G est compos´e d’un ensemble fini non-vide de noeuds N et d’un ensemble A d’arˆetes qui connectent les noeuds. Formellement, une arˆete est un ensemble {i, j} de noeuds de cardinalit´e 2. Le degr´e d’un noeud i dans un graphe est le nombre d’arˆetes qui le contiennent. Par exemple, un noeud isol´e a degr´e 0. D´emontrez en utilisant le principe de r´ecurrence l’assertion suivante : Chaque graphe avec au moins 2 noeuds contient 2 noeuds avec le mˆeme degr´e. 8.2 Treillis complets et points fixes Un ordre partiel (L, ≤) est un ensemble L ´equip´e d’une relation r´eflexive, anti-sym´etrique et transitive. Soit X ⊆ L (´eventuellement vide). Un ´el´ement y ∈ L est une borne sup´erieure pour X si ∀ x ∈ X x ≤ y. Un ´el´ement y ∈ L est le sup de X s’il est la plus petite borne sup´erieure. De fa¸con duale, on d´efinit la notion de borne inf´erieure et de inf. D´efinition 8.7 Un treillis complet est un ordre partiel (L, ≤) tel que tout sous-ensemble a un sup. D´efinition 8.8 Une fonction monotone f sur un ordre partiel L est une fonction qui respecte l’ordre. On dit que x est point fixe de f si f(x) = x. 50Proposition 8.9 (Tarski) (1) Les parties d’un ensemble ordonn´ees par inclusion forment un treillis complet. (2) Tout sous-ensemble d’un treillis complet a un inf. (3) Toute fonction monotone sur un treillis complet a un plus grand et un plus petit point fixe qui s’expriment respectivement par sup{x | x ≤ f(x)} et inf {x | f(x) ≤ x}. Idee de la preuve ´ . (1) Le sup est l’union et l’inf est l’intersection d’ensembles. (2) Soit X ⊆ L et BI(X) l’ensemble des bornes inf´erieures de X. On consid`ere z = sup(BI(X)) et on montre que z = inf (X). (3) On pose z = sup{x | x ≤ f(x)}. Si f(y) = y alors y ≤ z. Donc il reste `a montrer que z est un point fixe. On montre d’abord que z ≤ sup{f(x) | x ≤ f(x)} ≤ f(z). Ensuite par monotonie, f(z) ≤ f(f(z)) et par d´efinition de z on arrive `a f(z) ≤ z. • Exercice 8.10 Soit (N∪{∞}, ≤) l’ensemble des nombres naturels avec un ´el´ement maximum ∞, 0 < 1 < 2 < . . . < ∞. Montrez que toute fonction monotone f sur cet ordre admet un point fixe, c’est-`a-dire un ´el´ement x tel que f(x) = x. 8.3 Ensembles librement engendr´es Nous allons consid´erer une forme particuli`erement importante de d´efinition inductive. Soit L un ensemble de symboles `, `0 , . . . avec arit´e ar (`) ∈ N. On peut d´efinir un ensemble T(L) par : T(L)0 = {` ∈ L | ar (`) = 0} T(L)n+1 = T(L)n ∪ {(`, t1, . . . , tn) | ` ∈ L, ar (`) = n, ti ∈ T(L)n, i = 1, . . . , n} T(L) = S n≥0 T(L)n On peut voir les ´el´ements de T(L) comme des arbres finis ordonn´es dont les noeuds sont ´etiquet´es par des symboles dans L de fa¸con compatible avec leur arit´e. Maintenant, on peut associer `a chaque symbole ` ∈ L une fonction `a ar (`) arguments sur T(L) qui est d´efinie par : `(t1, . . . , tn) = (`, t1, . . . , tn) (8) Supposons maintenant X ⊆ {` ∈ L | ar (`) = 0} et Σ ⊆ L avec X ∩ Σ = ∅. On peut d´efinir un ensemble inductif Y = Ind(T(L), X, Σ) qui est compos´e d’arbres finis dans T(L) qui utilisent uniquement les symboles dans X ∪Σ comme ´etiquettes. On dit que l’ensemble Y est librement engendr´e `a partir de X et Σ. Exemple 8.11 L’ensemble des formules du calcul propositionnel peut ˆetre vu comme librement engendr´e `a partir d’un ensemble V de symboles de ‘variables’ d’arit´e 0 et de symboles ‘fonctionnels’ Σ = {¬,∧,∨} o`u ar (¬) = 1 et ar (∧) = ar (∨) = 2. En d’autres termes, Form = Ind(T(L), V, Σ) On peut donc formuler un principe d’induction pour les formules du calcul propositionnel qui s’´enonce de la fa¸con suivante : F ⊆ Form V ⊆ F (A, B ∈ F implique ¬A, A ∧ B, A ∨ B ∈ F) F = Form 51et qui correspond `a l’intuition que Form est le plus petit ensemble tel que. . . 18 Exercice 8.12 On consid`ere l’ensemble de symboles fonctionnels Σ = {, a, b} o`u ar () = 0 et ar (a) = ar (b) = 1. Calculez l’ensemble librement engendr´e associ´e `a Σ. Cet ensemble est-il isomorphe `a un ensemble d´ej`a consid´er´e dans le cours ? 8.4 Ensembles bien fond´es Dans un ensemble inductif on peut d´efinir le rang d’un ´el´ement comme rang(y) = min{n | y ∈ Fn } Ainsi on peut voir un ensemble inductif comme un ensemble stratifi´e (ou ordonn´e) en niveaux 0, 1, 2, . . . On peut imaginer des ensembles avec une structure d’ordre diff´erente. Par exemple, consid´erons N∪ {∞} avec ∞ > n si n ∈ N. Clairement, le principe de r´ecurrence (7) n’est pas valide dans cet ensemble car mˆeme si un ensemble Z contient 0 et est stable par successeur il n’est pas forcement ´egal `a N ∪ {∞}. On va donc consid´erer un principe d’induction plus g´en´eral qui s’applique aussi `a des structures comme N ∪ {∞}. D´efinition 8.13 (ensemble bien fond´e) Un ensemble bien fond´e est un couple (W, >) o`u (1) W est un ensemble, (2) >⊆ W × W est une relation transitive et (3) il n’existe pas de s´equence infinie w0 > w1 > w2 > · · · dans W. 19 Exemple 8.14 L’ensemble des nombres naturels avec l’ordre usuel est bien fond´e. L’ensemble des nombres entiers ou l’ensemble des nombres rationnels positifs ne le sont pas. L’ensemble N ∪ {∞} est bien fond´e. Exemple 8.15 L’ensemble des formules du calcul propositionnel ordonn´ees selon leur taille est bien fond´e. Exercice 8.16 Soient N l’ensemble des nombres naturels, Nk le produit cart´esien N×· · ·×N k fois et A = S {Nk | k ≥ 1}. Soit < une relation binaire sur A telle que : (x1, . . . , xn) < (y1, . . . , ym) ssi il existe k ≤ min(n, m) (x1 = y1, . . . , xk−1 = yk−1, xk < yk) Est-il vrai que < est un ordre bien fond´e ? Donner soit une preuve soit un contre-exemple. Si x ∈ W on d´enote par ↓ (x) l’ensemble {y | x > y} des ´el´ements strictement plus petits que x. D´efinition 8.17 (principe d’induction) Soit (W, >) un ordre bien fond´e et Z ⊆ W. Chaque ordre bien fond´e admet le principe de raisonnement par induction suivant : ∀x(↓ (x) ⊆ Z → x ∈ Z) Z = W (9) 18Si on est p´edant on devrait ´ecrire (¬, A), (∧, A, B) et (∨, A, B). 19Il en suit que > est un ordre strict, c’est-`a-dire pour tout w ∈ W, w 6> w. 52Par exemple, consid´erons W = N∪ {∞}. Maintenant on ne peut pas appliquer le principe `a Z = N car ↓ (∞) ⊆ N mais ∞ ∈/ N. Il est instructif d’expliciter le principe quand W est l’ensemble des nombres naturels avec l’ordre standard >. Dans ce cas la condition ↓ (x) ⊆ Z s’exprime aussi par : ∀ y < x y ∈ Z. Donc pour montrer que Z = N il suffit de montrer : ∀ x ∀ y < x y ∈ Z → x ∈ Z c’est-`a-dire : pour tout nombre x, il faut montrer que le fait que les ´el´ements plus petits que x sont dans Z implique que x est dans Z aussi. On peut reformuler cette condition par : (indN) 0 ∈ Z ∀ x > 0 ((∀ y < x y ∈ Z) → x ∈ Z) Z = N La condition est alors tr`es proche du principe de r´ecurrence standard : (recN) 0 ∈ Z ∀ x > 0 (x − 1 ∈ Z → x ∈ Z) Z = N En effet on peut montrer que les deux principes sont ´equivalents. Le principe d’induction (9) et la notion de bonne fondation sont deux faces de la mˆeme m´edaille. Th´eor`eme 8.18 Soit (W, >) un ordre. (W, >) est bien fond´e si et seulement si le principe d’induction (9) est valide. Idee de la preuve ´ . (⇒) Supposons que le principe (9) ne soit pas valide. Donc il y a un ensemble Z tel que ∀x(↓ (x) ⊆ Z → x ∈ Z) mais x0 ∈/ Z. Mais alors il doit exister x1 ∈↓ (x0) tel que x1 ∈/ Z. Par le mˆeme argument on trouve x2 ∈↓ (x1) tel que x2 ∈/ Z. Donc on trouve une s´equence infinie x0 > x1 > x2 > · · · dans W ce qui contredit l’hypoth`ese de bonne fondation. (⇐) Soit Z = {x | il n’y a pas de suite descendante infinie `a partir de x} L’ensemble Z satisfait la condition ∀x(↓ (x) ⊆ Z → x ∈ Z) ainsi par le principe d’induction (9), Z = W et donc W est bien fond´e. • 539 M´ethodes de terminaison Un probl`eme fondamental en informatique consiste `a d´emontrer la terminaison d’un programme ou d’un syst`eme de r´eduction. D´efinition 9.1 (syst`eme de r´eduction) Un syst`eme de r´eduction est un couple (A,→) o`u A est un ensemble et →⊆ A × A. Exemple 9.2 Un automate fini M = (Σ, Q, q0, F, δ) o`u δ : Σ × Q → 2 Q, d´efinit un syst`eme de r´eduction sur l’ensemble des configurations (Σ∗ × Q×) par (w, q) → (w 0 , q0 ) si w = aw0 et q 0 ∈ δ(q, a). Exemple 9.3 Le comportement d’un programme peut ˆetre d´efini par un syst`eme de r´eduction. Par exemple, consid´erons un langage imp´eratif ´el´ementaire compos´e de :20 Variables v ::= x | y | · · · Expressions e ::= v | t | f | · · · Programmes P ::= skip | v := e | if e then P else P | while e do P | P; P Une m´emoire µ est une fonction qui affecte `a chaque variable une valeur (dans notre cas, true, false, . . .). Maintenant, le comportement d’un programme peut ˆetre d´efini par un syst`eme de r´eduction sur les couples (P, µ). D’abord on d´efinit la valeur [[e]]µ d’une expression e dans une m´emoire µ : 21 [[x]]µ = µ(x), [[t]]µ = true, [[f]]µ = false, · · · Ensuite, on donne des r`egles pour ´evaluer un couple (P, µ). (x := e, µ) → (skip, µ[[[e]]µ/x]) (if e then P else Q, µ) → (Q, µ) si [[e]]µ = false (if e then P else Q, µ) → (P, µ) si [[e]]µ = true (while e do P, µ) → (skip, µ) si [[e]]µ = false (while e do P, µ) → (P; (while e do P), µ) si [[e]]µ = true (skip; P, µ) → (P, µ) (P; Q, µ) → (P 0 ; Q, µ0 ) si (P, µ) → (P 0 , µ0 ) Remarque 9.4 La d´efinition de la relation → est aussi de nature inductive. Soit Prog l’ensemble des programmes et Mem l’ensemble des m´emoires. La relation → est le plus petit ensemble contenu dans (Prog × Mem) 2 qui contient les couples ((P, µ),(P 0 , µ0 )) qui satisfont une des premi`ere 6 conditions (r`egles) et qui est stable par rapport `a une famille de fonctions {fQ | Q ∈ Prog} d´efinie par fQ((P, µ),(P 0 , µ0 )) = ((P; Q, µ),(P 0 ; Q, µ0 )). D´efinition 9.5 (terminaison) Un syst`eme de r´e´ecriture (X, →) termine s’il n’existe pas de suite infinie x0 → x1 → x2 → · · ·. 20On pr´esente ici la grammaire selon la notation BNF (Backus-Naur Form). Comme dans le cas des formules du calcul propositionnel, on pourrait voir les programmes comme les ´el´ements d’un ensemble librement engendr´e. 21On remarquera l’analogie avec l’interpr´etation d’une formule du calcul propositionnel par rapport `a une affectation. 54Soit →+ la clˆoture transitive de la relation →, `a savoir : →1=→ →n+1= (→) ◦ (→n ) →+= [ n≥1 →n Il y a une relation naturelle entre terminaison et ordres bien fond´es. D´efinition 9.6 (plongement monotone) Soit (X, →) un syst`eme de r´e´ecriture et (W, >) un ordre bien fond´e. X admet un plongement monotone dans W s’il existe une fonction µ : X → W telle que x → y implique µ(x) > µ(y). Th´eor`eme 9.7 Soit X = (X, →) un syst`eme de r´e´ecriture. Les assertions suivantes sont ´equivalentes : (1) X termine. (2) (X, →+) est bien fond´e. (3) X admet un plongement monotone dans un ordre bien fond´e. Idee de la preuve ´ . (1) ⇒ (2) Si (X, →+) n’est pas bien fond´e, on a une s´equence x0 →+ x1 →+ x2 →+ · · ·. Donc (X, →) ne termine pas. (2) ⇒ (3) Il suffit de prendre comme ordre bien fond´e (X, →+) et comme plongement l’identit´e. (3) ⇒ (2) Si (X, →) ne termine pas on a une s´equence x0 → x1 → · · · ce qui induit une s´equence µ(x0) > µ(x1) > · · · dans l’ordre bien fond´e. • D´efinition 9.8 Soit (X, →) un syst`eme de r´e´ecriture. (1) L’ensemble des successeurs imm´ediats d’un ´el´ement x ∈ X est d´efini par : suc(x) = {y | x → y} (2) L’ensemble des successeurs d’un ´el´ement x ∈ X est d´efini par : suc+(x) = {y | x →+ y} (3) On dit que le syst`eme est `a branchement fini si pour tout x ∈ X, suc(x) est fini. Proposition 9.9 Soit X = (X, →) un syst`eme de r´e´ecriture `a branchement fini. (1) Si X termine alors pour tout x, suc+(x) est fini. (2) X termine si et seulement si il admet un plongement dans N. Idee de la preuve ´ . (1) Si suc+(x0) est infini alors il existe x1 ∈ suc(x0) tel que suc+(x1) est infini donc il existe x2 ∈ suc(x1) tel que suc+(x2) . . . On obtient ainsi une s´equence x0 → x1 → x2 → · · · qui contredit l’hypoth`ese que le syst`eme termine. (2) (⇐) Par le th´eor`eme 9.7. (⇒) On peut d´efinir µ(x) = ]suc+(x). Alternativement, on peut d´efinir µ(x) comme la longueur de la plus longue s´equence de r´eduction qui commence avec x. Dans les deux cas on v´erifie que si x → y alors µ(x) > µ(y). • 55Exercice 9.10 On consid`ere des programmes imp´eratifs while dont les variables prennent comme valeurs des nombres naturels. Montrez que le programme suivant termine o`u l’on sait que le test Φ termine et n’a pas d’effet de bord (c’est-`a-dire que l’´evaluation du test n’affecte pas la valeur associ´ee aux variables) : while u > l + 1 do (r := (u + l) div 2; if Φ then u := r else l := r) 9.1 Confluence, terminaison et forme normale Soit (X, →) un syst`eme de r´e´ecriture. Soit ∗→ la clˆoture r´eflexive et transitive de →, `a savoir ∗→=→+ ∪Id o`u Id est la relation identit´e. D´efinition 9.11 On dit que le syst`eme est confluent si pour tout x ∈ X x ∗→ y1 et x ∗→ y2 implique ∃ z (y1 ∗→ z et y2 ∗→ z) (10) On dit que le syst`eme est localement confluent si pour tout x ∈ X x → y1 et x → y2 implique ∃ z y1 ∗→ z et y2 ∗→ z On dit que y est une forme normale de x si x ∗→ y et ¬∃ z y → z. Proposition 9.12 (Newman) Soit X = (X, →) un syst`eme de r´e´ecriture. (1) Si X est confluent alors il est localement confluent. (2) Si X termine et est localement confluent alors il est confluent. (3) Si X est confluent alors chaque ´el´ement a au plus une forme normale. (4) Si X termine et est localement confluent alors chaque ´el´ement a exactement une forme normale. Idee de la preuve ´ . (1) Par d´efinition. (2) On montre que tout ´el´ement x est confluent. Si x → x1 ∗→ y1 et x → x2 ∗→ y2, par confluence locale x1 ∗→ y et x2 ∗→ y. Par hypoth`ese inductive x1 et x2 sont confluents et ceci implique que x est confluent aussi. (3) Si x ∗→ y1 et x ∗→ y2 et y1, y2 sont des formes normales alors y1 = y2 car autrement on contredit la confluence. (4) Par (2) si le syst`eme est localement confluent alors il est confluent et donc si x ∗→ x1, x2 et x1, x2 sont des formes normales alors x1 = x2. • Exercice 9.13 Soit ({a, b, c, d},→) un syst`eme de r´e´ecriture o`u →= {(c, a),(c, d),(d, c),(d, b)}. Dire si : le syst`eme termine, est localement confluent, est confluent. 569.2 Ordre lexicographique Il y a des syst`emes de r´e´ecriture qui ne sont pas `a branchement fini et dont la terminaison ne peut pas ˆetre d´emontr´ee par un plongement dans N. Exemple 9.14 On consid`ere le syst`eme de r´e´ecriture (N × N,→) o`u (i + 1, j) → (i, k) (i, j + 1) → (i, j) pour i, j, k ∈ N Ce syst`eme n’est pas `a branchement fini `a cause de la premi`ere r`egle et il n’admet pas de plongement monotone dans N. Si µ : N × N → N est monotone, on devrait avoir : k = µ(1, 1) > µ(0, k) > µ(0, k − 1) > · · · > µ(0, 0) mais on a seulement k nombres naturels sous k alors que la chaˆıne qu’on vient de construire a longueur k + 1. Cependant, on peut montrer sa terminaison par plongement dans un ordre lexicographique que nous allons construire dans la suite. D´efinition 9.15 Soient (A, >A) et (B, >B) deux ordres stricts. L’ordre lexicographique >l sur A × B est d´efini par : (x, y) >l (x 0 , y0 ) si x >A x 0 ou (x = x 0 et y >B y 0 ) Th´eor`eme 9.16 (1) L’ordre lexicographique de deux ordres stricts est encore un ordre strict. (2) L’ordre lexicographique de deux ordres bien fond´es est encore bien fond´e. Idee de la preuve ´ . (1) Il est imm´ediat que (x, y) 6>l (x, y). Supposons (x1, y1) >l (x2, y2) et (x2, y2) >l (x3, y3). • Si x1 > x2 alors x1 > x3 donc (x1, y1) >l (x3, y3). • Si x1 = x2 alors y1 > y2. Si x2 > x3 alors (x1, y1) >l (x3, y3). Si par contre x2 = x3 alors y2 > y3 et donc (x1, y1) >l (x3, y3). (2) Par contradiction. Supposons (x0, y0) >l (x1, y1) >l · · · Ceci implique x0 ≥ x1 ≥ · · · Comme A est bien fond´e il existe i tel que xj = xi pour j ≥ i. Mais ceci implique yi > yi+1 > yi+2 > · · · ce qui est impossible si B est bien fond´e. • Exercice 9.17 (1) Montrez que le syst`eme dans l’exemple 9.14 termine. (2) Montrez que le syst`eme (N × N,→) o`u (i, j + 1) → (i, j) et (i + 1, j) → (i, i) termine. (3) Trouvez (s’il existe) un plongement monotone du syst`eme pr´ec´edent dans (N, >). (4) Utilisez le principe d’induction pour d´emontrer l’existence d’une fonction (r´ecursive) a : N × N → N telle que : a(0, n) = n + 1 a(m + 1, 0) = a(m, 1) a(m + 1, n + 1) = a(m, a(m + 1, n)) 57(5) Calculez `a l’aide d’un programme autant de valeurs a(n, n) que possible. (6) On ´etend l’ordre lexicographique `a un produit A = A1 × · · · × An, n ≥ 3, d’ordres bien fond´es (Ai , >i) : (x1, . . . , xn) > (y1, . . . , yn) si ∃ k ≤ n (x1 = y1, . . . , xk−1 = yk−1 et xk >k yk) Montrez que (A, >) est bien fond´e. Exercice 9.18 Soit A = {a, b, c} ∗ l’ensemble des mots finis sur l’alphabet {a, b, c}. Soit → une relation binaire sur A∗ telle que : w → w 0 ssi (w = w1aaw2 et w 0 = w1bcw2) ou (w = w1bbw2 et w 0 = w1acw2) ou (w = w1cccw2 et w 0 = w1acw2) Donc w se r´eduit `a w 0 si w 0 est obtenu de w en rempla¸cant ou bien un sous-mot aa par bc, ou bien un sous-mot bb par ac ou bien un sous-mot ccc par ac. Construisez un plongement monotone dans un ordre bien fond´e qui montre la terminaison de ce syst`eme de r´eduction. Suggestion : on peut commencer par remarquer que la derni`ere r`egle diminue le nombre de caract`eres. Exercice 9.19 Soit A = {0, 1} ∗ l’ensemble des mots finis sur l’alphabet {0, 1}. Si w est un mot on d´enote par |w| sa longueur. Soit → une relation binaire sur A telle que : w → w 0 ssi ∃ w1, w2 ∈ A (w = w101w2 et w 0 = w1100w2) En d’autres termes, un pas de r´e´ecriture revient `a remplacer un sous-mot 01 par le mot 100. 1. Trouvez deux fonctions fi : N → N, i = 0, 1 sur les nombres naturels N = {0, 1, 2, 3, . . .} telles que : A Si n > n0 alors fi(n) > fi(n 0 ) pour i = 0, 1. B Pour tout n, f1(f0(n)) > f0(f0(f1(n))). 2. On d´efinit une fonction µ : A → N par µ() = 0, µ(wi) = fi(µ(w)) pour i = 0, 1 Montrez que µ est un plongement monotone du syst`eme de r´e´ecriture (A,→) dans l’ordre bien fond´e (N, >). Suggestion Montrez par r´ecurrence sur |w2| que µ(w101w2) > µ(w1100w2). 3. Supposons que : w0 → w1 → · · · → wn et |w0| = m. En d’autres termes, il y a n pas de r´eduction `a partir d’un mot de longueur m. (a) Utilisez le plongement monotone µ pour donner une borne sup´erieure `a n en fonction de m. (b) D´emontrez ou donnez un contre-exemple `a l’assertion suivante : n ≤ 2m3+4m+3. 58Exercice 9.20 (ordre produit) Soient (Ai , >i) pour i = 1, . . . , n des ordres bien fond´es. On d´efinit une relation > sur le produit cart´esien A1 × · · · × An par (a1, . . . , an) > (a 0 1 , . . . , a0 n ) si ai ≥i a 0 i , i = 1, . . . , n et ∃ i ∈ {1, . . . , n} ai >i a 0 i (1) La relation > est-elle un ordre bien fond´e ? (2) Comparez la relation > `a l’ordre lexicographique sur le produit d´efini dans l’exercice 9.17. Exercice 9.21 Consid´erons les programmes while : while m 6= n do if m > n then m := m − n else n := n − m while m 6= n do if m > n then m := m − n else h := m; m := n; n := h Dire si les programmes terminent quand les variables varient sur les nombres naturels positifs. Exercice 9.22 Soit A = {a, b} ∗ l’ensemble des mots finis sur l’alphabet {a, b}. Soit → une relation binaire sur A telle que : w → w 0 ssi w = w1abw2 et w 0 = w1bbaw2 Donc w se r´eduit `a w 0 si w 0 est obtenu de w en rempla¸cant un sous-mot ab avec bba. Montrez ou invalidez les assertions suivantes (il est conseill´e de s’appuyer sur les r´esultats d´emontr´es dans le cours) : 1. Le syst`eme de r´eduction (A,→) est `a branchement fini. 2. Le syst`eme termine. 3. Le syst`eme est localement confluent. 4. Le syst`eme est confluent. 9.3 Lemme de K¨onig Soit N l’ensemble des nombres naturels et N∗ l’ensemble des mots finis de nombres naturels. On va repr´esenter un arbre comme l’ensemble des chemins possibles dans l’arbre. Formellement, on dit qu’un arbre D est un sous-ensemble de N∗ qui satisfait les conditions suivantes : (1) Si w ∈ D et w 0 est un pr´efixe de w (c’est-`a-dire ∃ w 00 w = w 0w 00) alors w 0 ∈ D. (2) Si wi ∈ D et j < i alors wj ∈ D. On peut ainsi repr´esenter des arbres infinis avec un nombre d´enombrable de noeuds et mˆeme des arbres avec des noeuds qui ont un nombre d´enombrable de fils. On dit qu’un arbre est `a branchement fini si chaque noeud a un nombre fini de fils. Remarque 9.23 Parfois il est commode d’ajouter des symboles L sur les noeuds d’un arbre. Dans ce cas on d´efinit un arbre ´etiquet´e comme une fonction partielle t : N∗ * L dont le domaine de d´efinition est un arbre. 59Lemme 9.24 (K¨onig) Tout arbre `a branchement fini qui comporte un nombre infini de noeuds admet un chemin infini. Idee de la preuve ´ . On utilise le mˆeme argument mentionn´e dans la preuve de la proposition 9.9(1). Soit π = i1 · · ·ik ∈ D un chemin tel que le sous-arbre de racine π est infini. Comme D est `a branchement fini il existe un ik+1 tel que πik+1 ∈ D et le sous-arbre de racine πik+1 est infini. En continuant ainsi on peut construire un chemin infini dans D. • 9.4 Ordre sur les mots On donne un premier exemple d’application du lemme de K¨onig. Soit (Σ, >) un ensemble bien fond´e. Soit Σ∗ l’ensemble des mots finis sur Σ. On ´ecrit w  w 0 si on peut obtenir w 0 de w en rempla¸cant un caract`ere a ∈ Σ par un mot w 00 tel que tous les caract`eres dans w 00 sont plus petits que a dans la relation >. Par exemple, si a > b > c alors on obtient aab  abcbcb en rempla¸cant le deuxi`eme caract`ere a par bcbc. (1) On remarque que  n’est pas transitive. Par exemple, aab()()bac mais aab 6 bac. Soit donc + la clˆoture transitive de . (2) Ajoutons `a l’alphabet Σ un caract`ere > qui domine tous les autres et un caract`ere ⊥ qui est domin´e par tous les autres. Maintenant, toute suite w0  w1  w2  · · · peut ˆetre r´e´ecrite comme >  w0  w1  w2  · · · en ajoutant > au d´ebut de la suite. Aussi, en supposant l’ordre alphab´etique sur Σ, la suite bc  defc  defg  dhifg  difg se r´e´ecrit en >  bc  defc  defg  dhifg  d⊥ifg . Ainsi le caract`ere h qui est remplac´e par le mot vide dans la premi`ere suite est remplac´e par ⊥ dans la deuxi`eme. (3) On remarquera que le d´eveloppement se repr´esente ais´ement par un arbre ´etiquet´e. En effet on a ajout´e le caract`ere > pour commencer le calcul `a la racine d’un arbre et le caract`ere ⊥ pour couvrir le cas o`u un caract`ere est remplac´e par le mot vide. A partir de cette repr´esentation il est facile de voir que l’ordre + est bien fond´e. Il suffit de montrer que la relation  n’admet pas de suite descendante infinie. Si une telle suite existait, il serait possible de lui associer un arbre comme on vient de le voir. Or cet arbre est `a branchement fini car un caract`ere est remplac´e par un nombre fini de caract`eres. Par K¨onig, l’arbre en question doit comporter un chemin infini. Mais dans ce chemin on devrait trouver une suite infinie de caract`eres a > b > c > · · · ce qui contredit l’hypoth`ese. Exercice 9.25 Soit N∗ l’ensemble des mots finis sur les nombres naturels avec l’ordre habituel. Montrez la terminaison du syst`eme : u(i + 1)v → uiiv pour u, v ∈ N∗ 609.5 Ordre sur les multi-ensembles Un multi-ensemble est un ensemble dont les ´el´ements peuvent apparaˆıtre avec une certaine multiplicit´e. D´efinition 9.26 Un multi-ensemble M sur un ensemble A est une fonction M : A → N. Un multi-ensemble est fini si {x | M(x) 6= 0} est fini. On utilise la notation {| |} pour les multi-ensembles. Par exemple, {|a, b, a|} est le multiensemble compos´e de deux occurrences de a et une de b. Certaines notations, op´erations et relations disponibles sur les ensembles peuvent s’adapter aux multi-ensembles. Par exemple : x ∈ M si M(x) > 0 M ⊆ N si ∀ x ∈ A M(x) ≤ N(x) (M ∪ N)(x) = M(x) + N(x) (M\N)(x) = M(x) . − N(x) o`u n . − m = n − m si n − m ≥ 0 et 0 autrement. Si A est un ensemble on d´enote avec M(A) l’ensemble des multi-ensembles finis sur A. Remarque 9.27 Un multi-ensemble fini sur A peut ˆetre repr´esent´e par un mot fini sur A. Cette repr´esentation est unique si l’on suppose que l’op´eration de concat´enation est commutative. D´efinition 9.28 Soient (A, >) un ordre strict et M, N ∈ M(A). On ´ecrit : M >M(A) N s’ils existent X, Y ∈ M(A) tels que X 6= ∅, X ⊆ M, N = (M\X) ∪ Y et ∀ y ∈ Y ∃ x ∈ X x > y. Par exemple, si A = N avec l’ordre usuel alors {|5, 3, 1, 1|} >M(N) {|4, 3, 3, 1|}. Pour v´erifier l’in´egalit´e on peut choisir X = {|5, 1|} et Y = {|4, 3|} mais on peut aussi choisir X = {|5, 3, 3, 1|} et Y = {|4, 3, 3, 1|}. Proposition 9.29 Si > est un ordre strict sur A alors >M(A) est un ordre strict sur M(A). Idee de la preuve ´ . Il faut v´erifier X 6>M(A) X et que >M(A) est transitif. La deuxi`eme propri´et´e demande un peu de travail. Supposons que : X ∪ {|x1, . . . , xm|} >M(A) X ∪ {|y1, . . . , yn|} = X0 ∪ {|w1, . . . , wp|} >M(A) X0 ∪ {|z1, . . . zq|} On peut d´ecomposer X en X1 ∪ X2 et {|y1, . . . , yn|} en Y1 ∪ Y2 pour que X0 = X1 ∪ Y1 et {|w1, . . . , wp|} = X2 ∪ Y2. Donc on obtient X1 ∪ X2 ∪ {|x1, . . . , xm|} >M(A) X1 ∪ X2 ∪ Y1 ∪ Y2 >M(A) X1 ∪ Y1 ∪ {|z1, . . . , zq|} Maintenant il suffit de v´erifier que chaque ´el´ement dans Y1 ∪ {|z1, . . . , zq|} est domin´e par un ´el´ement dans X2 ∪ {|x1, . . . , xm|}. • Exercice 9.30 On ´ecrit X >1 Y si Y est obtenu de X en rempla¸cant un ´el´ement de X par un multi-ensemble d’´el´ements strictement plus petits. Montrez que : (1) la relation >1 n’est pas transitive (mˆeme si > est total) et (2) la clˆoture transitive de >1 est ´egale `a >M(A) . 61Proposition 9.31 L’ordre (A, >) est bien fond´e si et seulement si l’ordre (M(A), >M(A) ) est bien fond´e. Idee de la preuve ´ . (⇐) Si a0 > a1 > · · · est une suite d´ecroissante dans A alors {|a0|} >M(A) {|a1|} >M(A) . . . en est une dans M(A). (⇒) Il suffit de montrer que >1 est bien fond´e. L’argument est similaire `a celui utilis´e pour l’ordre sur les mots et il fait aussi appel au lemme de K¨onig. • Exercice 9.32 Soit N∗ les mots finis de nombres naturels. Montrez la terminaison du syst`eme : u(i + 1)v → iviui pour u, v ∈ N∗ 62A TD : Calcul propositionnel 1 (m´ethode de Davis Putnam) La m´ethode de Davis Putnam permet de d´ecider si une formule en forme normale conjonctive est satisfiable. On repr´esente une formule A en CNF comme un ensemble (´eventuellement vide) de clauses {C1, . . . , Cn} et une clause C comme un ensemble (´eventuellement vide) de litt´eraux. Dans cette repr´esentation, on d´efinit la substitution [b/x]A d’une valeur bool´eenne b ∈ {0, 1} dans A comme suit : [b/x]A = {[b/x]C | C ∈ A et [b/x]C 6= 1} [b/x]C =    1 si (b = 1 et x ∈ C) ou (b = 0 et ¬x ∈ C) C\{`} si (b = 1 et ` = ¬x ∈ C) ou (b = 0 et ` = x ∈ C) C autrement On d´efinit une fonction DP qui agit r´ecursivement sur une formule A en CNF dans la repr´esentation d´ecrite ci-dessus : function DP(A) = case (1) A = ∅ : true (2) ∅ ∈ A false (3) {x,¬x} ⊆ C ∈ A : DP(A\{C}) (4) {x} ∈ A : DP([1/x]A) (5) {¬x} ∈ A : DP([0/x]A) (6) else : choisir x dans A; DP([0/x]A) or DP([1/x]A) Dans (1), nous avons une conjonction du vide qui par convention est ´equivalente `a true. Dans (2), A contient une clause vide. La disjonction du vide ´etant ´equivalente `a false, la formule A est aussi ´equivalente `a false. Dans (3), une clause contient un litt´eral et sa n´egation et elle est donc ´equivalente `a true. Dans (4) et (5), A contient une clause qui est constitu´ee uniquement d’une variable ou de sa n´egation. Ceci permet de connaˆıtre la valeur de la variable dans toute affectation susceptible de satisfaire la formule. Dans (6), nous consid´erons les deux valeurs possibles d’une affectation d’une variable. Exercice A.1 Appliquez DP aux formules {{x,¬y}, {¬x, y}} et {{x, y}, {¬x, y}, {x,¬y}, {¬x,¬y}}. Exercice A.2 (1) Montrez que si A est une fonction en CNF alors la fonction DP termine. (2) Montrez que DP(A) retourne true (false) si et seulement si A est satisfiable (ne l’est pas). Exercice A.3 Fait : toute formule peut ˆetre transform´ee en CNF. Expliquez comment utiliser la m´ethode de Davis-Putnam pour d´ecider la validit´e d’une formule. Exercice A.4 Modifiez la fonction DP pour que, si la formule A est satisfiable, elle retourne une affectation v qui satisfait A. Exercice∗ A.5 R´efl´echissez aux structures de donn´ees et aux op´erations n´ecessaires `a la mise en oeuvre de l’algorithme en Java. 63B TD : Calcul Propositionnel 2 (´equivalence et d´efinissabilit´e) Exercice B.1 Montrez les ´equivalences logiques : (A ∨ 0) ≡ A, (A ∨ 1) ≡ 1, (A ∨ B) ≡ (B ∨ A), ((A ∨ B) ∨ C) ≡ (A ∨ (B ∨ C)), (A ∨ A) ≡ A (A ∧ 0) ≡ 0, (A ∧ 1) ≡ A, (A ∧ B) ≡ (B ∧ A), ((A ∧ B) ∧ C) ≡ (A ∧ (B ∧ C)), (A ∧ A) ≡ A, (A ∧ B) ∨ C ≡ (A ∨ C) ∧ (B ∨ C), (A ∨ B) ∧ C ≡ (A ∧ C) ∨ (B ∧ C), ¬¬A ≡ A, ¬(A ∨ B) ≡ ((¬A) ∧ (¬B)), ¬(A ∧ B) ≡ ((¬A) ∨ (¬B)) . Exercice B.2 (1) Montrez l’´equivalence logique : (A ∧ B) ∨ (¬A ∧ B) ≡ B (11) (2) On peut appliquer cette ´equivalence logique pour simplifier une forme normale disjonctive. Par exemple, consid´erez la fonction f(x, y, z) d´efinie par le tableau de v´erit´e : x\yz 00 01 11 10 0 0 1 1 0 1 1 1 1 1 Calculez la forme normale disjonctive de f et essayez de la simplifier en utilisant l’´equivalence logique (11). (3) La pr´esentation du tableau de v´erit´e n’est pas arbitraire. . . Proposez une m´ethode graphique pour calculer une forme normale disjonctive simplifi´ee. Exercice B.3 Soit f une fonction sur les nombres naturels. Dire qu’un probl`eme est d´ecid´e en O(f), signifie qu’on dispose d’un algorithme A et de n0, k nombres naturels tels que pour toute entr´ee dont la taille n est sup´erieure `a n0, le temps de calcul de A sur l’entr´ee en question est inf´erieure `a k · f(n). (1) Montrez que la satisfaction d’une formule en DNF et la validit´e d’une formule en CNF peuvent ˆetre d´ecid´ees en O(n). (2) Soit pair (x1, . . . , xn) = (Σi=1,...,nxi) mod 2 la fonction qui calcule la parit´e d’un vecteur de bits. Montrez que la repr´esentation en DNF ou CNF de cette fonction est en O(2n ). Peut-on appliquer l’´equivalence logique (11) pour simplifier la repr´esentation ? Exercice B.4 (if-then-else) La fonction ternaire ITE est d´efinie par ITE(1, x, y) = x et ITE(0, x, y) = y. Montrez que toute fonction f : 2 n → 2, n ≥ 0 s’exprime par composition de la fonction ITE et des (fonctions) constantes 0 et 1. Exercice B.5 L’or exclusif ⊕ (xor) est d´efini par A ⊕ B ≡ (A ∧ ¬B) ∨ (¬A ∧ B). Montrez que : (1) ⊕ est associatif et commutatif. (2) x ⊕ 0 ≡ x et x ⊕ x ≡ 0. (3) Toute fonction bool´eenne f : 2 n → 2 peut ˆetre repr´esent´ee `a partir de 1, ∧ et ⊕. 64Exercice B.6 (nand,nor) Les fonctions binaires NAND et NOR sont d´efinies par NAND(x, y) = NOT(AND(x, y)) et NOR(x, y) = NOT(OR(x, y)). Montrez que toute fonction f : 2 n → 2, n ≥ 0, s’exprime comme composition de la fonction NAND (ou de la fonction NOR). Montrez que les 4 fonctions unaires possibles n’ont pas cette propri´et´e et que que parmi les 16 fonctions binaires possibles il n’y en a pas d’autres qui ont cette propri´et´e. 65C TD : Calcul Propositionnel 3 (clauses de Horn et circuits combinatoires) Exercice C.1 Une clause de (Alfred) Horn est une clause (c’est-`a-dire une disjonction de litt´eraux) qui contient au plus un litt´eral positif. Une formule de Horn est une formule en CNF dont les clauses sont des clauses de Horn. (1) Montrez que toute formule de Horn est ´equivalente `a la conjonction (´eventuellement vide) de clauses de Horn de la forme : (1) x (2) ¬x1 ∨ · · · ∨ ¬xn (3) ¬x1 ∨ · · · ∨ ¬xn ∨ xn+1 o`u n ≥ 1 et xi 6= xj si i 6= j. Dans ce cas on dit que la formule de Horn est r´eduite. (2) Montrez qu’une formule de Horn r´eduite qui ne contient pas de clauses de la forme (1) ou qui ne contient pas de clauses de la forme (2) est satisfiable. (3) Donnez une m´ethode efficace (temps polynomial) pour d´eterminer si une formule de Horn est satisfiable. Exercice C.2 Un d´ecodeur est un circuit avec n entr´ees xn−1, . . . , x0 et 2 n sorties y2n−1, . . . , y0 tel que yi = 1 ssi i = (xn−1 · · · x0)2 R´ealisez un tel circuit. Exercice C.3 Un additionneur est un circuit bool´een avec 2n entr´ees xn−1, yn−1, . . . , x0, y0 et n + 1 sorties rn, sn−1, . . . , s0 tel que (xn−1 · · · x0)2 + (yn−1 · · · y0)2 = (rnsn−1 · · · s0)2 On peut r´ealiser un additionneur en utilisant l’algorithme standard qui propage la retenue de droite `a gauche. (1) R´ealisez un circuit A avec 3 entr´ees x, y, r et deux sorties s, r0 tel que (r 0 s)2 = (x)2 + (y)2 + (r)2 (2) Expliquez comment inter-connecter n circuits A pour obtenir un additionneur sur n bits. (3) Montrez que dans le circuit en question le nombre de portes et la longueur du chemin le plus long sont proportionnels `a n. Exercice∗ C.4 Le but de cet exercice est de r´ealiser un additionneur dont le nombre de portes est encore polynomiale en n mais dont la longueur du chemin le plus long est proportionnelle `a lg(n). Pour ´eviter que la retenue se propage `a travers tout le circuit, l’id´ee est d’anticiper sa valeur. Ainsi pour additionner 2 vecteurs de longueur n, on additionne les premiers n/2 bits (ceux de poids faible) et en mˆeme temps on additionne les derniers n/2 bits (ceux de poids fort) deux fois (en parall`ele) une fois avec retenue initiale 0 et une fois avec retenue initiale 1. On applique cette m´ethode r´ecursivement sur les sous-vecteurs de longueur n/4, n/8, . . . selon le principe diviser pour r´egner. (1) Construisez explicitement un tel circuit pour n = 4. (2) D´eterminez en fonction de n le nombre de portes et la longueur du chemin le plus long du circuit obtenu. 66D TD : Syst`eme de preuve de Gentzen et compacit´e Rappel : voici le syst`eme de preuve de Gentzen. (Ax ) A, Γ ` A, ∆ (∧ `) A, B, Γ ` ∆ A ∧ B, Γ ` ∆ (` ∧) Γ ` A, ∆ Γ ` B, ∆ Γ ` A ∧ B, ∆ (∨ `) A, Γ ` ∆ B, Γ ` ∆ A ∨ B, Γ ` ∆ (` ∨) Γ ` A, B, ∆ Γ ` A ∨ B, ∆ (¬ `) Γ ` A, ∆ ¬A, Γ ` ∆ (` ¬) A, Γ ` ∆ Γ ` ¬A, ∆ Exercice D.1 Montrez que : (1) Un s´equent A, Γ ` A, ∆ est valide. (2) Pour chaque r`egle d’inf´erence la conclusion est valide si et seulement si les hypoth`eses sont valides. Exercice D.2 (sous-formule) Montrez que si un s´equent est d´erivable alors il y a une preuve du s´equent qui contient seulement des sous formules de formules dans le s´equent. Exercice∗ D.3 (affaiblissement) Montrez que si le s´equent Γ ` ∆ est d´erivable alors le s´equent Γ ` A, ∆ l’est aussi. Exercice D.4 (implication) Dans le syst`eme de Gentzen on peut donner un traitement direct de l’implication : (→`) Γ ` A, ∆ B, Γ ` ∆ A → B, Γ ` ∆ (`→) Γ, A ` B, ∆ Γ ` A → B, ∆ D´emontrez la correction et compl´etude du syst`eme de Gentzen ´etendu avec ces r`egles. Exercice D.5 Montrez que les r`egles pour la disjonction et l’implication sont d´erivables des r`egles pour la conjonction et la n´egation en utilisant les ´equivalences : A ∨ B ≡ ¬(¬A ∧ ¬B) et A → B ≡ ¬A ∨ B. Exercice D.6 (coupure) La r`egle de coupure (ou cut) est : (coupure) A, Γ ` ∆ Γ ` A, ∆ Γ ` ∆ Montrez que le syst`eme de Gentzen ´etendu avec cette r`egle est toujours correct (et complet). Exercice D.7 Soit T un ensemble de formules. On ´ecrit T |= A si pour toute affectation v, si v satisfait T alors v satisfait A. Montrez que si T |= A alors il existe T0 sous-ensemble fini de T tel que T0 |= A. Suggestion : utilisez le th´eor`eme de compacit´e. 67E TD : R´esolution Exercice E.1 Montrez que la r`egle d’inf´erence suivante est valide : A ∨ ¬C B ∨ C A ∨ B (12) Exercice E.2 Pour repr´esenter les formules en CNF on adopte la mˆeme notation ensembliste utilis´ee pour d´ecrire la m´ethode de Davis-Putnam. – Une clause C est un ensemble de litt´eraux. – Une formule A est un ensemble de clauses. Nous consid´erons la r`egle : A ∪ {C ∪ {x}} ∪ {C 0 ∪ {¬x}} x /∈ C ¬x /∈ C 0 A ∪ {C ∪ {x}} ∪ {C 0 ∪ {¬x}} ∪ {C ∪ C 0} (13) Dans la suite on appelle (13) r`egle de r´esolution. 22 L’effet de l’application de la r`egle consiste `a ajouter une nouvelle clause C ∪ C 0 qu’on appelle r´esolvant des deux clauses C ∪ {x} et C 0 ∪ {¬x}. (1) Montrez que l’hypoth`ese est logiquement ´equivalente `a la conclusion. (2) Conclure que si la conclusion n’est pas satisfiable alors l’hypoth`ese n’est pas satisfiable. En particulier, si la conclusion contient la clause vide alors l’hypoth`ese n’est pas satisfiable. Fait Si une formule A en CNF n’est pas satisfiable alors la r`egle de r´esolution permet de d´eriver une formule A0 avec une clause vide. On dit que la r`egle de r´esolution est compl`ete pour la r´efutation, c’est-`a-dire pour la d´erivation de la clause vide. La m´ethode peut ˆetre impl´ement´ee it´erativement. A chaque it´eration on ajoute toutes les clauses qui sont un r´esolvant de deux clauses. Cette it´eration termine forcement car le nombre de clauses qu’on peut construire est fini. Parfois, il convient de repr´esenter la d´erivation comme un graphe dirig´e acyclique (ou DAG pour directed acyclic graph) dont les noeuds sont ´etiquet´es par les clauses. Initialement on a autant de noeuds que de clauses et pas d’arˆetes. Chaque fois qu’on applique la r`egle de r´esolution (13) on introduit un nouveau noeud qui est ´etiquet´e avec la clause r´esolvant C ∪ C 0 et deux nouvelles arˆetes qui vont des noeuds ´etiquet´es avec les clauses C ∪ {x} et C 0 ∪ {¬x} vers le noeud ´etiquet´e avec la clause C ∪ C 0 . Exercice E.3 Soit A une formule en CNF et C une clause. Expliquez comment utiliser la m´ethode de r´esolution pour ´etablir si l’implication A → C est valide. Exercice E.4 Construire la formule A en CNF qui correspond au principe du nid de pigeon avec 2 pigeons et 1 nid. Appliquez la r`egle de r´esolution. Mˆeme probl`eme avec 2 pigeons et 2 nids. Exercice E.5 Soit A une formule en CNF avec m variables et n clauses. Montrez qu’il y a au plus m · (n · (n − 1)/2) fa¸cons d’appliquer la r`egle de r´esolution. Exercice E.6 Un exercice de r´evision. On consid`ere les formules en CNF suivantes : 22Sans les conditions x /∈ C et ¬x /∈ C 0 on pourrait par exemple ‘simplifier’ les clauses {x} et {¬x} en {x,¬x}. 681. ¬x ∨ (¬y ∨ x) 2. (x ∨ y ∨ ¬z) ∧ (x ∨ y ∨ z) ∧ (x ∨ ¬y) ∧ ¬x. 3. (x ∨ y) ∧ (z ∨ w) ∧ (¬x ∨ ¬z) ∧ (¬y ∨ ¬w). Pour chaque formule : 1. Si la formule est valide calculez une preuve de la formule dans le syst`eme de Gentzen. 2. Si la formule est satisfiable mais pas valide calculez une affectation qui satisfait la formule en utilisant la m´ethode de Davis-Putnam. 3. Si la formule n’est pas satisfiable d´erivez la clause vide en utilisant la m´ethode par r´esolution. 69F TD : Langages formels et automates finis Exercice F.1 Montrez que pour tout langage L, L ∗ = (L ∗ ) ∗ . Exercice F.2 Montrez qu’il existe des langages L1 et L2 tels que (L1 ∪ L2) ∗ 6= L ∗ 1 ∪ L ∗ 2 . Exercice F.3 Montrez qu’il existe des langages L1 et L2 tels que (L1 · L2) ∗ 6= L ∗ 1 · L ∗ 2 . Exercice F.4 Pour chacun des langages suivants, construire un automate fini non d´eterministe qui l’accepte : 1. Les repr´esentations binaires des nombres pairs. 2. Le langage des mots sur l’alphabet {a, b} contenant ou bien la chaˆıne aab ou bien la chaˆıne aaab. 3. Le langage des mots sur l’alphabet {0, 1} dont le troisi`eme caract`ere de droite existe et est ´egale `a 1. Construire des automates d´eterministes pour les langages d´ecrits ci-dessus. Exercice∗ F.5 Soient M un AFD qui accepte un langage L et N1, N2 deux AFN qui acceptent les langages L1, L2, respectivement (sur un alphabet Σ fix´e). 1. Montrez qu’on peut construire un AFD qui accepte le langage compl´ementaire Σ ∗\L. 2. Montrez qu’on peut construire un AFN qui accepte le langage L1 ∪L2 et le langage it´er´e (L1) ∗ . 3. Conclure que la classe des langages accept´es par un AFD est stable par union, intersection, compl´ementaire et it´eration. 70G TD : Calculabilit´e 1 (machines de Turing et ´enum´erations) Exercice G.1 Donnez la description formelle d’une MdT qui d´ecide le langage {w]w | w ∈ {0, 1} ∗}. Exercice G.2 Donnez la description formelle d’une MdT qui d´ecide le langage des mots sur l’alphabet {0} dont la longueur est une puissance de 2 : 2 0 , 2 1 , 2 2 , . . . Exercice G.3 D´ecrivez informellement une MdT qui d´ecide le langage : {a i b j c k | i · j = k et i, j, k ≥ 1} . Exercice G.4 Soit Σ = {0, 1} et suc : Σ∗ → Σ ∗ la fonction ‘successeur’ en base 2 telle que : (suc(w))2 = (w)2 + 1 Montrez que suc est r´ecursive. Exercice G.5 On peut ´enum´erer les couples de nombres naturels en proc´edant ‘par diagonales’ : (0, 0), (1, 0),(0, 1), (2, 0),(1, 1),(0, 2), (3, 0). . . Montrez que la fonction hm, ni = (m + n)(m + n + 1)/2 + n est une bijection entre N × N et N. D´ecrire un algorithme pour calculer la fonction inverse. Exercice G.6 On d´efinit les fonctions h ik : Nk → N pour k ≥ 2 : hm, ni2 = hm, ni hn1, . . . , nkik = hhn1, . . . , nk−1ik−1, nki si k ≥ 3 Montrez que les fonctions h ik sont des bijections. 71H TD : Calculabilit´e 2 (´enum´erations et ind´ecidabilit´e) Exercice H.1 On consid`ere l’ensemble N∗ des mots finis de nombres naturels. Notez que N∗ est en correspondance bijective avec S k≥0 Nk . D´efinissez une bijection entre N∗ et N. Exercice H.2 Soit Σ = {a, b, . . . , z} un alphabet fini. On peut ´enum´erer les ´el´ements de Σ ∗ comme suit : , a, b, . . . , z, aa, . . . , az, ba, . . . , bz, za, . . . , zz, aaa, . . . Si Σ contient k ´el´ements on aura k 0 mots de longueur 0, k mots de longueur 1, k 2 mots de longueur 2, . . . D´efinissez une bijection entre Σ ∗ et N. Exercice∗ H.3 (1) Montrez qu’un langage est semi-d´ecidable si et seulement si il est le domaine de d´efinition d’une fonction partielle r´ecursive. (2) On dit qu’un langage L ⊆ Σ ∗ est r´ecursivement ´enum´erable s’il est l’image d’une fonction partielle r´ecursive. Montrez qu’un langage L est r´ecursivement ´enum´erable si et seulement si il est semi-d´ecidable. Suggestion : Soit M une MdT et w0, w1, w2, . . . une suite d’entr´ees. On peut simuler M sur w0 pour 0 pas, sur w0 pour 1 pas, sur w1 pour 0 pas, sur w0 pour 2 pas, sur w1 pour 1 pas, sur w2 pour 0 pas,. . . Exercice∗ H.4 (1) Montrez que les langages accept´es par un AFN sont d´ecidables. (2) Montrez que la collection des langages d´ecidables est stable par rapport aux op´erations d’union, compl´ementaire, concat´enation et it´eration. (3) Montrez que la collection des langages semi-d´ecidables est stable par rapport aux op´erations d’union et concat´enation. Suggestion : utilisez le non-d´eterminisme. Exercice H.5 Montrez ou invalidez les assertions suivantes : 1. Il y a une MdT qui accepte les mots sur l’alphabet {0, 1} qui contiennent autant de 0 que de 1 (si la MdT existe, il suffira d’en donner une description informelle). 2. Rappel : si A et B sont deux langages, on ´ecrit A ≤ B s’il existe une r´eduction de A `a B. Si A est semi-d´ecidable et A ≤ Ac alors A est d´ecidable. 3. L’ensemble des (codages de) MdT qui reconnaissent un langage fini est d´ecidable. Exercice H.6 Montrez ou donnez un contre-exemple aux assertions suivantes : 1. L’ensemble des (codages de) MdT qui terminent sur le mot vide est d´ecidable. 2. L’ensemble des (codages de) MdT qui divergent sur le mot vide est semi-d´ecidable. 3. L’ensemble des (codages de) MdT qui terminent sur le mot vide en 10100 pas de calcul est d´ecidable. 72I TD : Complexit´e (r´eductions polynomiales) Exercice I.1 Un graphe (non-dirig´e) G est compos´e d’un ensemble fini non-vide de noeuds N et d’un ensemble A d’arˆetes qui connectent les noeuds. Formellement, une arˆete est un ensemble {i, j} de noeuds de cardinalit´e 2. On dit que deux noeuds sont adjacents s’il y a une arˆete qui les connecte. Probl`eme du coloriage Etant donn´e un graphe ´ G = (N, A) et un nombre naturel k ≥ 2 on d´etermine s’il existe une fonction c : N → {1, . . . , k} telle que si i, j sont deux noeuds adjacents alors c(i) 6= c(j). 23 Probl`eme de l’emploi du temps Etant donn´e (i) un ensemble d’´etudiants ´ E = {1, . . . , n} (n ≥ 2), (ii) un ensemble de cours C = {1, . . . , m} (m ≥ 2), (iii) un ensemble de plages horaires P = {1, . . . , p} (p ≥ 2) et (iv) une relations binaire R telle que (i, j) ∈ R si et seulement si l’´etudiant i suit le cours j on d´etermine s’il existe une fonction emploi du temps edt : C → P telle que si un ´etudiant suit deux cours diff´erents j 6= j 0 alors edt(j) 6= edt(j 0 ). D´emontrez ou donnez un contre-exemple aux assertions suivantes : 1. Le probl`eme de l’emploi du temps se r´eduit au probl`eme du coloriage. 2. Le probl`eme de l’emploi du temps se r´eduit en temps polynomial au probl`eme du coloriage. 3. Le probl`eme du coloriage est dans NP. Exercice I.2 Soit G un graphe non-dirig´e (cf. exercice I.1). Un k-clique est un ensemble de k noeuds de G qui ont la propri´et´e que chaque couple de noeuds est connect´ee par une arˆete. Le langage CLIQUE est compos´e de couples hG, ki o`u (i) G est le codage d’un graphe, (ii) k est un nombre naturel et (iii) G contient comme sous-graphe un k-clique. Le langage 3-SAT est compos´e de formules en forme normale conjonctive o`u chaque clause contient 3 litt´eraux. 1. Montrez que le langage CLIQUE est dans NP. 2. On souhaite construire une r´eduction polynomiale de 3-SAT `a CLIQUE. Si la formule A contient k clauses alors le graphe associ´e GA contient k groupes de noeuds o`u chaque groupe est compos´e de 3 noeuds et chaque noeud est ´etiquet´e par un litt´eral. Par exemple, si la clause est (x ∨ ¬y ∨ z) alors on aura un groupe de 3 noeuds ´etiquet´es avec x, ¬y et z. (a) D´ecrivez les arˆetes de GA de fa¸con `a ce que le graphe GA contienne une k-clique si et seulement si la formule A est satisfiable et dessinez le graphe GA dans le cas o`u A = (x ∨ y) ∧ (¬x ∨ ¬y) ∧ (¬x ∨ y) ∧ (x ∨ ¬y) (la formule en question comporte seulement deux litt´eraux par clause mais la construction du graphe GA s’applique aussi bien `a ce cas). (b) Quelle conclusion peut-on tirer de la construction pr´ec´edente ? Motivez votre r´eponse : 23On peut voir les valeurs {1, . . . , k} comme des couleurs qu’on affecte aux noeuds, d’o`u le nom du probl`eme. 73i. Si 3-SAT est un probl`eme polynomiale d´eterministe alors CLIQUE est un probl`eme polynomiale d´eterministe. ii. CLIQUE est un probl`eme NP-complet. Exercice I.3 Soit A une matrice et b un vecteur `a coefficients dans Z. Le probl`eme de programmation lin´eaire enti`ere (ILP pour integer linear programming) consiste `a d´eterminer s’il existe un vecteur ~x `a coefficients dans Nm tel que A~x = ~b. 24 Ce probl`eme est dans NP. On utilise des notions d’alg`ebre lin´eaire pour montrer que si le probl`eme a une solution alors il en a une dont la taille est polynomiale dans la taille de la matrice A. Ensuite on peut appliquer la m´ethode standard qui consiste `a deviner un vecteur ~x et `a v´erifier qu’il est une solution. A partir de ce fait, le but de l’exercice est de montrer que le probl`eme est NP-complet par r´eduction du probl`eme SAT. Il peut ˆetre utile de consid´erer d’abord les probl`emes suivants. – Montrez qu’en introduisant des variables auxiliaires on peut exprimer la satisfaction d’une contrainte d’in´egalit´e comme un probl`eme d’ILP. – Montrez qu’on peut exprimer la contrainte x ∈ {0, 1}. – Montrez qu’on peut exprimer la contrainte x = y o`u x, y ∈ {0, 1}, 0 = 1 et 1 = 0. – Montrez comment coder la validit´e d’une clause (disjonction de litt´eraux). 24Comme pour le probl`eme du voyageur de commerce, le probl`eme ILP est souvent formul´e comme un probl`eme d’optimisation. Par exemple, il s’agit de minimiser une fonction lin´eaire ~cT ~x sous les contraintes A~x = ~b et ~x ≥ 0. 74J TD : Preuves par induction Exercice J.1 (transitivit´e) Soit R une relation binaire sur un ensemble. Sa clˆoture r´eflexive et transitive R∗ est la plus petite relation qui contient la relation identit´e, la relation R et telle que si (x, y),(y, z) ∈ R∗ alors (x, z) ∈ R∗ . Montrez que R∗ peut ˆetre vu comme un ensemble d´efini inductivement. Exercice J.2 Un graphe non-dirig´e G est compos´e d’un ensemble fini non-vide de noeuds N et d’un ensemble A d’arˆetes qui connectent les noeuds. Formellement, une arˆete est un ensemble {i, j} de noeuds de cardinalit´e 2. Le degr´e d’un noeud i dans un graphe est le nombre d’arˆetes qui le contiennent. Par exemple, un noeud isol´e a degr´e 0. D´emontrez en utilisant le principe de r´ecurrence l’assertion suivante : Chaque graphe avec au moins 2 noeuds contient 2 noeuds avec le mˆeme degr´e. Exercice J.3 Soit (N∪ {∞}, ≤) l’ensemble des nombres naturels avec un ´el´ement maximum ∞, 0 < 1 < 2 < . . . < ∞. Montrez que toute fonction monotone f sur cet ordre admet un point fixe, c’est-`a-dire un ´el´ement x tel que f(x) = x. Exercice J.4 On consid`ere l’ensemble de symboles fonctionnels Σ = {, a, b} o`u ar () = 0 et ar (a) = ar (b) = 1. Calculez l’ensemble librement engendr´e associ´e `a Σ. Cet ensemble est-il isomorphe `a un ensemble d´ej`a consid´er´e dans le cours ? Exercice J.5 Soient N l’ensemble des nombres naturels, Nk le produit cart´esien N×· · ·×N k fois et A = S {Nk | k ≥ 1}. Soit < une relation binaire sur A telle que : (x1, . . . , xn) < (y1, . . . , ym) ssi il existe k ≤ min(n, m) (x1 = y1, . . . , xk−1 = yk−1, xk < yk) Est-il vrai que < est un ordre bien fond´e ? Donner soit une preuve soit un contre-exemple. 75K TD : Terminaison 1 Exercice K.1 On consid`ere des programmes imp´eratifs while dont les variables prennent comme valeurs des nombres naturels. Montrez que le programme suivant termine o`u l’on sait que le test Φ termine et n’a pas d’effet de bord (c’est-`a-dire que l’´evaluation du test n’affecte pas la valeur associ´ee aux variables) : while u > l + 1 do (r := (u + l) div 2; if Φ then u := r else l := r) Exercice K.2 Soit ({a, b, c, d},→) un syst`eme de r´e´ecriture o`u →= {(c, a),(c, d),(d, c),(d, b)}. Dire si le syst`eme termine, est localement confluent, est confluent. Exercice K.3 (1) Utilisez le principe d’induction pour d´emontrer la terminaison de la fonction r´ecursive a telle que : a(0, n) = n + 1 a(m + 1, 0) = a(m, 1) a(m + 1, n + 1) = a(m, a(m + 1, n)) (2) Calculez `a l’aide d’un programme autant de valeurs a(n, n) que possible. Exercice K.4 On ´etend l’ordre lexicographique `a un produit A = A1 × · · · × An, n ≥ 3, d’ordres bien fond´es (Ai , >i) : (x1, . . . , xn) > (y1, . . . , yn) si ∃ k ≤ n (x1 = y1, . . . , xk−1 = yk−1 et xk >k yk) Montrez que (A, >) est bien fond´e. Exercice K.5 (ordre produit) Soient (Ai , >i) pour i = 1, . . . , n des ordres bien fond´es. On d´efinit une relation > sur le produit cart´esien A1 × · · · × An par (a1, . . . , an) > (a 0 1 , . . . , a0 n ) si ai ≥i a 0 i , i = 1, . . . , n et ∃ i ∈ {1, . . . , n} ai >i a 0 i (1) La relation > est-elle un ordre bien fond´e ? (2) Comparez la relation > `a l’ordre lexicographique sur le produit d´efini dans l’exercice K.4. 76L TD : Terminaison 2 Exercice L.1 Consid´erons les programmes while : while m 6= n do if m > n then m := m − n else n := n − m while m 6= n do if m > n then m := m − n else h := m; m := n; n := h Dire si les programmes terminent quand les variables varient sur les nombres naturels positifs. Exercice L.2 Soit A = {a, b} ∗ l’ensemble des mots finis sur l’alphabet {a, b}. Soit → une relation binaire sur A telle que : w → w 0 ssi w = w1abw2 et w 0 = w1bbaw2 Donc w se r´eduit `a w 0 si w 0 est obtenu de w en rempla¸cant un sous-mot ab avec bba. Montrez ou invalidez les assertions suivantes (il est conseill´e de s’appuyer sur les r´esultats d´emontr´es dans le cours) : 1. Le syst`eme de r´eduction (A,→) est `a branchement fini. 2. Le syst`eme termine. 3. Le syst`eme est localement confluent. 4. Le syst`eme est confluent. Exercice∗ L.3 Soient X, Y ∈ M(A). On ´ecrit X >1 Y si Y est obtenu de X en rempla¸cant un ´el´ement de X par un multi-ensemble d’´el´ements strictement plus petits. Montrez que la clˆoture transitive de >1 est ´egale `a >M(A) . Exercice L.4 Soit N∗ les mots finis de nombres naturels. Montrez la terminaison du syst`eme : u(i + 1)v → iviui pour u, v ∈ N∗ 77M TP : M´ethode de Davis-Putnam M.1 Objectifs Le but de ce TP est d’implanter en langage Java la proc´edure de Davis-Putnam : vous devez r´ealiser un programme qui prend en entr´ee une formule A en forme normale conjonctive, puis d´ecide si cette formule est satisfiable et si c’est le cas, renvoie une interpr´etation qui satisfait A. Le programme que vous allez r´ealiser va lire les formules `a traiter dans un fichier. Ce fichier respecte un format particulier : le format DIMACS. Le choix des structures de donn´ees `a employer est de votre ressort. Il est fortement conseill´e de bien r´efl´echir `a l’int´egralit´e de l’algorithme avant d’impl´ementer les classes et les m´ethodes dont vous aurez besoin. M.2 D´efinitions Rappelons quelques d´efinitions : – un litt´eral est une variable propositionnelle x ou sa n´egation ¬x ; – une clause est une disjonction de litt´eraux ; – une clause est une tautologie si et seulement si elle contient une variable x et sa n´egation ¬x. – une clause est dite unitaire si elle contient exactement un litt´eral, – une formule en forme normale conjonctive est une conjonction de clauses, – une affectation v est une fonction partielle des variables aux valeurs bool´eennes. M.3 Format DIMACS (http ://www.satlib.org/Benchmarks/SAT/satformat.ps) Par exemple, la formule : (x1 ∨ x3 ∨ ¬x4) ∧ (x4) ∧ (x2 ∨ ¬x3) peut ˆetre cod´ee par : c Exemple fichier au format CNF p cnf 4 3 1 3 -4 0 4 0 2 -3 – la ligne c est une ligne commentaire, – la ligne p sp´ecifie qu’il s’agit d’une formule en CNF avec 4 variables et 3 clauses, – les lignes suivantes sp´ecifient les clauses. Le litt´eral xi est cod´e par i et le litt´eral ¬xi par −i o`u i ≥ 1 (et dans ce cas i ≤ 4), – les clauses peuvent ˆetre sur plusieurs lignes et elles sont s´epar´ees par 0. Dans la page du cours, nous fournissons les fonctions afficheDimacs et ecrisDimacs, qui sont un exemple de lecture et d’´ecriture de fichiers DIMACS. Vous pourrez vous baser sur ces exemples pour r´ealiser l’interface de votre programme. La r´ealisation de l’algorithme de Davis-Putnam exige la manipulation de formules, de clauses et d’affectations. Vous devrez donc d´efinir les classes correspondantes ainsi que les m´ethodes dont vous aurez besoin. Voici quelques m´ethodes de base (il s’agit de simples suggestions, certaines m´ethodes pourront ˆetre omises ou ajout´ees selon vos besoins). 78Classe formule : – un constructeur qui lit une formule CNF en format DIMACS et construit la formule correspondante, – vide qui teste si la formule est vide, – affiche qui ´ecrit une formule dans un fichier au format DIMACS, – verifie qui prend en argument une affectation et qui renvoie true si la formule est vraie dans cette affectation. Classe clause : – appartient qui prend en argument un litt´eral et qui renvoie true s’il apparaˆıt dans la clause, – unitaire qui renvoie true si la clause ne contient qu’un seul litt´eral, – vide qui renvoie true si la clause est vide, – verifie qui prend en argument une affectation, et qui renvoie true si la clause est vraie dans cette affectation. Classe affectation : – fixe qui prend en argument un litt´eral et un bool´een et qui ajoute le litt´eral `a l’affectation avec la valeur du bool´een, – valeur qui prend en argument un litt´eral et renvoie sa valeur dans l’affectation. M.4 Davis-Putnam La m´ethode de Davis-Putnam permet de d´ecider si une formule en forme normale conjonctive est satisfiable. On repr´esente une formule A en CNF comme un ensemble (´eventuellement vide) de clauses {C1, . . . , Cn} et une clause C comme un ensemble (´eventuellement vide) de litt´eraux. Dans cette repr´esentation, on d´efinit la substitution [b/x]A d’une valeur bool´eenne b dans A comme suit : [b/x]A = {[b/x]C | C ∈ A et [b/x]C 6= 1} [b/x]C =    1 si (b = 1 et x ∈ C) ou (b = 0 et ¬x ∈ C) C\{`} si (b = 1 et ` = ¬x ∈ C) ou (b = 0 et ` = x ∈ C) C autrement La m´ethode de Davis-Putnam fonctionne comme suit. Au d´epart, A est une formule CNF : – si A est vide, retourner true. – si A contient la clause vide, retourner false. – si A contient une clause C qui contient `a la fois les litt´eraux x et ¬x, appeler la fonction davis-putnam sur la formule A \ C. – si A contient une clause {x} (resp. {¬x}), appeler la fonction davis-putnam sur [1/x]A (resp. [0/x]A). – sinon, choisir une variable x dans A. Appliquer la proc´edure DP r´ecursivement sur [1/x]A et [0/x]A. Retourner true si l’un des r´esultats est true, retourner false sinon. Vous devrez d´efinir des m´ethodes pour chacune de ces op´erations. La derni`ere, en particulier, doit ˆetre trait´ee avec attention : si la premi`ere affectation choisie ´echoue, il faut pouvoir revenir `a l’´etat courant pour tester la deuxi`eme ; une forme de sauvegarde ou de duplication sera donc n´ecessaire. 79Exercice M.1 1- Programmez une m´ethode estSatisfiable qui d´ecide si la formule est satis- fiable en utilisant la proc´edure de Davis-Putnam 2- Modifiez la fonction estSatisfiable pour que si la formule est satisfiable, elle affiche une affectation v qui satisfait A. M.5 Test Il s’agit maintenant de tester la correction et l’efficacit´e de votre programme. – Il est facile de v´erifier si une formule A est satisfiable par une affectation v. Exercice M.2 Programmez une m´ethode permettant ce test. – Il est plus compliqu´e de v´erifier qu’une formule n’est pas satisfiable. Une possibilit´e est de g´en´erer de fa¸con al´eatoire un certain nombre d’affectations et de v´erifier qu’elles ne satisfont pas la formule. Exercice M.3 Programmez une m´ethode qui r´ealise ce test sur une centaine d’affectations prises au hasard. – Sur quelles formules tester votre programme ? Il est pratique de disposer d’un g´en´erateur de formules. Par exemple, on peut programmer une fonction G(n, m, p) qui g´en`ere une formule avec n clauses et m variables avec la propri´et´e que : – le litt´eral xj est pr´esent dans la clause Ci avec probabilit´e p/2 ; – le litt´eral ¬xj est pr´esent dans la clause Ci avec probabilit´e p/2 ; – les litt´eraux xj et ¬xj ne sont jamais pr´esents ensemble dans une clause Ci (et donc ils sont absents avec probabilit´e (1 − p)). Exercice M.4 Programmez une proc´edure qui prend les param`etres (n, m, p, k), g´en`ere k formules en utilisant la fonction G(n, m, p), applique la proc´edure DP pour d´eterminer la satisfiabilit´e et applique les m´ethodes d´evelopp´ees dans les exercices M.2 et M.3 pour v´erifier le r´esultat. M.6 Heuristique Le choix d’une variable x dans la derni`ere ´etape peut avoir beaucoup d’influence sur la rapidit´e de la proc´edure. Une heuristique possible est de choisir x de sorte que le nombre de clauses dans lesquelles x apparaˆıt multipli´e par le nombre de clauses dans lesquelles ¬x apparaˆıt est maximal, et de tester DP([1/x]A) d’abord s’il y a plus de clauses contenant x que de clauses contenant ¬x, et DP([0/x]A) sinon. Exercice M.5 1. Implanter cette strat´egie dans la fonction DP . Soit DPH la fonction obtenue. 2. Modifiez le code de la fonction DP et de la fonction DPH pour qu’elles retournent le nombre de fois que le pas de ‘choix’ DP([0/x]A) or DP([1/x]A) est ex´ecut´e. 3. Programmez une proc´edure qui prend les param`etres (n, m, p, k), g´en`ere k formules en utilisant la fonction G(n, m, p), applique les proc´edures DP et DPH aux formules, v´erifie 80qu’elles produisent le mˆeme r´esultat (satisfiable ou pas satisifiable) et pour chaque formule imprime le nombre de fois que le pas de ‘choix’ est ex´ecut´e par DP et DPH. M.7 Le principe du pigeonnier (pigeon principle) On dispose de m pigeons et de n nids. Le probl`eme P(m, n) a une solution si : – Chaque pigeon a un nid. – Chaque nid contient au plus un pigeon. Il est ´evident que le probl`eme n’a de solution que si m est inf´erieur ou ´egal `a n, mais la v´erification de ce fait par la m´ethode de Davis-Putnam peut s’av´erer tr`es coˆuteuse. On ´ecrit le probl`eme du pigeonnier en CNF de la fa¸con suivante : – On introduit les variables oi,j pour i ∈ [1..m], j ∈ [1..n]. On interpr`ete oi,j par le pigeon i occupe le nid j. – On introduit la CNF ^ i=1,...,m ( _ j=1,...,n oi,j ) qui exprime le fait que chaque pigeon doit se trouver dans un nid. – On introduit la CNF ^ j=1,...,n, i,k=1,...,m,i tar xvf sato4.2.tgz – compiler le programme en ex´ecutant dans le dossier de SATO la commande : > make Plus d’informations sont disponibles dans le fichier README `a la mˆeme adresse. Vous pouvez tester le solveur en utilisant par exemple le g´en´erateur programm´e dans le TP1 et comparer les performances avec votre impl´ementation de l’algorithme de DavisPutnam. N.3 Le jeu du Sudoku Le Sudoku est un puzzle en forme de grille. Le but du jeu est de remplir la grille avec des chiffres allant de 1 `a 9 en respectant certaines contraintes, quelques chiffres ´etant d´ej`a dispos´es dans la grille. La grille de jeu est un carr´e de neuf cases de cˆot´e, subdivis´e en autant de carr´es identiques, appel´es r´egions. 5 3 7 9 6 1 9 5 9 8 6 8 6 3 4 8 3 1 7 2 6 6 8 4 1 9 5 8 7 9 La r`egle du jeu est simple : chaque ligne, colonne et r´egion ne doit contenir qu’une seule fois tous les chiffres de 1 `a 9. Formul´e autrement, chacun de ces ensembles doit contenir tous les 82chiffres de 1 `a 9. L’entr´ee de votre programme est un fichier qui repr´esente la grille sous la forme d’une matrice 9×9. Lorsque le chiffre d’une case n’est pas d´efini, on note 0. Ainsi l’exemple pr´ec´edent est repr´esent´e dans ce fichier sous la forme : 835 3 0 0 7 0 9 0 0 6 0 0 1 9 5 0 0 0 0 9 8 0 0 0 0 6 0 8 0 0 0 6 0 0 0 3 4 0 0 8 0 3 0 0 1 7 0 0 0 2 0 0 0 6 0 6 0 0 0 0 0 8 0 0 0 0 4 1 9 0 0 5 0 0 0 0 8 0 0 7 9 N.4 Interface La principale tˆache `a effectuer est l’interfa¸cage entre le Sudoku et SATO. Dans une premier temps on doit traduire le probl`eme du Sudoku vers un probl`eme de satisfiabilit´e. Puis on doit transformer une affectation qui satisfait la formule g´en´er´ee en une solution du Sudoku. Notez qu’en Java, on ne peut faire d’appel syst`eme, il faudra donc ex´ecuter le programme final `a l’aide d’un script de la forme : java Sudoku2SAT fic entree ./sato fic dimacs > fic sol java SAT2Sudoku fic sol O`u fic entree est le fichier qui repr´esente la grille d’entr´ee, fic dimacs est la traduction du probl`eme en format DIMACS produit par le programme Sudoku2SAT et SAT2Sudoku traduit l’affectation retourn´ee par SATO en solution du probl`eme initial. Le but du TP est de programmer Sudoku2SAT et SAT2Sudoku. N.5 Sudoku → SATO Pour chaque case (x, y) de la grille (ligne x et colonne y) et chaque valeur z ∈ [1..9] on introduit une variable propositionnelle sxyz. Le probl`eme du Sudoku peut ˆetre traduit vers une formule CNF de la fa¸con suivante : – Tout d’abord on veut que chaque case (x, y) contienne au moins un chiffre entre 1 9. Par exemple, pour la case (1, 1) la clause g´en´er´ee sera : s111 ∨ s112 ∨ s113 ∨ . . . ∨ s119. – Ensuite, chaque chiffre de 1 `a 9 apparaˆıt au plus une fois dans chaque ligne. Par exemple, le fait que le chiffre 1 apparaˆıt au plus une fois dans la ligne 1 correspond `a l’ensemble de clauses : (¬s111 ∨ ¬s121) ∧ (¬s111 ∨ ¬s131) ∧ . . . ∧ (¬s111 ∨ ¬s191) ∧ (¬s121 ∨ ¬s131) ∧ . . . – De mˆeme, chaque chiffre de 1 `a 9 apparaˆıt au plus une fois dans chaque colonne. – Chaque chiffre de 1 `a 9 apparaˆıt au plus une fois dans chaque r´egion. – Enfin, il faut s’occuper des cases pr´e-remplies dans la grille de d´epart. Chacune de ces cases correspond `a une clause avec un seul litt´eral. 84Notez que si on s’arrˆete l`a le codage est suffisant, mais on peut ajouter les contraintes suivantes : – Chaque case (x, y) contient au plus un chiffre entre 1 et 9. – Chaque chiffre apparaˆıt au moins une fois dans chaque ligne. – Chaque chiffre apparaˆıt au moins une fois dans chaque colonne. – Chaque chiffre apparaˆıt au moins une fois dans chaque r´egion. Exercice N.1 Ecrire un programme qui traduit un probl`eme de Sudoku en une formule CNF ´ sous le format DIMACS. Ce programme prend comme entr´ee un fichier sous la forme d´efinie dans la partie pr´ec´edente et doit ´ecrire le r´esultat de la traduction dans un fichier de sortie. N.6 SATO → Sudoku Il reste `a transformer une affectation renvoy´ee par le solveur en solution pour le Sudoku. Exercice N.2 Ecrire, une fonction qui transforme une affectation qui satisfait la formule en ´ solution du Sudoku et l’affiche. Vous pouvez maintenant tester votre programme en essayant de r´esoudre des grilles propos´ees par exemple aux adresses suivantes : http ://logiciel.sudoku.free.fr/ http ://www.esudoku.fr/ ... Vous pouvez aussi tester dans quelle mesure l’ajout de contraintes suppl´ementaires am´eliore les performances du programme. 85O TP : R´esolution Pour repr´esenter les formules en CNF on adopte la mˆeme notation ensembliste utilis´ee pour d´ecrire la m´ethode de Davis-Putnam. – Une clause C est un ensemble de litt´eraux. – Une formule A en CNF est un ensemble de clauses. Soient C ∪ {x} et C 0 ∪ {¬x} deux clauses o`u l’on suppose que x /∈ C et ¬x /∈ C 0 . On dit que C ∪ C 0 est un r´esolvant des deux clauses. La m´ethode de r´esolution peut ˆetre formul´ee de la fa¸con suivante. Soit A un ensemble fini de clauses. Si X est un ensemble de clauses, on pose FA(X) = A ∪ X ∪ {C | C est un r´esolvant de deux clauses dans X} Soit Res(A) le plus petit point fixe de FA. On peut montrer que la formule A est insatisfiable si et seulement si Res(A) contient la clause vide. Exercice O.1 Montrez (sur papier) que Res(A) est fini et peut ˆetre calcul´e. On rappelle qu’une clause de Horn est une clause qui contient au plus un litt´eral positif. Par ailleurs, une clause unitaire est une clause qui contient un litt´eral. Dans la m´ethode de r´esolution unitaire on se limite `a calculer les r´esolvants de couples de clauses dont au moins une est unitaire. On peut montrer qu’une conjonction de clauses de Horn n’est pas satisfiable si et seulement si la m´ethode de r´esolution unitaire d´erive la clause vide. Exercice O.2 Construire un programme qui re¸coit en entr´ee une formule A qui est une conjonction de clauses de Horn au format dimacs et v´erifie si A est insatisfiable en utilisant la m´ethode de r´esolution unitaire. Le programme imprime Res(A) (adapt´e pour la r´esolution unitaire) s’il n’arrive pas `a g´en´erer la clause vide. Exercice O.3 Estimez (sur papier) la complexit´e de votre programme en fonction de la taille de la formule A. 86 Robotique Mobile David Filliat To cite this version: David Filliat. Robotique Mobile. Ecole d’ing´enieur. Robotique Mobile, ENSTA ParisTech, ´ 2011, pp.175. HAL Id: cel-00655005 https://cel.archives-ouvertes.fr/cel-00655005 Submitted on 24 Dec 2011 HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers. L’archive ouverte pluridisciplinaire HAL, est destin´ee au d´epˆot et `a la diffusion de documents scientifiques de niveau recherche, publi´es ou non, ´emanant des ´etablissements d’enseignement et de recherche fran¸cais ou ´etrangers, des laboratoires publics ou priv´es.David FILLIAT École Nationale Supérieure de Techniques Avancées ParisTech Robotique Mobile2Cette création est mise à disposition selon le Contrat Paternité-Pas d’Utilisation CommercialePartage des Conditions Initiales à l’Identique 2.0 France disponible en ligne : http://creativecommons.org/licenses/by-nc-sa/2.0/fr/ ou par courrier postal à Creative Commons, 171 Second Street, Suite 300, San Francisco, California 94105, USA. Ce document évolue régulièrement. La dernière version se trouve sur ma page personnelle : http://www.ensta-paristech.fr/~filliat/ Si vous avez des remarques ou des suggestions pour m’aider à le faire progresser, ou simplement si il vous a été utile, n’hésitez pas à m’écrire : david.filliat@ensta-paristech.fr Dernière mise à jour : 5 octobre 2011Robotique Mobile - david.filliat@ensta-paristech.fr 4TABLE DES MATIÈRES Table des matières 1 Introduction 9 1.1 Robot Mobile . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 1.2 Objectifs du cours . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.3 (Très) Bref aperçu historique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.4 Exemples d’applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 1.5 Pour aller plus loin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 I Les bases de la navigation 15 2 Les différents types de navigation 19 2.1 Les stratégies de navigation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 2.2 Les architectures de contrôle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 2.2.1 Contrôleurs Hiérarchiques . . . . . . . . . . . . . . . . . . . . . . . . . . 23 2.2.2 Contrôleurs réactifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 2.2.3 Contrôleurs hybrides . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 2.2.4 Pour aller plus loin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3 Les sources d’information 27 3.1 Informations proprioceptives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3.2 Informations extéroceptives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.2.1 Variabilité perceptuelle . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.2.2 Perceptual aliasing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.2.3 Utilisation directe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.2.4 Utilisation d’un modèle métrique . . . . . . . . . . . . . . . . . . . . . . . 30 3.3 Fusion d’informations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 4 Matériels courants en robotique mobile 35 4.1 Les bases mobiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 4.1.1 Holonomie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35 4.1.2 Les plates-formes différentielles . . . . . . . . . . . . . . . . . . . . . . . 35 4.1.3 Les plates-formes omnidirectionnelles . . . . . . . . . . . . . . . . . . . . 36 4.1.4 Les plates-formes non holonomes . . . . . . . . . . . . . . . . . . . . . . 37 4.1.5 Les plates-formes à pattes . . . . . . . . . . . . . . . . . . . . . . . . . . 38 5 Robotique Mobile - david.filliat@ensta-paristech.frTABLE DES MATIÈRES 4.2 Les capteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 4.2.1 Les capteurs proprioceptifs . . . . . . . . . . . . . . . . . . . . . . . . . . 39 4.2.2 Les télémètres . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 4.2.3 Les caméras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 4.2.4 Autres capteurs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 4.3 Pour aller plus loin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51 II Navigation réactive 53 5 Navigation vers un but 57 5.1 Véhicules de Braitenberg . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 5.2 Modèle de Cartwright et Collet . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58 5.3 Asservissement visuel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60 6 Évitement d’obstacles 61 6.1 Méthode des champs de potentiel . . . . . . . . . . . . . . . . . . . . . . . . . . 61 6.2 Méthode Vector Field Histogram . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 6.3 Méthode de la fenêtre dynamique . . . . . . . . . . . . . . . . . . . . . . . . . . 63 7 Apprentissage par renforcement 67 7.1 Formalisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67 7.2 Programmation dynamique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 7.2.1 Évaluation d’une politique . . . . . . . . . . . . . . . . . . . . . . . . . . 71 7.2.2 Amélioration d’une politique . . . . . . . . . . . . . . . . . . . . . . . . . 72 7.2.3 Algorithmes d’apprentissage . . . . . . . . . . . . . . . . . . . . . . . . . 72 7.3 Méthodes de Monte-Carlo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 7.3.1 Évaluation d’un politique . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 7.3.2 Besoin d’exploration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 7.3.3 Algorithmes d’apprentissage . . . . . . . . . . . . . . . . . . . . . . . . . 74 7.4 Apprentissage par différences temporelles . . . . . . . . . . . . . . . . . . . . . 74 7.5 Traces d’éligibilité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 7.6 Application pratique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 7.7 Exemple de mise en œuvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 7.8 Pour aller plus loin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 III Navigation utilisant une carte 81 8 Localisation, Cartographie et Planification 85 8.1 Les trois problèmes de la navigation par carte . . . . . . . . . . . . . . . . . . . . 85 8.2 Quelques hypothèses de travail . . . . . . . . . . . . . . . . . . . . . . . . . . . 86 8.2.1 Estimation de la position et de la direction . . . . . . . . . . . . . . . . . . 86 8.2.2 Environnements statiques et dynamiques . . . . . . . . . . . . . . . . . . 87 Robotique Mobile - david.filliat@ensta-paristech.fr 6TABLE DES MATIÈRES 9 Les représentations de l’environnement 89 9.1 Cartes topologiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 9.1.1 Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90 9.1.2 Avantages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91 9.1.3 Inconvénients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 9.1.4 Mise en œuvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93 9.2 Cartes métriques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 9.2.1 Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95 9.2.2 Avantages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 9.2.3 Inconvénients . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96 9.2.4 Mise en œuvre . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 9.3 Représentations hybrides et hiérarchiques . . . . . . . . . . . . . . . . . . . . . . 100 10 Localisation 103 10.1 Différentes capacités de localisation . . . . . . . . . . . . . . . . . . . . . . . . . 103 10.2 Estimation de la position par les perceptions . . . . . . . . . . . . . . . . . . . . 105 10.2.1 Cartes topologiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 10.2.2 Cartes métriques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 10.2.3 Corrélation de cartes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 10.2.4 Limitations de l’estimation de la position par les perceptions . . . . . . . . 110 10.3 Suivi d’une hypothèse unique . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110 10.3.1 Cartes topologiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 10.3.2 Cartes métriques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111 10.3.3 Le filtrage de Kalman pour la localisation . . . . . . . . . . . . . . . . . . . 112 10.3.4 Limitations du suivi de position . . . . . . . . . . . . . . . . . . . . . . . . 119 10.4 Suivi de plusieurs hypothèses . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 10.4.1 Suivi explicite de plusieurs hypothèses . . . . . . . . . . . . . . . . . . . . 120 10.4.2 Le filtrage Bayésien . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 10.4.3 Filtrage Bayésien dans le cas discret . . . . . . . . . . . . . . . . . . . . . 126 10.4.4 Filtrage particulaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 10.5 Comparaison des méthodes de localisation . . . . . . . . . . . . . . . . . . . . . 133 11 Cartographie 135 11.1 Les problèmes de la cartographie . . . . . . . . . . . . . . . . . . . . . . . . . . 135 11.1.1 Limitation des méthodes de localisation . . . . . . . . . . . . . . . . . . . 135 11.1.2 Fermetures de boucles . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136 11.1.3 Cartographie incrémentale et retour en arrière . . . . . . . . . . . . . . . . 136 11.2 Cartographie incrémentale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 11.2.1 Cartes Topologiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138 11.2.2 Cartes métriques : corrélation de scan . . . . . . . . . . . . . . . . . . . . 140 11.2.3 Cartes métriques : grilles d’occupation . . . . . . . . . . . . . . . . . . . . 141 11.2.4 Stratégies d’exploration . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143 11.3 Retour sur les modifications passées . . . . . . . . . . . . . . . . . . . . . . . . 144 7 Robotique Mobile - david.filliat@ensta-paristech.frTABLE DES MATIÈRES 11.3.1 Méthodes de relaxation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144 11.3.2 Cartographie par filtrage de Kalman étendu . . . . . . . . . . . . . . . . . 147 11.3.3 Fast SLAM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 11.4 Comparaison des méthodes de cartographie . . . . . . . . . . . . . . . . . . . . 154 11.5 Pour aller plus loin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154 12 Planification 155 12.1 Espace des configurations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155 12.2 Discrétisation de l’espace de recherche . . . . . . . . . . . . . . . . . . . . . . . 156 12.3 Recherche de chemin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 12.3.1 Deux types de plan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 12.3.2 Calcul de politique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 12.3.3 Calcul d’un chemin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160 12.4 Exemples de politiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161 12.5 Choix de l’action avec une position incertaine . . . . . . . . . . . . . . . . . . . . 162 12.6 Pour aller plus loin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 Index 164 Bibliographie 165 Robotique Mobile - david.filliat@ensta-paristech.fr 8CHAPITRE 1. INTRODUCTION Chapitre 1 Introduction 1.1 Robot Mobile La robotique est un très bon exemple de domaine pluri-disciplinaire qui implique de nombreuses thématiques telles que la mécanique, la mécatronique, l’électronique, l’automatique, l’informatique ou l’intelligence artificielle. En fonction du domaine d’origine des auteurs, il existe donc diverses définitions du terme robot, mais elles tournent en général autour de celle-ci : Un robot est une machine équipée de capacités de perception, de décision et d’action qui lui permettent d’agir de manière autonome dans son environnement en fonction de la perception qu’il en a. FIGURE 1.1 – Schéma des interactions d’un robot avec son environnement. Selon les approches, un modèle interne de l’environnement peut être utilisé ou non. Cette définition s’illustre par un schéma classique des interactions d’un robot avec son environnement (Figure 1.1). Les différentes notions que nous présenterons dans ce cours sont essentiellement issues de cette vision de la robotique, très orientée sur l’Intelligence Artificielle, qui 9 Robotique Mobile - david.filliat@ensta-paristech.fr1.2. OBJECTIFS DU COURS place au centre des préoccupations l’enchaînement de ce cycle Perception/Décision/Action . La manière dont un robot gère ces différents éléments est définie par son architecture de contrôle, qui la plupart du temps va faire appel à un modèle interne de l’environnement qui lui permettra de planifier ses actions à long terme. 1.2 Objectifs du cours L’objectif de ce cours est de fournir un aperçu des problèmes de la robotique mobile et des solutions actuelles. Ce cours se veut proche de la recherche, en présentant des méthodes apparues dans les dernières années, mais présente également les notions de base nécessaires à leur compréhension, ainsi qu’un panorama de techniques classiques dont la portée va au delà de leur application en robotique mobile. La lecture des nombreuses références à des articles scienti- fiques ou à des ouvrages de référence (la plupart du temps en anglais) n’est évidement pas utile pour la compréhension du cours, mais doit permettre d’approfondir des points particuliers hors de la portée de ce cours. La robotique mobile est un domaine dans lequel l’expérience pratique est particulièrement illustratrice et importante pour la compréhension des problèmes. Au delà des méthodes présentée dans ce texte, les travaux dirigés ou le projet pratique associés que réalisent les étudiants apporteront également leur lot de connaissances irremplaçables. 1.3 (Très) Bref aperçu historique FIGURE 1.2 – La tortue de Grey Walter (nommée “machina speculatrix” et surnommée Elsie) et une illustration de sa trajectoire pour rejoindre sa niche. Le terme de robot apparaît pour la première fois dans une pièce de Karel Capek en 1920 : Rossum’s Universal Robots. Il vient du tchèque ’robota’ (∼ servitude) et présente une vision des robots comme serviteurs dociles et efficaces pour réaliser les taches pénibles mais qui déjà vont se rebeller contre leurs créateurs. Robotique Mobile - david.filliat@ensta-paristech.fr 10CHAPITRE 1. INTRODUCTION La Tortue construite par Grey Walter dans les année 1950 (Figure 1.2), est l’un des premiers robots mobiles autonomes. Grey Walter n’utilise que quelques composants analogiques, dont des tubes à vide, mais son robot est capable de se diriger vers une lumière qui marque un but, de s’arrêter face à des obstacles et de recharger ses batteries lorsqu’il arrive dans sa niche. Toutes ces fonctions sont réalisées dans un environnement entièrement préparé, mais restent des fonctions de base qui sont toujours des sujets de recherche et de développement technologiques pour les rendre de plus en plus génériques et robustes. FIGURE 1.3 – A gauche : Robot "Beast" de l’université John Hopkins dans les années 1960. A droite : Le robot Shakey de Stanford en 1969 a été une plate-forme de démonstration des recherches en intelligence artificielle. Dans les années 60, les recherches en électronique vont conduire, avec l’apparition du transistor, à des robots plus complexes mais qui vont réaliser des tâches similaires. Ainsi le robot "Beast" (Figure 1.3) de l’université John Hopkins est capable de se déplacer au centre des couloirs en utilisant des capteurs ultrason, de chercher des prises électriques (noires sur des murs blanc) en utilisant des photo-diodes et de s’y recharger. Les premier liens entre la recherche en intelligence artificielle et la robotique apparaissent à Stanford en 1969 avec Shakey (Figure 1.3). Ce robot utilise des télémètres à ultrason et une caméra et sert de plate-forme pour la recherche en intelligence artificielle, qui à l’époque travaille essentiellement sur des approches symboliques de la planification. La perception de l’environnement, qui à l’époque est considérée comme un problème séparé, voire secondaire, se révèle particulièrement complexe et conduit là aussi à de fortes contraintes sur l’environnement. Ces développements de poursuivent avec le Stanford Cart dans la fin des années 1970, avec notamment les premières utilisations de la stéréo-vision pour la détection d’obstacles et la modélisation 11 Robotique Mobile - david.filliat@ensta-paristech.fr1.3. (TRÈS) BREF APERÇU HISTORIQUE FIGURE 1.4 – Le Stanford Cart date de la fin des années 1970. Le robot Hilare du LAAS a été construit en 1977. de l’environnement. En France, le robot Hilare est le premier robot construit au LAAS, à Toulouse (Figure 1.4). Une étape importante est à signaler au début des années 1990 avec la mise en avant de la robotique réactive, représentée notamment par Rodney Brooks. Cette nouvelle approche de la robotique, qui met la perception au centre de la problématique, a permis de passer de gros robots très lents à de petits robots (Figure 1.5), beaucoup plus réactifs et adaptés à leur environnement. Ces robots n’utilisent pas ou peu de modélisation du monde, problématique qui s’est avérée être extrêmement complexe. FIGURE 1.5 – Genghis, développé par Rodney Brooks au MIT au début des années 1990. Ces développements ont continué et l’arrivée sur le marché depuis les années 1990 de platesformes intégrées telles que le pioneer de la société Mobile Robots a permis à de très nombreux laboratoires de travailler sur la robotique mobile et à conduit à une explosion de la diversité des thèmes de recherche. Ainsi, même si les problèmes de déplacement dans l’espace et de moRobotique Mobile - david.filliat@ensta-paristech.fr 12CHAPITRE 1. INTRODUCTION délisation de l’environnement restent difficiles et cruciaux, des laboratoires ont pu par exemple travailler sur des approches multi-robot, la problématique de l’apprentissage ou sur les problèmes d’interactions entre les hommes et les robots. 1.4 Exemples d’applications Aujourd’hui, le marché commercial de la robotique mobile est toujours relativement restreint en dehors des robots aspirateurs vendus à plusieurs millions d’exemplaires. Cependant, il existe de nombreuses perspectives de développement qui en feront probablement un domaine important dans le futur. Les applications des robots peuvent se trouver dans de nombreuses activités "ennuyeuses, salissantes ou dangereuses" (3 D’s en anglais pour Dull, Dirty, Dangerous), mais également pour des applications ludiques ou de service, comme l’assistance aux personnes âgées ou handicapées. FIGURE 1.6 – Exemples de robots commerciaux ou de recherche. 13 Robotique Mobile - david.filliat@ensta-paristech.fr1.5. POUR ALLER PLUS LOIN Parmi les domaines d’applications possibles de la robotique, citons : – La robotique de service (hôpital, bureaux, maison), – La robotique de loisir (jouets, robot ’compagnon’), – La robotique industrielle ou agricole (entrepôts logistiques, récolte de productions agricoles, mines), – La robotique en environnement dangereux (spatial, industriel, militaire, catastrophes naturelles). A cela, s’ajoute a l’heure actuelle des nombreuses plates-formes conçues essentiellement pour les laboratoires de recherche. La figure 1.6 montre quelques exemples de robots existants. 1.5 Pour aller plus loin Les illustrations de ce chapitre sont, entre autre, tirées du livre "ROBOT : mere machine to transcendent mind" de Hans Moravec [102], dont les illustrations sont disponibles en ligne 1 . Le livre de Daniel Ichbiah "Robots, Genèse d’un peuple artificiel" [71] donne également un bon aperçu "grand public" de la robotique et de sont histoire 2 . 1. http ://www.frc.ri.cmu.edu/ hpm/book98/ 2. http ://ichbiah.online.fr/pagerobots.htm Robotique Mobile - david.filliat@ensta-paristech.fr 14Première partie Les bases de la navigation 15 Robotique Mobile - david.filliat@ensta-paristech.frDans cette partie, nous présentons les différentes catégories de méthodes de navigation utilisables pour un robot mobile et les architectures de contrôle associées. Nous présentons ensuite les informations qu’un robot pourra utiliser pour se déplacer, ainsi que les capteurs et les platesformes couramment utilisées en robotique. 17 Robotique Mobile - david.filliat@ensta-paristech.frRobotique Mobile - david.filliat@ensta-paristech.fr 18CHAPITRE 2. LES DIFFÉRENTS TYPES DE NAVIGATION Chapitre 2 Les différents types de navigation 2.1 Les stratégies de navigation Les stratégies de navigation permettant à un robot mobile de se déplacer pour rejoindre un but sont extrêmement diverses, de même que les classifications qui peuvent en être faites. Afin de situer les différentes méthodes de navigation que nous allons étudier dans un contexte géné- ral, nous reprenons ici une classification établie par Trullier et al. [138, 140]. Cette classification a été établie en prenant en compte à la fois les stratégies des robots et des animaux. Elle pré- sente l’avantage de distinguer les stratégies sans modèles internes et les stratégies avec modèle interne. Cette classification comporte cinq catégories, de la plus simple à la plus complexe : – Approche d’un objet : cette capacité de base permet de se diriger vers un objet visible depuis la position courante du robot. Elle est en général réalisée par une remontée de gradient basée sur la perception de l’objet, comme dans l’exemple célèbre des véhicules de Valentino Braitenberg [19] (voir section 5.1) qui utilisent deux capteurs de lumière pour atteindre ou fuir une source lumineuse. Cette stratégie utilise des actions réflexes, dans lesquelles chaque perception est directement associée à une action. C’est une stratégie locale, c’est-à-dire fonctionnelle uniquement dans la zone de l’environnement pour laquelle le but est visible. – Guidage : cette capacité permet d’atteindre un but qui n’est pas un objet matériel directement visible, mais un point de l’espace caractérisé par la configuration spatiale d’un ensemble d’objets remarquables, ou amers, qui l’entourent ou qui en sont voisins. La straté- gie de navigation, souvent une descente de gradient également, consiste alors à se diriger dans la direction qui permet de reproduire cette configuration. Cette capacité semble utilisée par certains insectes, comme les abeilles [26], et a été utilisée sur divers robots [54, 86, 58, 114] (voir sections 5.2 et 5.3). Cette stratégie utilise également des actions ré- flexes et réalise une navigation locale qui requiert que les amers caractérisant le but soient visibles. – Action associée à un lieu : cette capacité est la première capacité réalisant une navigation globale, c’est-à-dire qui permette de rejoindre un but depuis des positions pour lesquelles 19 Robotique Mobile - david.filliat@ensta-paristech.fr2.1. LES STRATÉGIES DE NAVIGATION a D A a a a a a a a a a a Direction à prendre pour atteindre le lieu A Trajectoire suivie par l’animat Obstacles Lieux mémorisés Zone inexplorée FIGURE 2.1 – Action associée à un lieu. En chaque lieu, représenté par un cercle, l’action à accomplir pour rejoindre le but A est représentée par une flèche indiquant la direction à suivre à partir de ce lieu. Cette stratégie permet de rejoindre un but distant dans l’environnement mais repose sur des chemins figés. Dans cet exemple, le chemin joignant le lieu D au lieu A et passant par la droite de l’obstacle a été appris. Rejoindre le lieu A depuis le lieu D ne pourra alors être réalisé que par ce chemin. Le raccourci empruntant le chemin de gauche, par exemple, est inutilisable. ce but ou les amers qui caractérisent son emplacement sont invisibles (par exemple [114]. Elle requiert une représentation interne de l’environnement qui consiste à définir des lieux comme des zones de l’espace dans lesquelles les perceptions restent similaires, et à associer une action à effectuer à chacun de ces lieux (cf. figure 2.1). L’enchaînement des actions associées à chacun des lieux reconnus définit une route qui permet de rejoindre le but. Ces modèles permettent donc une autonomie plus importante mais sont limités à un but fixé. Une route qui permet de rejoindre un but ne pourra en effet pas être utilisée pour rejoindre un but différent. Changer de but entraînera l’apprentissage d’une nouvelle route, indépendante des routes permettant de rejoindre les autres buts. B D A Possibilité de passer d’un lieu à un autre Trajectoire suivie par l’animat Obstacles Lieux mémorisés Zone inexplorée FIGURE 2.2 – Navigation topologique. Cette stratégie permet de mémoriser un ensemble de lieux et les possibilités de passer de l’un à l’autre, indépendamment de tout but. Pour rejoindre un but, il faut alors une étape de planification qui permet de rechercher, parmi tous les chemins possibles, le chemin rejoignant le but. Dans notre exemple, le chemin le plus court entre D et A peut alors être calculé, mais uniquement parmi les lieux et les chemins déjà connus. Cette stratégie permet, par exemple, de contourner l’obstacle par la gauche mais ne permet pas de le traverser en ligne droite de D à A. Robotique Mobile - david.filliat@ensta-paristech.fr 20CHAPITRE 2. LES DIFFÉRENTS TYPES DE NAVIGATION – Navigation topologique : cette capacité est une extension de la précédente qui mémorise dans le modèle interne les relations spatiales entre les différents lieux. Ces relations indiquent la possibilité de se déplacer d’un lieu à un autre, mais ne sont plus associées à un but particulier. Ainsi le modèle interne est un graphe qui permet de calculer différents chemins entre deux lieux arbitraires. Ce modèle ne permet toutefois que la planification de déplacements parmi les lieux connus et suivant les chemins connus (cf. figure 2.2). B D A Trajectoire suivie par l’animat Possibilité de passer d’un lieu à un autre déduite de leur position relative x y Obstacles Lieux mémorisés Possibilité de passer d’un lieu à un autre Zone inexplorée FIGURE 2.3 – Navigation métrique. Cette stratégie permet de calculer le chemin le plus court entre deux lieux mémorisés, permettant même de planifier des raccourcis au sein de zones inexplorées de l’environnement. Pour cela, la carte mémorise la position métrique relative de chacun des lieux visités par le robot. Ainsi il est possible de prévoir un déplacement entre deux lieux, même si la possibilité de ce déplacement n’est pas enregistrée dans la carte. Dans cet exemple, cette stratégie permet de d’aller du lieu A au lieu D en traversant la zone inexplorée. – Navigation métrique : cette capacité est une extension de la précédente car elle permet au robot de planifier des chemins au sein de zones inexplorées de son environnement. Elle mémorise pour cela les positions métriques relatives des différents lieux, en plus de la possibilité de passer de l’un à l’autre. Ces positions relatives permettent, par simple composition de vecteurs, de calculer une trajectoire allant d’un lieu à un autre, même si la possibilité de ce déplacement n’a pas été mémorisée sous forme d’un lien (cf. figure 2.3). Les modèles des trois premières catégories utilisent des actions réflexes pour guider le robot et se différencient essentiellement par le type de perceptions utilisées pour déclencher ces actions. Ils se regroupent sous le terme générique de navigation réactive dont nous parlerons dans la partie II. Ils peuvent être très simple, ne nécessitent pas de modèle global de l’environnement mais ont un domaine d’application souvent restreint. Dans le monde vivant, ces stratégies sont très répandues, notamment chez les insectes. Les comportements de ce type restent toutefois essentiels dans les robots modernes car, du fait de leur simplicité, il sont généralement exécutés très rapidement et ils permettent de réaliser des taches de bas-niveau, comme l’évitement des obstacles imprévus, essentielles à la sécurité d’un robot. Les modèles des deux dernières catégories autorisent pour leur part une navigation globale et permettent de rejoindre un but arbitraire au sein de l’environnement. Ils s’appuient pour cela sur un modèle interne du monde, une carte, qui supporte une planification. Ce modèle interne mémorise donc la structure spatiale de l’environnement, indépendamment d’un but précis. Cha- 21 Robotique Mobile - david.filliat@ensta-paristech.fr2.2. LES ARCHITECTURES DE CONTRÔLE cune des positions mémorisées dans ce modèle interne peut alors être utilisée comme but par le processus de planification dont le rôle est de calculer une route vers ce but. Ce sont ces deux stratégies qui sont regroupées sous le terme de navigation par carte, objet du chapitre III . Une telle représentation interne est naturelle pour les êtres humains, pour lesquels des processus cognitifs de haut niveau sont utilisés pour créer et utiliser une carte. Ces processus de haut niveau sont toutefois très difficile à copier pour un robot réel qui ne dispose que de systèmes rudimentaires de perception et de traitement des informations en comparaison avec un homme. Par exemple, en environnement urbain, le processus de mise en correspondance de la carte avec l’environnement réel afin de déterminer sa position fait souvent appel, pour l’homme, à la lecture du nom des rues inscrit sur les bâtiments, ce qui est relativement difficile à automatiser, à cause de la diversité des configurations dans lesquelles peuvent ce trouver ces noms. On notera au passage que l’homme a quasiment toujours recours à des aménagements particuliers de l’environnement pour connaitre sa position, par exemple celui qui consiste à nommer les rues ou à lancer des satellites dans l’espace pour bénéficier du GPS. Le système de navigation idéal pour un robot mobile sera probablement celui qui sera capable de tirer partie de toutes ces informations, qui ne lui étaient pas destinées à l’origine. L’utilisation de cartes par un robot mobile comme le font les hommes est probablement hors de notre portée pendant quelques années, cependant il existe également des preuves de l’existence de représentations internes similaires à de telles cartes chez les animaux, par exemple chez les rats. Ces représentations sont identifiables au niveau neurologiques dans certaines parties de leur cerveau, notamment dans l’hippocampe. Cela montre que des cartes sont utilisée par des êtres vivants, sans le support de concept abstraits tels que les utilisent les humains. Ce type de carte qui fait appel à des structures neurologiques de base et probablement à des perceptions relativement simples, est un paradigme intéressant pour les robots mobiles. En robotique mobile, comme pour l’homme ou certains animaux, l’utilisation de cartes est quasiment indispensable pour permettre d’effectuer des tâches de navigation dans des conditions environnementales complexes, qui ne sont pas spécialement adaptées pour le robot. La construction et l’utilisation de telles cartes posent cependant de nombreux problèmes, notamment pour garantir l’adéquation entre la carte et le monde réel. Pour cette raison, la plupart des robots trouvent aujourd’hui un compromis entre une approche réactive et une approche utilisant une carte afin de bénéficier de la rapidité et de la robustesse de la première et de la capacité de déplacement à long terme de la seconde. 2.2 Les architectures de contrôle Un robot est un système complexe qui doit satisfaire à des exigences variées et parfois contradictoires. Un exemple typique pour un robot mobile est l’arbitrage qui doit être fait entre l’exécution la plus précise possible d’un plan préétabli pour atteindre un but et la prise en compte d’éléments imprévus, tels que les obstacles mobiles. Ces arbitrages, que ce soit au niveau du choix de stratégie, ou au niveau de l’utilisation des capteurs, des effecteurs ou des ressources de calcul, sont réglés par un ensemble logiciel appelé architecture de contrôle du robot. Cette architecture permet donc d’organiser les relations entre les trois grandes fonctions que sont la perception, la Robotique Mobile - david.filliat@ensta-paristech.fr 22CHAPITRE 2. LES DIFFÉRENTS TYPES DE NAVIGATION décision et l’action . Nous pouvons reprendre la définition de Ronald Arkin [4] de l’art de concevoir de telles architectures : Robotic architecture is the discipline devoted to the design of highly specific and individual robots from a collection of common software building blocks. Selon cette définition une architecture doit donc être conçue pour un robot précis, mais en utilisant des modules génériques. De manière plus générale il existe également des règles de conception relativement générales qui permettent de réaliser ces implémentations. En fonction de ces règles, les architectures de contrôle peuvent être classées en trois grandes catégories que nous détaillerons par la suite : les contrôleurs hiérarchiques, les contrôleurs réactifs et les contrôleurs hybrides (Figure 2.4). Comme le précise cette définition, toutes ces architectures ne diffèrent pas forcement par les méthodes élémentaires employées mais plutôt par leur agencement et leur relations. A B C PERCEPTION PLANIFICATION ACTION PERCEPTION ACTION PLANIFICATION PERCEPTION ACTION FIGURE 2.4 – Illustration des architectures classiques des contrôleurs pour les robots mobiles : Hiérarchique (A), Réactive (B) et Hybride (C) (Voir le texte pour la description détaillée). 2.2.1 Contrôleurs Hiérarchiques Historiquement, les premiers robots mobiles dérivés des recherches en intelligence artificielle utilisaient des contrôleurs hiérarchiques (cf. figure 2.4 A) dont le fonctionnement repose essentiellement sur la capacité de décision travaillant sur un modèle du monde supposé quasiment-parfait. Ces architectures fonctionnent selon un cycle rigide de modélisation de l’environnement, planifi- cation des actions au sein de cette représentation, puis exécution du plan. La capacité de décision était issue des premiers travaux en intelligence artificielle et reposait essentiellement sur des traitements de données symboliques. Ces architectures ont rapidement montré leurs limites et leur incapacité à fonctionner dans un environnement qui ne soit pas statique et simplifié à l’extrême. L’essentiel des problèmes de ces architectures provient de l’utilisation d’un modèle interne central qui est le seul pris en compte pour guider le robot. Elles se trouvent confrontées à tout les problèmes des premiers développements de l’intelligence artificielle symbolique. 23 Robotique Mobile - david.filliat@ensta-paristech.fr2.2. LES ARCHITECTURES DE CONTRÔLE Ces architectures supposent premièrement qu’un modèle informatique du monde puisse représenter toutes les informations pertinentes pour le déplacement du robot. Or un tel modèle ne peut être suffisant dans un environnement dynamique car au moment de la réalisation de l’action l’environnement peut avoir suffisamment changé pour que la décision ne soit plus valide. Ce problème était particulièrement crucial au début de la robotique mobile ou les capacités de calcul limitées entraînaient des temps de planification de l’ordre de plusieurs dizaines de minutes. Mais l’augmentation des capacités de calcul ne suffit pas à résoudre ce problème qui ne permet pas de gérer un environnement de travail réaliste. C’est un problème intrinsèque lié d’une part à la trop grande longueur de la boucle qui relie la perception à l’action et d’autre part à l’invalidité de l’hypothèse de monde clos faite en intelligence artificielle 1 . De plus, ces architectures permettent peu de contrôle sur l’exécution des actions. En effet, une fois l’action choisie, elle est exécutée en supposant le modèle du monde correct et il n’y a pas de retour direct de la perception sur l’exécution de l’action. Les écarts modèles/environnement ne peuvent être pris en compte que via un nouveau cycle perception/modélisation/planification, ce qui, par définition, est très peu réactif et conduit rapidement à de graves problèmes. 2.2.2 Contrôleurs réactifs Rodney Brooks [20] a proposé une solution radicale à tous ces problèmes sous la forme d’une architecture réactive (cf. figure 2.4 B). Dans cette architecture, un ensemble de comportements réactifs, fonctionnant en parallèle, contrôle le robot sans utiliser de modèle du monde. Cette architecture supprime évidemment les problèmes dûs aux différences entre la réalité, d’une part, et le modèle de l’environnement du robot, d’autre part, mais limite clairement les tâches que peut effectuer le robot (cf. [77] pour une critique). En effet, sans représentation interne de l’état de l’environnement, il est très difficile de planifier une suite d’actions en fonction d’un but à atteindre. Les robots utilisant cette architecture sont donc en général efficaces pour la tâche précise pour laquelle ils ont été conçus, dans l’environnement pour lequel ils ont été prévus, mais sont souvent difficiles à adapter à une tâche différente. Les réussites de ces architectures sont liées au couplage direct entre la perception et l’action qui permet une prise en compte très rapide des phénomènes dynamiques de l’environnement. En donc une bonne robustesse dans des environnements complexes. Comme nous l’avons mentionné, ces architectures sont en général basées sur plusieurs comportements : évitement d’obstacles, déplacement aléatoire, déplacement vers un but, fuite d’un point... Pour guider le robot, il faut donc choisir à chaque instant lequel de ces comportements activer. Ce problème est connu dans la litérature scientifique sous le nom de sélection de l’action. La solution proposée par Brooks, l’architecture de subsomption [21] est devenue un classique et utilise une hiérarchie des comportements qui se déclenchent donc selon un ordre de priorité en fonction des perceptions du robot. 1. L’hypothèse de monde clos dit que la représentation symbolique d’un problème va être suffisante pour pouvoir représenter toutes les conséquences des actions réalisées dans ce monde. Cela s’avère impossible en pratique pour des problèmes autre que des problèmes jouets (par exemple un monde de cubes posés sur une table). Robotique Mobile - david.filliat@ensta-paristech.fr 24CHAPITRE 2. LES DIFFÉRENTS TYPES DE NAVIGATION 2.2.3 Contrôleurs hybrides La plupart des contrôleurs actuellement utilisés choisissent une solution intermédiaire entre ces deux approches sous la forme d’une architecture hybride [104, 3] (cf. figure 2.4 C). Cette architecture se compose de deux niveaux. Le premier est chargé des tâches de navigation de haut niveau, telles que la localisation, la cartographie et la planification. Pour cela, il s’appuie sur un second niveau réactif qui est chargé d’exécuter les commandes avec le plus de précision possible et de gérer les éléments non modélisés de l’environnement tels que les obstacles inconnus ou dynamiques. L’action conjointe de ces deux niveaux permet de réagir rapidement face aux variations imprévues de l’environnement, tout en permettant la réalisation d’actions planifiées à plus long terme. Le bas niveau de ces architectures peut être réalisé sous forme de comportements, tels que ceux utilisés dans les architectures réactives. Ces comportements sont des boucles sensorimotrices qui relient les action aux perceptions avec un phase de décision très courte, qui assure la réactivité. Dans le même temps, les informations sensorielles sont utilisées par le haut niveau dans une boucle sensorimotrice à une échelle de temps beaucoup plus longue. C’est la mise en parallèles de ces deux échelles de temps qui fait la force de ces architectures. Les exemples d’architectures hybrides foisonnent (4D/RCS, 3T, Harpic...) car de très nombreux laboratoires et organismes travaillant sur la robotique ont développé leur architecture de ce type. 2.2.4 Pour aller plus loin Deux livres intéressants sur le sujet : – Introduction to AI Robotics de Robin Murphy, MIT Press – Behavior based robotics de Ronald C. Arkin, MIT Press 25 Robotique Mobile - david.filliat@ensta-paristech.fr2.2. LES ARCHITECTURES DE CONTRÔLE Robotique Mobile - david.filliat@ensta-paristech.fr 26CHAPITRE 3. LES SOURCES D’INFORMATION Chapitre 3 Les sources d’information Tous les capteurs utilisés en robotique mobile fournissent des informations appartenant à l’une de deux grandes catégories d’informations : les informations proprioceptives et les informations extéroceptives. – Les informations proprioceptives sont des informations internes au robot qui le renseignent, dans le cas de la navigation, sur son déplacement dans l’espace. Ces informations peuvent provenir de la mesure de la rotation de ses roues ou de la mesure de l’accélération grâce à une centrale inertielle. Un processus d’intégration permet alors, en accumulant ces informations au cours du temps, d’estimer la position relative de deux points par lesquels le robot est passé. – Les informations extéroceptives ou plus simplement les perceptions, sont des informations caractéristiques d’une position que le robot peut acquérir dans son environnement. Ces informations peuvent être de nature très variée. Par exemple, un robot peut mesurer la distance des obstacles avec des capteurs infrarouges ou utiliser une caméra. Ces deux sources d’information ont des propriétés opposées que nous détaillons dans les deux sections suivantes. 3.1 Informations proprioceptives Les informations proprioceptives renseignent sur le déplacement du robot dans l’espace. Elles constituent donc une source d’information très importante pour la navigation. Cependant, la pré- cision de cette information se dégrade continuellement au cours du temps, la rendant inutilisable comme seule référence à long terme. Cette dégradation continuelle provient de l’intégration temporelle des mesures effectuées par les capteurs internes. En effet, chaque capteur produit une mesure bruitée du déplacement instantané, de la vitesse ou de l’accélération du robot. Ce bruit, via le processus d’intégration qui a pour but d’estimer le déplacement, conduit inévitablement à une erreur croissante. Malgré ce défaut important, les informations proprioceptives ont l’avantage de dépendre assez peu des conditions environnementales qui perturbent fortement les informations perceptives. La vision, par exemple sera fortement perturbée si l’environnement est plongé dans le noir, mais 27 Robotique Mobile - david.filliat@ensta-paristech.fr3.2. INFORMATIONS EXTÉROCEPTIVES les informations proprioceptives fourniront une information identique, que l’environnement soit éclairé ou non. De plus, comme nous le verrons dans la section suivante, si deux lieux identiques du point de vue des perceptions se trouvent dans l’environnement, les informations perceptives ne permettent pas de les différencier. Les informations proprioceptives sont alors le seul moyen de les distinguer. En robotique, cette information a de plus l’avantage de la simplicité de manipulation. En effet, le processus d’intégration fournit directement une estimation de la position du robot dans un espace euclidien doté d’un repère cartésien. Dans ce type de repère, tous les outils de la géomé- trie mathématique sont utilisables. Ils permettent, par exemple, d’effectuer des calculs de chemin relativement simples lorsque l’on connaît la position du but et des obstacles. 3.2 Informations extéroceptives Les informations extéroceptives, ou plus simplement les perceptions , fournissent un lien beaucoup plus fort entre le robot et son environnement. En effet, les informations proprioceptives fournissent des informations sur le déplacement du robot, alors que les informations perceptives fournissent des informations directement sur la position du robot dans l’environnement. Ces informations assurent un ancrage dans l’environnement, en permettant de choisir des perceptions qui peuvent être utilisées comme points de repère. Ces points de repère sont indépendants des déplacements du robot et pourront être reconnus quelle que soit l’erreur accumulée par les données proprioceptives. La reconnaissance de ces points est évidemment soumise à une incertitude, mais pas à une erreur cumulative, ce qui les rend utilisables comme référence à long terme. 3.2.1 Variabilité perceptuelle Pour être utile, un système de perception doit donc permettre de distinguer le plus de lieux possible. Pour cela, il doit être capable de distinguer le plus de détails possibles, afin de faire la différence entre deux lieux différents mais d’apparences similaires. Or l’augmentation de cette capacité à distinguer de petites variations dans l’environnement rend le système sensible au problème de la variabilité perceptuelle , c’est à dire au changement de perception au cours du temps pour un lieu donné. Cette variabilité peut être due au bruit inhérent au processus de mesure où à des variations de l’environnement non significatives pour le problème de navigation qui nous concerne, par exemple le changement de luminosité. Pour s’affranchir de ce problème, il faut en général mettre en place des processus de traitement des perceptions qui permettront de ne pas dépendre de ces variations et de correctement identifier un lieu donné. 3.2.2 Perceptual aliasing En cherchant à limiter la dépendance aux variations de l’environnement, le concepteur de robot aboutit en général au problème du perceptual aliasing ou d’Ambiguïté des perceptions. Ce problème désigne l’incapacité d’un système de perception à distinguer de manière unique tous Robotique Mobile - david.filliat@ensta-paristech.fr 28CHAPITRE 3. LES SOURCES D’INFORMATION les lieux d’un environnement. Cette situation est très courante lorsque les robots utilisent des capteurs de distance aux obstacles tels que les capteurs à ultrasons. Dans un environnement intérieur de tels capteurs sont, par exemple, capables de mesurer la position du robot par rapport à un coin, mais ne fournissent aucune information sur la position le long d’un couloir rectiligne. Toutes les positions le long d’un couloir correspondent alors à des perceptions identiques. Il est possible d’utiliser des capteurs qui fournissent des données plus précises ou plus discriminantes. Dans le cas des capteurs de distance, il est, par exemple, possible d’utiliser un télémètre laser qui pourra distinguer les renfoncements des portes et sera ainsi plus précis. Mais même en utilisant des capteurs plus informatifs, comme une caméra, ce problème finit par apparaitre lorsque la taille de l’environnement augmente. Il existe toujours une limite matérielle ou logicielle au delà de laquelle l’identification unique de toutes les positions d’un environnement est impossible. Il n’est donc pas possible, en général, de régler complètement le problème du perceptual aliasing, mais seulement d’en repousser l’apparition. Il faut donc bien étudier les capteurs nécessaires en fonction des traitements réalisables et de l’environnement visé pour limiter ce problème. 3.2.3 Utilisation directe Les capteurs sur un robot mobile peuvent être de nature très variée et être utilisés de nombreuses façons différentes. Il est toutefois possible de distinguer deux utilisations distinctes de leurs données pour la navigation. Ces deux utilisations dépendent de l’utilisation ou non d’un modèle métrique associé au capteur, modèle qui permet de traduire les valeurs brutes du capteur en informations sur la géométrie de l’environnement. Ce modèle permet notamment de prévoir la variation des mesures renvoyées par ce capteur en fonction du déplacement du robot. Les perceptions peuvent être utilisées de manière directe, sans aucun modèle métrique, pour comparer directement deux positions en examinant les perceptions recueillies en ces lieux. Cette méthode ne permet cependant que de reconnaître des lieux de l’environnement préalablement explorés par le robot. Sans modèle de la variation des capteurs, il est en effet impossible de prévoir les valeurs que les capteurs relèveront dans un lieu inexploré, même s’il est proche ou entouré de lieux connus. Pour une telle utilisation directe, seules deux procédures permettant, d’une part, de mémoriser une perception et, d’autre part, de comparer deux perceptions, sont alors nécessaires. Ces procédures peuvent être mises en œuvre à partir de tous les types de capteurs existants. Il est, par exemple, possible d’utiliser la couleur dominante de l’environnement autour du robot, la température (en supposant qu’elle caractérise une zone de l’environnement, comme pour une chambre froide), la force du signal wifi ou le temps de retour d’une onde sonore quand elle est envoyée dans une direction donnée. La seule propriété utilisée est la constance des valeurs mesurées par un capteur pour un lieu donné. Cette constance permet de reconnaître un lieu déjà visité ou d’identifier un lieu nouveau dans l’environnement. 29 Robotique Mobile - david.filliat@ensta-paristech.fr3.2. INFORMATIONS EXTÉROCEPTIVES 3.2.4 Utilisation d’un modèle métrique La seconde méthode d’utilisation d’un capteur consiste à utiliser un modèle métrique associé . Un tel modèle permet de traduire les informations données par le capteur dans un espace métrique qui est en général le même que celui utilisé pour estimer la position du robot grâce à l’odométrie. Il est ainsi possible d’estimer la position d’objets de l’environnement par rapport au robot, et ainsi de prévoir les données que ce capteur relèvera pour des positions différentes du robot. L’utilisation d’un tel modèle n’est toutefois possible que pour certains capteurs. Il est, par exemple, possible d’utiliser un tel modèle associé à un capteur à ultrasons, à un télémètre laser ou à une paire de caméras stéréoscopique, mais pas à un capteur d’odeur. a b FIGURE 3.1 – Un modèle métrique pour un capteur permet deux utilisations de ses données. La première est similaire à celle qui traite de telles données sans modèle métrique et requiert la simple mémorisation de ce qui est perçu en un lieu donné (Partie a). La seconde utilise ces données pour reconstituer les objets rencontrés dans l’environnement, objets qui pourront tous être mémorisés dans un cadre de référence commun, indépendamment de la position depuis laquelle ils ont été perçus (Partie b). Avec un tel modèle, les valeurs des capteurs peuvent être utilisées simplement pour caractériser chaque lieu atteint par le robot (cf. figure 3.1a). La méthode est alors la même que celle mise en place quand les capteurs sont utilisés sans modèle métrique. L’utilisation d’un modèle mé- trique présente toutefois l’avantage que les informations recueillies ont une sémantique plus forte et une certaine indépendance au point de vue du robot. En effet, ces informations caractérisent la structure spatiale locale de l’environnement, en plus de la simple apparence de l’environnement depuis la position du robot. Cette structure spatiale peut alors être utilisée lors de la comparaison de différents lieux. Il est par exemple possible de reconnaître un couloir en fonction de sa largeur, indépendamment de la position du robot dans ce couloir. En effet, sans utilisation de modèles métriques, deux perceptions recueillies en des positions différentes du couloir seront simplement différentes. En utilisant un modèle métrique, il est possible de calculer la largeur du couloir, par exemple, à partir des données recueillies et ainsi de déterminer si ces deux positions peuvent correspondre au même couloir. Cependant, grâce à un modèle métrique, les perceptions peuvent être utilisées de manière différente. En effet, dans l’utilisation précédente, sans modèle métrique, elles sont utilisées pour Robotique Mobile - david.filliat@ensta-paristech.fr 30CHAPITRE 3. LES SOURCES D’INFORMATION y x a b c A1 I1 A2 A3 ? I2 A3 ? A3 I1 A1 A2 I2 ? ? Environnement Odométrie Modèle métrique Pas de modèle métrique Odométrie Mémorisation directe Modèle métrique Cadre de référence commun FIGURE 3.2 – Un modèle métrique des perceptions permettent d’inférer les valeurs qui devraient être perçues pour des positions encore non visitées. Dans cet exemple, les données A1 et A2 sont perçues en deux positions reliées par des données proprioceptives I1 (partie a). L’utilisation d’un modèle métrique permet de fusionner ces informations dans un cadre de référence commun où des objets sont représentés, ici deux murs orthogonaux (partie b, haut). Sans modèle métrique, ces données peuvent seulement être mémorisées de manière séparée (partie b, bas). Dans le cas de l’utilisation d’un modèle métrique, les données peuvent ensuite être utilisées pour estimer la perception A3 pour une nouvelle position reliée à la pré- cédente par les données proprioceptives I2. Ici, le modèle permet d’inférer que les données A3 correspondent à un coin de murs (partie c, haut). Sans un tel modèle, seules les positions visitées peuvent être reconnues, et aucune inférence ne peut être faite pour les positions non visitées (partie c, bas). caractériser l’apparence de l’environnement depuis un lieu. Cette caractérisation ne permet pas d’identifier individuellement des objets distants du robot qui pourraient servir de points de repères, les amers. L’utilisation d’un modèle métrique permet l’identification de tels points (cf. figure 3.1b). La perception de ces amers permet alors, en retour, d’obtenir des informations sur la position du robot. Cette utilisation des perceptions offre l’avantage supplémentaire de permettre au robot d’inférer les valeurs que mesureront les capteurs dans des positions différentes, mais voisines de sa position courante (cf. figure 3.2). Par exemple, si un robot perçoit un mur à cinq mètres devant lui, il peut prédire qu’en avançant d’un mètre, il percevra le mur à quatre mètres. Un autre moyen de présenter cette propriété est de dire que les perceptions seules permettent d’estimer la position métrique relative de deux lieux (cf. figure 3.3). Ainsi, si un robot perçoit deux fois un mur devant lui, d’abord à cinq mètres puis à quatre mètres, il pourra en déduire qu’il a avancé d’un mètre. Cette propriété permet au robot d’estimer sa position avec précision sur une part plus importante de son environnement et ne limite plus la localisation aux lieux déjà visités. Cet avantage est une conséquence directe de la fusion des informations proprioceptives et des perceptions au sein 31 Robotique Mobile - david.filliat@ensta-paristech.fr3.2. INFORMATIONS EXTÉROCEPTIVES d’une même représentation, qui permet le passage d’un type d’information à l’autre. A1 A2 I1 = 0 A1 A2 I1? A2 A1 a b c Environnement Modèle métrique Pas de modèle métrique Correspondance Correspondance DIFFERENT I1 I1 FIGURE 3.3 – Un modèle métrique des capteurs permet d’inférer la position relative I1 de deux lieux depuis lesquelles des perceptions A1 et A2 ont été réalisées (partie a). Cette estimation requiert d’abord la recherche d’un objet de l’environnement commun aux deux perceptions (partie b, haut). L’utilisation de cet objet commun rend alors possible l’estimation de la position relative I1 des deux lieux (partie c, haut). Sans modèle métrique, seule la similarité de deux perceptions peut être mesurée (partie b, bas). Il est alors seulement possible d’estimer si ces deux situations peuvent correspondre au même lieu ou non, c’est-à-dire si I1 est nulle ou non (partie c, bas). Toutefois, la mise au point d’un tel modèle métrique peut être difficile. La relation qui lie la valeur mesurée par un capteur à la position des objets du monde réel peut être, en effet, très complexe. Dans le cas des capteurs à ultrasons, par exemple, si un mur se trouve juste dans l’axe du capteur, sa distance est simplement mesurée par le temps mis par l’onde sonore pour revenir au capteur. Mais, dans le cas où le mur est fortement incliné par rapport au capteur, l’écho peut ne pas revenir en direction du capteur qui ne détectera alors aucun obstacle. Un autre problème vient de la texture des murs. Un mur recouvert de textile ou d’un matériau souple renverra les échos très différemment d’un mur de béton. En conséquence, pour une distance donnée, le capteur percevra des distances différentes suivant le matériau des murs. Ces deux exemples montrent que le modèle métrique associé à un capteur ne dépend pas que du capteur. Il dépend aussi fortement de propriétés locales de l’environnement qui sont difficiles ou impossibles à prendre en compte dans un modèle du capteur seul. Robotique Mobile - david.filliat@ensta-paristech.fr 32CHAPITRE 3. LES SOURCES D’INFORMATION 3.3 Fusion d’informations En résumé, les informations proprioceptives sont simples à utiliser, mais dérivent au cours du temps, tandis que les perceptions ne dérivent pas, mais souffrent des problèmes de variabilité perceptuelle et d’Ambiguïté. La solution pour résoudre ces problèmes est de fusionner ces deux types d’information. Il est par exemple possible d’utiliser les informations proprioceptives afin de distinguer deux positions physiquement différentes mais similaires pour le système perceptif. Ainsi deux lieux, dont la position relative mesurée par les données proprioceptives est non nulle, ne seront pas confondus. Cette solution est celle qui est mise en œuvre dans la majorité des systèmes de navigation, car elle permet d’utiliser les deux sources d’informations en limitant les défauts inhérents à chacune. Ainsi la dégradation progressive des informations proprioceptives est compensée par la reconnaissance de positions de l’environnement grâce aux perceptions. Inversement, le problème de perceptual aliasing est réglé par l’utilisation des données proprioceptives. Comme nous le verrons dans ce cours, il existe de nombreuses méthodes pour utiliser conjointement les deux sources d’informations. Ces méthodes diffèrent par leur capacité à utiliser de manière plus ou moins efficace les avantages des deux types d’informations. D’une manière gé- nérale, la qualité d’un système de navigation dépend fortement de cette capacité. 33 Robotique Mobile - david.filliat@ensta-paristech.fr3.3. FUSION D’INFORMATIONS Robotique Mobile - david.filliat@ensta-paristech.fr 34CHAPITRE 4. MATÉRIELS COURANTS EN ROBOTIQUE MOBILE Chapitre 4 Matériels courants en robotique mobile 4.1 Les bases mobiles Nous présentons rapidement les différents types de bases mobiles utilisées en robotique, en nous focalisant sur les plateformes mobiles terrestres pour le milieu intérieur. Ce cours ne portant pas sur les méthodes de commande, nous ne rentrerons pas en détails dans les modèles cinématiques ou dynamiques associés. Nous ne parlerons pas non plus des effecteurs permettant au robot d’agir sur son environnement, tels que les bras articulés. 4.1.1 Holonomie En robotique, une plateforme est dite holonome lorsque que le nombre de degrés de libertés contrôlables est égal au nombre total de degrés de liberté. Pour un robot se déplaçant sur un plan, il y a 3 degrés de liberté (deux translations et une rotation). A partir d’une position donnée, une plateforme holonome devra donc pouvoir se déplacer en avant, sur le coté et tourner sur elle-même. Cette capacité permet de contrôler très simplement le robot car tous les déplacements imaginables sont réalisables, ce qui simplifie le problème de planification de trajectoire. De nombreuses plateformes simples ne sont pas holonomes. C’est par exemple le cas des voitures, ce qui oblige à manœuvrer pour réaliser certaines trajectoires. Par exemple, il est né- cessaire de faire un créneau pour réaliser un déplacement latéral. Ces contraintes devront donc être prises en compte lors de la planification de trajectoires. Nous allons cependant voir quelques mécanismes permettant d’obtenir des plateformes holonomes, ou s’en approchant. 4.1.2 Les plates-formes différentielles Une des configurations les plus utilisées pour les robots mobiles d’intérieur est la configuration différentielle qui comporte deux roues commandées indépendamment. Une ou plusieurs roues folles sont ajoutées à l’avant ou à l’arrière du robot pour assurer sa stabilité (Figure 4.1). Cette plate-forme est très simple à commander, puisqu’il suffit de spécifier les vitesses des deux roues, 35 Robotique Mobile - david.filliat@ensta-paristech.fr4.1. LES BASES MOBILES et permet de plus au robot de tourner sur place. Cette possibilité permet de traiter dans certains cas le robot comme un robot holonome, ce qui va simplifier la planification de déplacement et la commande du robot. r l v ω ω1 FIGURE 4.1 – Exemple de plate-forme différentielle. Pioneer 2 DX de la société MobileRobots. Urban Robot de la société iRobot. L’estimation du déplacement par odométrie est également très simple à partir de la mesure des vitesses de rotation des deux roues ω1 et ω2. Les vitesses de translation v et de rotation ω sont en effet données par : v = ω1r +ω2r 2 ω = ω1r −ω2r 2l Ce type de plate-forme peut également être utilisé avec des chenilles ce qui fournit une capacité de franchissement de petits obstacles intéressante (Figure 4.1). Ces plates-formes peuvent ainsi être utilisées en extérieur ou dans des décombres. L’utilisation de chenilles conduit cependant à une odométrie très bruitée à cause du contact mal défini entre les chenilles et le sol qui glissent beaucoup, notamment lors des rotations. L’estimation de la direction par l’odométrie sur ce type de plates-formes est donc en général rapidement inutilisable. 4.1.3 Les plates-formes omnidirectionnelles Les plates-formes omnidirectionnelles permettent de découpler de manière plus nette le contrôle de la rotation et de la translation d’un robot et sont donc quasiment holonomes. Il existe différents types de plateformes omnidirectionnelles. Le premier utilise trois ou quatre roues qui tournent à la même vitesse pour fournir une translation et un mécanisme qui permet d’orienter simultanément ces roues dans la direction du déplacement souhaitée (Figure 4.2). Le corps du robot lui-même n’effectue pas de rotation mais uniquement des translations. Ce système permet un contrôle très simple et relativement rapide car les changement de direction ne concernent que les roues et peuvent donc se faire très vite. Par contre ces plates-formes sont relativement limitées en capacité de franchissement et requièrent un sol très plan. Une deuxième catégorie de plateformes utilise des roues dites "suédoises", qui n’offrent pas de résistance au déplacement latéral (Figure 4.3). La plateforme comporte trois roues dont les axes sont fixes. Les déplacements dans toutes les directions et en rotation sont obtenus en faisant varier individuellement les vitesses des roues. La plateforme tourne sur place lorsque les trois Robotique Mobile - david.filliat@ensta-paristech.fr 36CHAPITRE 4. MATÉRIELS COURANTS EN ROBOTIQUE MOBILE FIGURE 4.2 – Exemple de plate-forme omnidirectionnelle à roues orientables. FIGURE 4.3 – Exemple de plate-forme omnidirectionnelle à roues suédoises. roues tournent dans le même sens, à la même vitesse. Lorsque une roue est fixe, et que les deux autres tournent en sens opposé, la plateforme avance en direction de la roue fixe. Différentes combinaisons de vitesses permettent d’obtenir des déplacements quelconques. 4.1.4 Les plates-formes non holonomes Des plates-formes non holonomes, telles que les voitures, sont également utilisées en robotique mobile (Figure 4.4). C’est plus particulièrement le cas dans le domaine des véhicules intelligents. Ces plates-formes sont toutefois plus difficile à commander car elle ne peuvent pas tourner sur place et doivent manœuvrer, ce qui peut être difficile dans des environnements encombrés. La commande de ces plates-formes pour réaliser un déplacement particulier est un problème à part entière que nous n’aborderons pas dans ce cours. Par contre, il est possible de prendre en compte ces contraintes de manière relativement simple dans la planification (voir chapitre III). 37 Robotique Mobile - david.filliat@ensta-paristech.fr4.1. LES BASES MOBILES FIGURE 4.4 – Exemple de plate-forme non holonome de type Ackerman. 4.1.5 Les plates-formes à pattes FIGURE 4.5 – Exemples de robots à pattes. Hexapode de AAI Canada, Aibo de Sony, Nao de Aldebarran Robotics. Des plates-formes à deux, quatre ou six pattes peuvent également être utilisée. Elle ont l’avantage théorique de pouvoir se déplacer sur des terrains assez complexes, même si en pratique la plupart de ces plates-formes ne fonctionnent que sur des sols plans. Les plates-formes à six pattes sont relativement pratiques car le robot peut être en équilibre permanent sur au moins 3 pattes, ce qui facilite le contrôle. Les plates-formes à deux ou quatre pattes sont plus complexes à commander et le simple contrôle de la stabilité et d’une allure de marche correcte reste aujourd’hui difficile, ce qui les rend en général relativement lentes. L’odométrie de ce type de plates-formes est de plus généralement d’assez faible qualité. Ces différents facteurs font que ces plates-formes sont rarement utilisées quand l’application visée a un besoin précis de positionnement et de navigation. De telles plates-formes commencent cependant à apparaître à relativement grande échelle (par exemple le robot Nao de Aldebarran Robotics). Robotique Mobile - david.filliat@ensta-paristech.fr 38CHAPITRE 4. MATÉRIELS COURANTS EN ROBOTIQUE MOBILE 4.2 Les capteurs Nous présentons dans cette section les capteurs les plus couramment utilisés en robotique mobile pour les besoins de la navigation ainsi que des modèles probabilistes associés qui seront utilisés dans plusieurs méthodes de navigation. 4.2.1 Les capteurs proprioceptifs Les capteurs proprioceptifs permettent une mesure du déplacement du robot. Ce sont les capteurs que l’on peut utiliser le plus directement pour la localisation, mais ils souffrent d’une dérive au cours du temps qui ne permet pas en général de les utiliser seuls. Odométrie L’odométrie permet d’estimer le déplacement de la plateforme à partir de la mesure de rotation des roues (ou du déplacement des pattes). La mesure de rotation est en général effectuée par un codeur optique disposé sur l’axe de la roue, ou sur le système de transmission (par exemple sur la sortie de la boite de vitesse pour une voiture). Le problème majeur de cette mesure est que l’estimation du déplacement fournie dépend très fortement de la qualité du contact entre la roue (ou la patte) et le sol. Elle peut être relativement correcte pour une plate-forme à deux roues motrices sur un sol plan de qualité uniforme, mais est en général quasiment inutilisable seule pour un robot à chenille par exemple. Pour limiter ce problème, il peut être intéressant de positionner le codeur optique sur une roue non motrice qui glissera moins. Notons cependant que l’erreur de ces méthodes se retrouve en général principalement sur l’estimation de la direction du robot, tandis que la mesure de la distance parcourue est souvent de meilleure qualité. Modèle probabiliste La majorité des modèles de localisation et de cartographie présentés dans ce cours (voir chapitre III) vont faire appel à un modèle probabiliste de cette mesure. Il existe deux types de modèles : les modèles directs (donnant la probabilité de la mesure en fonction du déplacement réel) et les modèles inverses (donnant la probabilité du déplacement réel en fonction de la mesure). Dans le cas de l’odométrie, la plupart des méthodes utilisent un modèle inverse afin d’interpréter les mesures réalisées. Il existe divers types de modèles, mais les plus simples et les plus utilisés sont des modèles supposant que les paramètres du mouvement (direction θ et longueur d du déplacement, changement de direction φ du robot, cf Figure 4.6, gauche) sont statistiquement indépendants et soumis à un bruit Gaussien : P(d,θ,φ|do,θo,φo) = e −  d−do σd 2 ×e −  θ−θo σθ 2 ×e −  φ−φo σφ 2 où d,θ,φ sont les valeurs réelles et do,θo,φo les valeurs observées. 39 Robotique Mobile - david.filliat@ensta-paristech.fr4.2. LES CAPTEURS FIGURE 4.6 – Modèle probabiliste de l’odométrie. Paramètres du déplacement à gauche. Exemple de densité de probabilité après un déplacement rectiligne à droite. En général, les écarts types de ces différentes gaussiennes (σd,σθ,σφ) dépendent de la valeur de la mesure : l’erreur sur la longueur du déplacement pourra par exemple être proportionnelle à cette longueur : σd = γ×d Il est possible d’utiliser des modèles beaucoup plus fins de l’odométrie reposant sur le processus physique utilisé pour la mesure du déplacement. Il est par exemple possible de faire une hypothèse de bruit gaussien sur le capteur réalisant la mesure de rotation de chaque roue puis, par calcul, d’en déduire l’erreur sur l’estimation du déplacement du robot. Cependant, une telle précision n’est souvent pas nécessaire dans de nombreux algorithmes. Comme nous le verrons au chapitre sur la localisation, ces modèles probabilistes peuvent être utilisés pour générer des positions possibles du robot selon la distribution de probabilité déduite de la mesure de l’odométrie. Les systèmes radar doppler et optiques Au lieu de mesurer le déplacement par des mesures sur les roues, il est possible d’utiliser un radar pointé vers le sol qui permet de mesurer la vitesse du véhicule par effet Doppler. Il existe aussi des systèmes optiques, basés sur le même principe que les souris d’ordinateur, qui mesurent le déplacement du véhicule en analysant le mouvement relatif du sol (figure 4.7). Ces systèmes présentent l’avantage d’être plus précis que la mesure passant par les roues, notamment car ils sont indépendants des dérapages possible de ces roues. Il sont cependant en général relativement chers et encombrants et sont assez rares sur les petites plates-formes. Robotique Mobile - david.filliat@ensta-paristech.fr 40CHAPITRE 4. MATÉRIELS COURANTS EN ROBOTIQUE MOBILE FIGURE 4.7 – Exemple d’odomètre optique Correvit L-CE de CORRSYS- DARTON Sensorsysteme GmbH. Les systèmes inertiels La mesure de déplacement potentiellement la plus fiable provient de la mesure des accélé- rations de la plate-forme par des capteurs inertiels. Cette mesure est potentiellement fiable car elle ne dépend pas de la nature locale de l’environnement, cependant les capteurs inertiels sont tous entachés de bruit de mesure qui produit une dérive de l’estimation de la position au cours du temps. La qualité des mesures inertielles dépend très fortement du type de capteurs utilisées. Historiquement, les premiers capteurs ont été réalisés à base de systèmes mécaniques et peuvent fournir des mesures extrêmement précise, au prix d’un coût et d’une masse très élevés. Ces dernières années ont vu apparaître de nouvelles technologies de capteurs, notamment basés sur les techniques de micro-électronique, qui ont permis la réalisation de capteurs inertiels “bas coût” et l’apparition de ces capteurs dans des produits grand public. La précision de ces capteurs est toutefois de quelques ordres de grandeur plus faible, ce qui rend leur utilisation isolée quasiment impossible. Ces capteurs fournissent toutefois un très bon complément à l’odométrie, notamment pour l’estimation de la direction. L’accélération en translation de la plate-forme est mesurée par des accéléromètres. On dispose en général deux accéléromètres pour prendre des mesures dans deux directions perpendiculaires du plan de déplacement du robot. Un troisième peut être disposé verticalement afin de mesurer l’accélération en trois dimensions. L’accélération angulaire est mesurée par des gyromètres. On dispose en général un gyromètre selon l’axe vertical, qui permet ainsi de mesurer l’angle de lacet du robot. Deux autres gyromètres peuvent être positionnés selon deux axes du plan de déplacement afin d’estimer la direction en trois dimensions. Il est également possible de mesurer la rotation du robot par rapport à un axe de référence en utilisant un gyroscope. Cette mesure s’effectue en général par rapport à un axe de référence mis en rotation et isolé mécaniquement le plus possible du robot, ce qui rend sa direction indépendante de la direction du robot. Cette mesure peut être moins bruitée que l’intégration du signal d’accélération mais dépend très fortement de la qualité de la réalisation mécanique du système, 41 Robotique Mobile - david.filliat@ensta-paristech.fr4.2. LES CAPTEURS qui dépend très directement du prix du gyroscope. Enfin, les magnétomètres permettent, par la mesure du champ magnétique terrestre, de dé- duire la direction du nord. Ces capteurs peuvent utiliser différentes technologies et ont l’avantage de fournir une direction de référence stable au cours du temps (au contraire des gyroscopes qui dérivent). Ces capteurs sont toutefois très délicats à utiliser en intérieur car ils sont très sensibles aux masses métalliques présentes dans les bâtiments et leur structure. En pratique, on les utilise donc principalement en extérieur en apportant le plus grand soin à leur positionnement sur le robot pour éviter les influences des composants du robot, notamment les moteurs électriques. FIGURE 4.8 – Centrale intertielle Crista de Cloud Cap Technology. L’ensemble de ces éléments (accéléromètres, gyromètres, magnétomètres) peut être réuni pour former une centrale inertielle qui permet d’estimer complètement les six degrés de libertés de la position dans un espace à 3 dimensions. Les centrales inertielles “bas coût” sont cependant aujourd’hui de qualité insuffisante pour une utilisation isolée, tandis que les centrales de qualité correcte restent très chères. Ce domaine est cependant en évolution rapide avec l’arrivée de nouvelles technologies et l’apparition de centrales “bas coût” de bonne qualité devrait se faire dans les prochaines années. L’utilisation des données fournies par ce type de senseurs passe aussi en général par un modèle probabiliste, qui peut être du type de celui présenté pour l’odométrie. Cependant, la gestion du bruit interne de ces capteurs demande en général des modèles beaucoup plus précis, qui estiment explicitement la dérive des capteurs afin de la corriger. Ceci permet de bénéficier de modèles plus précis en sortie également. 4.2.2 Les télémètres Il existe différents types de télémètres, qui permettent de mesurer la distance aux éléments de l’environnement, utilisant divers principes physiques. Télémètres à ultrason Les télémètres à ultrason sont historiquement les premiers à avoir été utilisés. Il utilisent la mesure du temps de vol d’une onde sonore réfléchie par les obstacles pour estimer la distance Robotique Mobile - david.filliat@ensta-paristech.fr 42CHAPITRE 4. MATÉRIELS COURANTS EN ROBOTIQUE MOBILE Zone aveugle Obstacle Télémètre Distance mesurée cone de diffusion de l’onde sonore FIGURE 4.9 – Principe du télémètre à ultrasons et exemple de télémètre réel. (Figure 4.9). Ces télémètres sont très simple et peu cher, et sont donc très répandus, mais possèdent de nombreux inconvénients. En premier lieu, deux télémètres voisins ne peuvent être utilisés simultanément, car il est impossible de savoir par lequel des deux télémètres une onde réfléchie a été émise (phénomène de “crosstalk”). Un robot possédant plusieurs télémètres doit donc les activer l’un après l’autre, ce qui entraîne un taux de rafraîchissement global des mesures relativement faible. Ces télémètres possèdent une “zone aveugle”, de quelques centimètres, en dessous de laquelle ils ne peuvent détecter les obstacles. Cette zone est due a une temporisation entre l’émission de l’onde sonore et le début de la détection de l’onde réfléchie qui est nécessaire pour ne pas perturber cette mesure. De plus, l’onde réfléchie est très sensible aux conditions environnementales locales. Ainsi, si l’angle entre l’obstacle et la direction de l’onde sonore est trop faible, il n’y aura pas de retour de l’onde sonore et l’obstacle ne sera pas perçu. L’onde de retour dépend également de la texture de l’obstacle. Un mur couvert de moquette pourra par exemple ne pas être détecté. Les télémètres ultrason détectent les obstacles se situant dans un cône relativement large (d’angle au sommet d’environ 30 degrés). Cette caractéristique peut être à la fois un avantage et un inconvénient. C’est un inconvénient car un obstacle détecté n’est pas localisé en angle à l’intérieur du cône de détection, et on obtient donc une mesure de la position relativement imprécise. C’est par contre un avantage car des éléments relativement fins (les pieds de table ou de chaise par exemple) sont détectés dans ce cône, alors qu’il pourraient ne pas être détectés par des télémètres ayant un angle d’ouverture très fin. Télémètres à infrarouge Les télémètres infrarouges possèdent l’avantage d’avoir un cône de détection beaucoup plus restreint. Il utilisent une lumière infrarouge au lieu d’une onde sonore pour la détection et peuvent être basés sur différentes techniques qui permettent de recueillir plus ou moins d’information. Il est possible de mesurer simplement le retour ou le non-retour d’une impulsion codée, ce 43 Robotique Mobile - david.filliat@ensta-paristech.fr4.2. LES CAPTEURS FIGURE 4.10 – Principe du télémètre infrarouge à triangulation et exemple de télémètre réel (Sharp). qui permet de détecter la présence ou l’absence d’un obstacle dans une certaine portion de l’espace. Il est également possible de réaliser une triangulation sur le faisceau de retour de l’onde lumineuse, ce qui permet d’avoir une mesure de la distance de l’obstacle (figure 4.10). Les inconvénients de ces télémètres sont liés à leur portée, en général relativement restreinte, et à leur sensibilité aux sources de lumières qui contiennent un fort rayonnement infrarouge. Un projecteur du type de ceux utilisés pour la télévision pointé sur le robot, par exemple, sature en général complètement le récepteur et empêche toute détection d’obstacle. Ils sont également très sensibles à la couleur et à la nature de la surface de l’obstacle (par exemple, ils détectent difficilement les vitres et les obstacles noir mats). Télémètres laser Les télémètres les plus utilisés à l’heure actuelle pour des applications de cartographie et de localisation sont les télémètres laser à balayage. Ils utilisent un faisceau laser mis en rotation afin de balayer un plan, en général horizontal, et qui permet de mesurer la distance des objets qui coupent ce plan (Figure 4.11, 4.11). Cette mesure peut être réalisée selon différentes techniques soit en mesurant le temps de vol d’une impulsion laser, soit par triangulation. Les télémètres courants ont une bonne résolution angulaire car ils permettent d’obtenir une mesure de distance tout les demi degrés, sur une zone de 180 ou 360 degrés selon les modèles. La mesure est de plus relativement précise (avec un bruit de l’ordre de quelques centimètres) à une distance relativement grande (plusieurs dizaines de mètres). La fréquence d’acquisition est en général de l’ordre de la dizaine de Hertz, voire proche de la centaine pour certains modèles. Ces télémètres sont très utilisés en environnement intérieur car il fournissent des données abondantes et précises sur la position des objets caractéristiques de l’environnement tels que les murs. Ils possèdent toutefois un certain nombre d’inconvénients. En premier lieu, leur zone de perception est restreinte à un plan et ne permet donc pas de détecter les obstacles situés hors de ce plan (un petit objet posé au sol par exemple). Ils ne peuvent pas non plus détecter les objets ne réfléchissant pas correctement la lumière du laser (en premier lieu les vitres, mais aussi certains objets très réfléchissants, tels que les objets chromés). Pour limiter ces inconvénients, il est possible de les utiliser en conjonction avec des capteurs à ultrason qui ont un cône de Robotique Mobile - david.filliat@ensta-paristech.fr 44CHAPITRE 4. MATÉRIELS COURANTS EN ROBOTIQUE MOBILE Télémètre Mesure obtenue FIGURE 4.11 – Illustration du principe de fonctionnement d’un télémètre Laser et un exemple de Télémètre Laser à balayage, fournissant 720 mesure réparties sur 360 degrés, à 5 Hz (marque Ibeo). détection plus large et qui peuvent détecter les vitres. Enfin, la plupart des algorithmes de cartographie et de localisation existants supposent que le plan de mesure du télémètre laser reste horizontal et à hauteur constante, ce qui n’est plus vrai en cas de sol irrégulier ou, dans la majorité des cas, en extérieur. Il est alors nécessaire de passer à une localisation et une cartographie en 3D. FIGURE 4.12 – Un exemple de télémètre laser à balayage selon 2 axes (à gauche) et de camera permettant d’obtenir une image de profondeur de 320x240 pixels (à droite). Il existe des télémètres laser balayant l’espace selon deux axes 4.12. Ils permettent ainsi d’obtenir une image de distance selon un angle solide de l’ordre de quelques dizaines de degrés dans les deux dimensions. Ces télémètres restent toutefois cher et fragile du fait de la mécanique nécessaire au balayage. De plus, la fréquence d’acquisition est relativement faible (de l’ordre de 45 Robotique Mobile - david.filliat@ensta-paristech.fr4.2. LES CAPTEURS quelques Hertz), ce qui pose problème lorsque le robot est en mouvement. Ces télémètres sont donc plutôt destinés à des applications relativement statiques comme la création de modèles 3D. Il existe également des systèmes sans balayage permettant d’obtenir une image de profondeur de la même manière qu’une caméra couleur standard. Plusieurs technologies sont utilisées, soit par mesure de temps de vol d’une impulsion laser ou infrarouge, soit par triangulation à partir de projecteurs infrarouges. Ces capteurs sont récents, mais sont très intéressants pour la robotique mobile car ils permettent d’obtenir une information dense à une fréquence assez élevée (image de profondeur de 320x240 à 30 Hz pour la caméra Kinect par exemple, figure 4.12). Ces informations peuvent être couplées à une image couleur, on parle alors de caméra RGBD (D pour Depth). Il reste cependant certaines limitations, notamment pour l’emploi en extérieur où l’information de profondeur peut être perdue à cause de la lumière du soleil qui masque la lumière infrarouge. FIGURE 4.13 – Un exemple de télémètre laser à balayage a 64 nappes conçu par Velodyne. Enfin, principalement pour les véhicules intelligents, il existe un compromis qui consiste à utiliser plusieurs nappes laser avec différentes inclinaisons afin d’avoir des modèles assez précis de l’environnement sur 360 degrés (figure 4.13). Ces capteurs restent assez lourds et chers, mais permettent de réaliser quasiment l’ensemble des tâches nécessaires pour un véhicule comme la localisation, la cartographie et la détection de piétons ou de véhicules. Modèle probabiliste Les modèles probabilistes associés aux télémètres permettent de donner la probabilité de la mesure en fonction de la distance réelle de l’obstacle. Pour les capteurs réalisant plusieurs mesures, les probabilités sont en général estimées pour chacune des mesures individuelles prises depuis une position, puis agglomérées par produit en supposant les mesures indépendantes : P(Scan|Obstacles) = M ∏ i=1 P(mesurei |Obstacles) Robotique Mobile - david.filliat@ensta-paristech.fr 46CHAPITRE 4. MATÉRIELS COURANTS EN ROBOTIQUE MOBILE FIGURE 4.14 – Modèle probabiliste de télémètre par composition d’évènements élémentaires et exemple d’application sur des données réelles de sonars ou de télémètres laser (tiré de [135]). Pour estimer la probabilité d’une mesure individuelle, il est possible d’utiliser une simple loi gaussienne autour de la distance réelle comme modèle probabiliste, mais les modèles sont en général un peu plus évolués et utilisent une combinaison de lois qui modélisent plusieurs phénomènes qui peuvent être responsables de la mesure (Figure 4.14) : – la mesure effective de l’obstacle visé, modélisé par une gaussienne en général – la perception d’un obstacle imprévu, par exemple une personne ou un objet dynamique non présent dans la représentation du monde, modélisé par une loi décroissante telle qu’une exponentielle – la non détection d’un écho, qui donne une mesure à la distance maximale du télémètre, modélisé par un pic. Les paramètres de cette combinaison de lois peuvent être réglés manuellement ou estimés à partir d’un ensemble de mesures, par exemple en utilisant un algorithme de maximisation de l’espérance. Ces modèles peuvent être adaptés à tout les types de télémètres (figure 4.14). 47 Robotique Mobile - david.filliat@ensta-paristech.fr4.2. LES CAPTEURS 4.2.3 Les caméras L’utilisation d’une caméra pour percevoir l’environnement est une méthode attractive car elle semble proche des méthodes utilisées par les humains et fournit un grande quantité d’information sur l’environnement. Le traitement des données volumineuses et complexes fournies par ces capteurs est cependant souvent difficile, mais c’est une voie de recherche très explorée et prometteuse pour la robotique. Caméras simples Une caméra standard peut être utilisée de différentes manières pour la navigation d’un robot mobile. Elle peut être utilisée pour détecter des amers visuels (des points particuliers qui servent de repère, tels que des portes ou des affiches) à partir desquels il sera possible de calculer la position du robot. Si ces amers sont simplement ponctuels, ou de petite taille, il sera en général simplement possible d’estimer leur direction. Dans le cas ou les amers sont des objets connus en 2 ou 3 dimensions, il sera en général possible d’estimer complètement la position du robot par rapport à la leur. Elle peut également être utilisée pour détecter des “guides” de navigation pour le robot, tels que des routes ou des couloirs. FIGURE 4.15 – Illustration du principe de base du flot optique. Il est également possible d’utiliser globalement une image pour caractériser une position ou un point de vue dans l’environnement. Il faudra alors comparer cette image aux nouvelles images acquises par le robot pour savoir si le robot est revenu à cette position. Cette comparaison peut faire appel à différentes techniques, notamment celles utilisées dans le domaine de l’indexation d’image. Lorsque le robot est en mouvement, il est également possible de tirer parti du flot optique (le mouvement apparent des objets dans l’image, voir figure 4.15), afin d’avoir une estimation de la distance des objets. En effet, les objets les plus proches ont un déplacement apparent plus important que les objets lointains. Cette méthode permet notamment de réaliser un évitement d’obstacles ou de réaliser une reconstruction tridimensionnelle de l’environnement (par des techniques connues sous le nom de structure from motion, voir section 4.2.3). Robotique Mobile - david.filliat@ensta-paristech.fr 48CHAPITRE 4. MATÉRIELS COURANTS EN ROBOTIQUE MOBILE Caméras stéréoscopiques FIGURE 4.16 – Exemple de données fournies par des caméras stéréoscopiques. Lorsque l’on dispose de deux caméras observant la même partie de l’environnement à partir de deux points de vue différents, il est possible d’estimer la distance des objets et d’avoir ainsi une image de profondeur (Figure 4.16), qui peut être utilisée pour l’évitement d’obstacles ou la cartographie. Cette méthode suppose toutefois un minimum d’éléments saillants dans l’environnement (ou un minimum de texture) et peut être limitée, par exemple dans un environnement dont les murs sont peint de couleurs uniformes. La qualité de la reconstruction risque également de dépendre fortement des conditions de luminosité. La résolution et l’écartement des deux caméras impose également les profondeurs minimum et maximum qui peuvent être perçues, ce qui peut être limitatif pour la vitesse de déplacement du robot. Des techniques similaires peuvent également être utilisées pour estimer la profondeur à partir d’une caméra en mouvement (méthodes de structure from motion, voir par exemple [67]), la difficulté étant alors d’estimer à la fois la profondeur et les positions relatives de la caméra lors de la prise des deux images. Caméras panoramiques Les caméras panoramiques (catadioptriques) sont constituées d’une caméra standard pointant vers un miroir de révolution (par exemple un simple cône, ou un profil plus complexe qui peut s’adapter à la résolution exacte que l’on veut obtenir sur le panorama) (figure 4.17). L’image recueillie permet d’avoir une vision de l’environnement sur 360 degrés autour de la camera. Le secteur angulaire vertical observé dépend de la forme du miroir et peut être adapté aux besoins de chaque application (Figure 4.17). Ce type de caméra est très pratique pour la navigation car une image prise par une camera panoramique orientée verticalement permet de caractériser une position, indépendamment de la direction du robot. En effet, pour une position donnée et pour deux orientations différentes, la même image sera formée par la caméra, à une rotation autour du centre près, tandis que pour une caméra standard, orientée horizontalement, la scène serait différente. Ces caméras sont donc très pratiques lorsque l’on caractérise une position de manière globale, mais peuvent aussi être utilisées pour détecter des amers ou pour estimer le flux optique. Dans ce cas, toutefois, comme la géométrie de l’image formée est relativement complexe et 49 Robotique Mobile - david.filliat@ensta-paristech.fr4.2. LES CAPTEURS FIGURE 4.17 – Principe des caméras panoramiques catadioptriques, exemple d’image obtenue et illustration du flux optique. comme la résolution obtenue varie énormément selon la direction observée, les algorithmes doivent être adaptés, ce qui pose un certain nombre de problèmes. Concernant le flux optique, cependant, les caméras panoramiques possèdent l’avantage de contenir toujours le point d’expansion et le point de contraction dans l’image, ce qui rend l’estimation du mouvement beaucoup plus aisée (figure 4.17). 4.2.4 Autres capteurs Les capteurs tactiles Les robots peuvent être équipés de capteurs tactiles, qui sont le plus souvent utilisés pour des arrêts d’urgence lorsqu’il rencontre un obstacle qui n’avait pas été détecté par le reste du système de perception. Ces capteurs peuvent être de simples contacteurs répartis sur le pourtour du robot. Il ne détectent alors le contact qu’au dernier moment. Il est également possible d’utiliser des petites tiges arquées autour du robot pour servir d’intermédiaire à ces contacteurs, ce qui permet une Robotique Mobile - david.filliat@ensta-paristech.fr 50CHAPITRE 4. MATÉRIELS COURANTS EN ROBOTIQUE MOBILE détection un peu plus précoce et donne ainsi plus de marge pour arrêter le robot. Les balises Dans certaines applications, il est également possible d’utiliser des balises dont on connaît la position, et qui pourront être facilement détectées par le robot, afin de faciliter sa localisation. Des techniques très diverses peuvent être utilisées pour ces balises. On peut par exemple utiliser un signal radio, émis de manière omnidirectionnel par la balise. Le robot sera alors équipé d’une antenne directionnelle qui lui permettra de détecter la direction des différentes balises, afin de déduire sa position par triangulation. On peut également utiliser des codes couleurs ou des codes barres qui pourront être détectés par une caméra. Le GPS Les besoins de localisation étant omniprésents dans de très nombreux secteurs de la vie actuelle, l’idée d’avoir un système de localisation le plus universel possible à donné lieu à l’apparition du Global Positionning System (GPS). C’est un système de balises dont on a placé les balises sur des satellites en orbite terrestre et qui est par conséquent accessible de quasiment partout à la surface du globe. Ce système permet donc d’avoir une mesure de sa position dans un repère global couvrant la terre avec une précision variant de quelques dizaines de mètres à quelques centimètres suivant les équipements. Ce système est cependant loin de résoudre tous les problèmes de localisation des robots mobiles. Il fonctionne en effet difficilement dans des environnements urbains, et n’est pas utilisable à l’intérieur des bâtiments. Sa précision est de plus souvent trop faible pour qu’un robot terrestre puissent utiliser ces informations seules. En pratique, il est souvent couplé à un système inertiel qui permet de palier aux pertes du signal GPS et il ne remplace de toute façon pas les capteurs du robot qui lui permettent de percevoir son environnement immédiat, qui constitue la source d’information principale pour la navigation à court terme (par exemple l’évitement d’obstacles, par opposition à la navigation à long terme qui consiste à rejoindre un but distant). 4.3 Pour aller plus loin Sensors for Mobile Robots : Theory and Application, Everett Une version en ligne est disponible : http://www-personal.engin.umich.edu/~johannb/my_book.htm 51 Robotique Mobile - david.filliat@ensta-paristech.fr4.3. POUR ALLER PLUS LOIN Robotique Mobile - david.filliat@ensta-paristech.fr 52Deuxième partie Navigation réactive 53 Robotique Mobile - david.filliat@ensta-paristech.frDans cette partie, nous présentons différentes stratégies de navigation réactive. Ces stratégies peuvent être utilisées dans des architectures de contrôle purement réactives, mais aussi comme modules de bas-niveau dans une architecture hybride. Par définition, les stratégies de navigation réactives n’utilisent que les valeurs courantes des capteurs (ou des valeurs sur une petite fenêtre temporelle), et non des données provenant d’un modèle interne, pour décider de l’action à effectuer. 55 Robotique Mobile - david.filliat@ensta-paristech.frRobotique Mobile - david.filliat@ensta-paristech.fr 56CHAPITRE 5. NAVIGATION VERS UN BUT Chapitre 5 Navigation vers un but Nous commençons ici par des méthodes de navigation correspondant aux deux premières catégories de stratégies de navigation définies dans le chapitre 2, c’est à dire l’approche d’un but défini par un objet ou une configuration d’amers. 5.1 Véhicules de Braitenberg Dans son livre “Vehicles : Experiments in Synthetic Psychology”, Valentino Braitenberg [19] décrit une série d’expériences dans lesquelles des robots extrêmement simples peuvent montrer des comportements complexes, qu’un observateur humain associe en général à différents types d’émotions telles que la peur ou l’agression. Nous nous intéressons ici simplement à la structure de ces robots, qui permet de réaliser simplement des comportements pour rejoindre un but visible. Cette structure est devenue l’archétype des méthodes réactives simples. But M1 M2 C1 C2 FIGURE 5.1 – Dans les véhicules de Braitenberg, la vitesse de chacun des deux moteurs du robot dépend de la valeurs de deux capteurs qui détectent la lumière émise par le but. Dans le livre de Braitenberg, le but est matérialisé par une lumière, visible depuis tout l’environnement. Le robot est simplement une plate-forme différentielle, constituée de deux roues dont 57 Robotique Mobile - david.filliat@ensta-paristech.fr5.2. MODÈLE DE CARTWRIGHT ET COLLET on commande les vitesses de rotation et munie de deux capteurs de lumière situés de part et d’autre de l’avant du robot (Figure 5.1). L’architecture interne du robot est simplement constituée de liens entre ces capteurs et les moteurs qui permettent de calculer la vitesse des moteurs en fonction des valeurs des capteurs. En faisant varier les paramètres des connexions, il est alors possible de définir différents comportements du robot. Si la vitesse de chaque moteur est reliée à la valeur du capteur du coté opposé avec un coefficient positif, le robot se dirigera naturellement vers le but. Si, par contre, la vitesse de chaque moteur est reliée à la valeur du capteur du même coté avec un coefficient positif, le robot fuira le but. Ces véhicules réalisent simplement une remontée ou une descente de gradient sur l’intensité de la lumière. Ils correspondent à un simple contrôleur proportionnel en automatique et sont donc relativement sujets à des oscillations dans le comportement du robot. Ils supposent de plus que le but est visible depuis tout l’environnement, ce qui est rarement le cas en pratique. Ce modèle est donc intéressant car c’est la méthode la plus simple possible pour réaliser un déplacement vers un but, mais est difficile à utiliser dans une application réelle. 5.2 Modèle de Cartwright et Collet Le “snapshot model” a été conçu pour expliquer comment des abeilles peuvent utiliser des informations visuelles pour rejoindre un point donné de l’environnement. Il permet à un robot de rejoindre un but dont la position est définie par la configuration d’amers de l’environnement autour de ce but. Amer Amer Amer FIGURE 5.2 – Exemple de snapshot caractérisant la position du but. Le robot mémorise un panorama contenant la position et la taille apparente des amers. Le système perceptif du robot doit lui permettre de détecter la direction et la taille des amers autour de lui. Le robot commence par mémoriser le but en enregistrant la configuration des amers vus depuis la position de ce but (un snapshot, Figure 5.2). Robotique Mobile - david.filliat@ensta-paristech.fr 58CHAPITRE 5. NAVIGATION VERS UN BUT Perception courantes Perceptions depuis le but FIGURE 5.3 – Pour atteindre le but, chaque amer perçu est associé à un des amers mémorisés. Pour chaque appariement, on déduit un vecteur tangentiel dont la norme augmente avec l’écart entre amer perçus et mémorisés. La somme de ces vecteurs donne la direction à prendre pour atteindre le but. Lorsque, par la suite, le robot veut rejoindre ce but, il prend une nouvelle image des amers et, par comparaison entre la configuration courante et la configuration mémorisée au but, il peut déduire de manière très simple la direction dans laquelle se déplacer pour atteindre le but. Cette comparaison est basée sur un appariement entre les amers perçus et les amers mémorisés, chaque appariement permettant de calculer un vecteur dont la somme, pour tous les appariements d’amers, donne la direction à prendre pour rejoindre le but (Figure 5.3). Le robot effectue alors un déplacement de longueur fixée dans cette direction puis recommence le processus tant que le but n’est pas atteint. Là encore, le système est très simple et réalise une descente de gradient sur la configuration des amers afin d’atteindre le but. Il ne fonctionne cependant pas sur l’ensemble de l’environnement et la qualité du comportement obtenu dépend beaucoup de la configuration des amers qui sont utilisés, un ensemble d’amers lointains et bien répartis tout autour du robot donnant les meilleurs résultats. La qualité de l’appariement entre les amers est également primordiale, en effet, si un amer perçu est associé au mauvais amer mémorisé, le vecteur de déplacement déduit sera faux. Le modèle original supposait des amers noirs sur fond blanc, sans identité particulière, pour lequel l’appariement est relativement hasardeux. Il n’est donc pas applicable en pratique. D’autres travaux ont utilisé des amers colorés et différentes contraintes sur l’appariement qui permettent une meilleur robustesse et sont donc applicables à des robots réels [58]. La plupart des implantations de ce modèles supposent de plus que la direction du robot est connue afin de faciliter l’appariement. Avoir une estimation correcte de cette direction peut se révéler difficile en pratique. 59 Robotique Mobile - david.filliat@ensta-paristech.fr5.3. ASSERVISSEMENT VISUEL 5.3 Asservissement visuel L’asservissement visuel [30] (document disponible en ligne 1 ) est une technique d’asservissement de la position d’un robot qui est basée directement sur l’information extraite d’une image, sans modélisation intermédiaire de l’environnement. Développées à l’origine pour la commande des robots manipulateurs, ces techniques permettent également la commande de robots mobiles. FIGURE 5.4 – Illustration du principe de l’asservissement visuel : l’erreur entre une image courante et une image but (écart entre les croix rouges et vertes ici) est utilisée pour calculer une commande qui permettra au robot d’atteindre la position correspondant à l’image but. Dans ces approches, le but à atteindre est spécifié par l’image que le robot devra percevoir depuis cette position. Différentes mesures sont réalisées sur cette image (par exemple la détection de points d’intérêts) et la commande du robot est conçue pour amener à 0 l’écart entre la mesure réalisée sur l’image courante et la mesure réalisée sur l’image cible (figure 5.4). Les choix de mesures dans l’image et de la loi de commande peuvent être très variés, et vont conditionner les trajectoires obtenues par le robot, leur stabilité, leur robustesse aux mauvaises perceptions ou aux mauvaises modélisations du système, etc... Nous ne détaillerons pas ici ces approches, mais il existe plusieurs applications intéressantes en robotique mobile [15, 123, 34]. Notons que ces modèles sont souvent étendus pour fournir une navigation à long terme en enchainant des tâches de contrôle local sur des séquences d’images. Par exemple, [15] présente un système permettant de guider un robot en environnement intérieur à partir du suivi de motifs détectés sur le plafond par une caméra pointée à la verticale. En enchaînant des asservissements sur une séquence d’images, ce système permet au robot de refaire une trajectoire qui a été montrée au préalable par un opérateur. De même, [123] et [34] réalisent le guidage d’un véhicule en extérieur à l’aide d’une caméra pointée vers l’avant. 1. http://www.irisa.fr/lagadic/pdf/2002_hermes_chaumette.pdf Robotique Mobile - david.filliat@ensta-paristech.fr 60CHAPITRE 6. ÉVITEMENT D’OBSTACLES Chapitre 6 Évitement d’obstacles L’évitement d’obstacles est un comportement de base présent dans quasiment tous les robots mobiles. Il est indispensable pour permettre au robot de fonctionner dans un environnement dynamique et pour gérer les écarts entre le modèle interne et le monde réel. Les méthodes que nous présentons sont efficaces à condition d’avoir une perception correcte de l’environnement. Elles seront par exemple très efficaces avec un télémètre laser, mais donneront des résultats plus bruités avec des sonars. Pour limiter ce problème, il est possible d’appliquer ces méthodes sur une représentation locale (c’est-à-dire de l’environnement proche du robot et centrée sur le robot) de l’environnement qui sera construite en fonction des données de quelques instants précédents. Cette représentation intermédiaire permettra de filtrer une grande partie du bruit des données individuelles (en particulier pour les sonars). Il faut également faire attention à ce que les capteurs détectent tous les obstacles. Par exemple un laser à balayage ne verra pas les objets au dessous ou au dessus de son plan de balayage, et pourra voir du mal à percevoir les vitres. Pour cette raison, on utilise souvent une nappe laser couplée à des sonars, ou un système de plusieurs nappes laser inclinées. 6.1 Méthode des champs de potentiel Dans la méthode d’évitement d’obstacles par champs de potentiels, on assimile le robot à une particule se déplaçant suivant les lignes de courant d’un potentiel créé en fonction de l’environnement perçu par le robot. Ce potentiel traduit différents objectifs tels que l’évitement d’obstacles ou une direction de déplacement préférée. Il est calculé par sommation de différentes primitives de potentiels traduisant chacun de ces objectifs (Figure 6.1). Ces différents potentiels peuvent avoir une étendue spatiale limitée ou non (par exemple, n’avoir une influence que près des obstacles) et leur intensité peut dépendre ou non de la distance. Le gradient de ce potentiel donne, en chaque point de l’espace, la direction de déplacement du robot (Figure 6.1). Comme c’est ce gradient, et non la valeur absolue du potentiel, qui nous intéresse, il est possible de calculer directement en chaque point sa valeur par une simple somme vectorielle en ajoutant les valeurs issues des différents potentiels primitifs. Ainsi, pour un robot se déplaçant en ligne droite en espace ouvert et évitant les obstacles qu’il peut rencontrer, nous 61 Robotique Mobile - david.filliat@ensta-paristech.fr6.1. MÉTHODE DES CHAMPS DE POTENTIEL Déplacement selon une direction Eloignement d’une paroi Répulsion d’un point Attraction vers un point Potentiel Ligne de courant FIGURE 6.1 – Illustration de potentiels primitifs dont la combinaison guide les déplacements du robot. Le robot se déplacera selon les lignes de courant. FIGURE 6.2 – Illustration de la combinaison de différents potentiels primitifs. obtenons par exemple les lignes de courant illustrées figure 6.2. De plus, dans la pratique, pour l’évitement d’obstacles, le potentiel est en général calculé dans l’espace relatif au robot et ne sert qu’a décider de la vitesse et de la direction courante. Il n’est donc nécessaire de l’estimer que pour la position courante du robot, en sommant simplement la contribution des différents éléments perçus (Figure 6.3). Le principal inconvénient de cette méthode d’évitement d’obstacles est l’existence, pour certaines configurations d’obstacles (relativement courantes) de minimum locaux du potentiel qui ne permettent pas de décider de la direction à prendre (Figure 6.3). Ce problème peut être traité de différentes façons. Il est par exemple possible de déclencher un comportement particulier lorsque l’on rencontre un tel minimum (déplacement aléatoire, suivi de murs ....). Il est aussi possible d’imposer que le potentiel calculé soit une fonction harmonique, ce qui garanti qu’il n’ait pas de minima, mais rend son estimation beaucoup plus lourde en calcul. Le principe de ces champs de potentiels est formalisé sous le nom de schéma moteur par R. Arkin [4]. Pour lui, un schéma moteur est une action définie sous forme de potentiel en fonction des perceptions du robot. Ces schémas sont utilisés comme contrôleur de bas niveau dans une architecture hybride. Robotique Mobile - david.filliat@ensta-paristech.fr 62CHAPITRE 6. ÉVITEMENT D’OBSTACLES FIGURE 6.3 – Gauche : Illustration de la combinaison de différents potentiels primitifs dans l’espace relatif au robot. Droite : Exemple de minimum local dans un champ de potentiel. 6.2 Méthode Vector Field Histogram La méthode "Vector Field Histogram" [17] a été conçue spécifiquement pour utiliser une grille d’occupation locale construite a partir de capteurs à ultrasons. Cette grille est construite de manière très rapide par la méthode "Histogrammic in motion mapping" (voir section 11.2.3) qui produit une grille dont chaque cellule contient un nombre d’autant plus élevé qu’elle a souvent été perçue comme contenant un obstacle (Figure 6.4 haut). Un histogramme représentant l’occupation de l’environnement autour du robot est ensuite construit à partir de cette grille d’occupation locale. Pour cela, l’environnement est discrétisé en secteurs angulaires pour lesquels la somme des valeurs des cellules est calculée (figure 6.4 bas). Un seuil permettant de tolérer un certain bruit est ensuite utilisé pour déterminer les directions possibles pour le robot : toutes les directions dont la valeur est inférieure au seuil sont considé- rées. Le choix de la direction est finalement réalisé parmi les directions possibles en fonction de contraintes externes (par exemple la direction la plus proche de la direction du but). Cette méthode est extrêmement rapide (elle fonctionne sur un PC 386 à 20MHz !) et a permis historiquement un déplacement réactif à des vitesses assez élevées (environ 1 m/s). Diverses améliorations pour permettre le réglage de la vitesse du robot en fonction de la densité des obstacles ou de la largeur de l’espace angulaire libre sont possibles. 6.3 Méthode de la fenêtre dynamique La méthode de la fenêtre dynamique [47] permet de sélectionner une trajectoire locale du robot qui va éviter les obstacles et dont les variations dans le temps vont respecter des contraintes telles que les capacités de freinage maximales du robot. Pour appliquer l’algorithme, les trajectoires locales sont paramétrées et peuvent prendre des formes différentes en fonction des contraintes d’holonomie du robot par exemple. Une méthode simple applicable à de nombreuses plateformes est d’utiliser les vitesses de translation et de rotation du robot. La méthode de la fenêtre dynamique permet donc, à partir de la perception locale de l’environnement, de sélectionner un couple (v,ω) de vitesses de translation et de rotation du robot qui répond à différentes contraintes, dont celle d’éviter les obstacles. Un tel couple de vitesses, 63 Robotique Mobile - david.filliat@ensta-paristech.fr6.3. MÉTHODE DE LA FENÊTRE DYNAMIQUE Obstacle +1 +1 2 6 5 5 3 8 5 3 6 8 1 1 2 6 5 5 3 8 5 3 6 8 1 1 0 1 ... 11 ... 0 11 Seuil Secteur Somme des cellules FIGURE 6.4 – Partie supérieure : Grille d’occupation locale construite par la méthode "Histogrammic in motion mapping". La grille est construite dans le référentiel du robot : un compteur est incrémenté pour chaque cellule appartenant au secteur angulaire dans lequel un obstacle a été détecté et les valeurs sont déplacées d’une cellule à l’autre en fonction des déplacements du robot. Partie Inférieure : Utilisation de l’histogramme des obstacles pour déterminer la direction de déplacement du robot. Robotique Mobile - david.filliat@ensta-paristech.fr 64CHAPITRE 6. ÉVITEMENT D’OBSTACLES lorsqu’il est appliqué au robot, produit une trajectoire circulaire, pour laquelle la satisfaction des différentes contraintes peut être évaluée. A l’issu de l’évaluation de toutes les contraintes pour tous les couples de vitesses possibles, la méthode de la fenêtre dynamique permet de sélectionner le couple le plus pertinent (qui répond le mieux aux contraintes). v2,ω2 = succès v1,ω1 = échec Environnement réel Perceptions du robot v2,ω2 v1,ω1 FIGURE 6.5 – Contrainte d’évitement d’obstacles pour la méthode de la fenêtre dynamique. La première contrainte est la contrainte d’évitement d’obstacles. C’est une contrainte dure au sens ou elle est binaire (succès / échec) et doit obligatoirement être satisfaite. Elle est évaluée pour chacune des trajectoires possibles à partir de la perception locale de l’environnement à un instant donné et de la position estimée du robot à un pas de temps fixé dans le futur pour la trajectoire courante. Si le robot n’a pas rencontré d’obstacles à cet horizon, la contrainte est respectée ; dans le cas contraire, elle ne l’est pas (Figure 6.5). ω v ωmin ωmax vmax Vitesses conduisant à percuter un obstacle Vitesses conduisant à un déplacement sur Vitesses courantes Vitesses accessibles au prochain pas de temps FIGURE 6.6 – Fenêtre de sélection des vitesses tenant compte de la dynamique du robot. Le respect ou le non respect de cette contrainte est reporté dans un graphe des vitesses qui indique, pour chaque couple de vitesses possible (donc chaque trajectoire), si le robot va ou ne va pas rencontrer un obstacle (Figure 6.6). Dans ce graphe, il est alors possible de tracer la fenêtre des vitesses accessibles au prochain pas de temps à partir des vitesses courantes du robot et 65 Robotique Mobile - david.filliat@ensta-paristech.fr6.3. MÉTHODE DE LA FENÊTRE DYNAMIQUE des valeurs d’accélération et décélération maximales. C’est cette fenêtre qui donne son nom à la méthode car elle permet de prendre en compte la dynamique du robot (à travers la capacité de freinage et d’accélération). Il reste alors à choisir, au sein de cette fenêtre, un couple de vitesses qui ne conduise pas à percuter un obstacle pour garantir un déplacement sûr du robot. ω v ωmin ωmax vmax Direction préférentielle FIGURE 6.7 – Contrainte “souple” exprimant une préférence sur la direction à prendre. Pour faire le choix parmi toutes les vitesses possibles au sein de cette fenêtre, il est possible d’utiliser des contraintes “souples” supplémentaires pour exprimer des préférences au sein de cet espace des vitesses accessibles. Ces contraintes s’expriment par une fonction de coût G(v,ω) qui est en général la somme de plusieurs termes. Ces termes peuvent exprimer une préférence a priori sur les vitesses, une préférence pour les trajectoires s’éloignant le plus des obstacles, ou une préférence de direction si l’on dispose par exemple d’une estimation de la direction d’un but à long terme (Figure 6.7). Le couple de vitesses minimisant ce coût au sein de la fenêtre est alors sélectionné. Il garantit un déplacement sans rencontrer d’obstacles et le meilleur respect possible des contraintes souples dans ce cadre. Dans la pratique, les valeurs des différentes contraintes sont évaluées en différents points du graphe des vitesses, le nombre de points dépendant notamment de la puissance de calcul disponible et de la complexité de l’évaluation de chaque contrainte. L’utilisation de la fenêtre dynamique est très intéressante pour un robot se déplaçant rapidement, ou pour un robot ayant des capacités d’accélération et de ralentissement limitées. Elle permet alors de produire un déplacement du robot sûr et régulier. Pour des robots qui ont une forte capacité d’accélération et de décélération (par exemple un robot léger avec de bons moteurs électriques), on peut considérer que toutes les vitesses sont accessibles presque instantanément. Il peut alors être suffisant de ne considérer que la cinématique, et non la dynamique, ce qui se traduit par la prise en compte d’un seul point du graphe, et non d’une fenêtre. La recherche du couple de vitesse est ainsi simplifiée. Robotique Mobile - david.filliat@ensta-paristech.fr 66CHAPITRE 7. APPRENTISSAGE PAR RENFORCEMENT Chapitre 7 Apprentissage par renforcement Les méthodes que nous avons vu jusqu’à présent sont des associations entre perceptions et actions conçues par des ingénieurs. Or il existe des techniques d’apprentissage (notamment l’apprentissage par renforcement) permettant de créer des associations de ce type à partir d’informations d’assez haut niveau sur la tâche à réaliser. L’apprentissage par renforcement est une méthode qui permet de trouver, par un processus d’essais et d’erreurs, l’action optimale à effectuer pour chacune des situations que le robot va percevoir afin de maximiser une récompense. C’est une méthode d’apprentissage orientée objectif qui va conduire à un contrôleur optimal pour la tâche spécifiée par les récompenses. Cette méthode est de plus non supervisée car la récompense ne donne pas l’action optimale à réaliser mais simplement une évaluation de la qualité de l’action choisie. Elle permet enfin de résoudre les problèmes de récompense retardée pour lesquels il faut apprendre a sacrifier une récompense à court terme pour obtenir une plus forte récompense à long terme et donc apprendre de bonnes séquences d’actions qui permettront de maximiser la récompense à long terme. Du fait de toutes ces caractéristiques, l’apprentissage par renforcement est une méthode particulièrement adaptée à la robotique. 7.1 Formalisation Le problème de l’apprentissage par renforcement pour un agent se formalise à partir des éléments suivants : – Un ensemble d’états S correspondant à la perception que l’agent a de l’environnement, – Un ensemble d’actions possibles A , – Une fonction de récompense R : {S,A} → R. L’agent va interagir avec son environnement par pas de temps discrets, en percevant l’état de l’environnement st , en choisissant une action at en fonction de cet état et en recevant la récompense rt+1 associée (Figure 7.1). L’évolution du robot dans son environnement est régi par un Processus de Décision Markovien (MDP en anglais) qui décrit l’évolution de l’état et de la récompense en fonction des actions du robot. Ce MDP (7.2), qui spécifie complètement la tâche du robot par le jeu des récompenses, se 67 Robotique Mobile - david.filliat@ensta-paristech.fr7.1. FORMALISATION Environnement état S récompense R action A FIGURE 7.1 – Formalisation du problème d’apprentissage par renforcement. décrit simplement à l’aide de deux fonctions : – Une fonction de transition P a ss0 = P(st+1 = s 0 |st = s,at = a) qui donne la probabilité de passer dans l’état s 0 lorsque l’agent effectue l’action a dans l’état s, – Une fonction de récompense R a ss0 = E(rt+1|st = s,at = a,st+1 = s 0 ) qui donne la récompense moyenne lorsque l’agent passe de l’état s à s 0 en faisant l’action a. FIGURE 7.2 – Exemple de MDP très simple. Chaque case correspond à un état et, pour chaque état, 4 actions sont possibles qui conduisent aux cases voisines. La récompense est nulle partout, sauf pour les actions qui mènent à la case "S", pour lesquelles la récompense est 1. Le comportement de l’agent est défini par une politique π : {S,A} → [0,1], qui guide l’agent de manière probabiliste en spécifiant, pour chaque état s la probabilité de réaliser l’action a (et donc ∑a π(s,a) = 1). Le but de l’apprentissage par renforcement va être de trouver la politique optimale π ∗ maximisant la récompense à long terme 1 . 1. L’apprentissage par renforcement n’utilise que l’état courant pour prendre une décision, il suppose donc que toute l’information nécessaire est contenue dans cet état. Le problème est donc considéré comme étant Markovien, ce qui est rarement le cas en pratique en robotique. Si le problème est non markovien, c’est a dire si pour un même état deux actions différentes sont optimales en fonction d’une variable inconnue au robot, l’apprentissage par Robotique Mobile - david.filliat@ensta-paristech.fr 68CHAPITRE 7. APPRENTISSAGE PAR RENFORCEMENT La récompense à long terme, que nous appellerons revenu Rt , peut être définie de différentes manières en fonction de la tâche considérée. Si la tâche consiste à répéter des épisodes qui durent un nombre de pas de temps fixe, le revenu pourra être la somme des récompenses instantanées pendant un épisode. Si au contraire la tâche se déroule de manière continue, le revenu pourra se définir comme la somme des récompenses futures pondérées par une exponentielle décroissante : Rt = ∞ ∑ k=0 γ k rt+k+1 où γ ∈ [0,1] est un facteur indiquant l’importance que l’on accorde aux récompenses futures. Les algorithmes d’apprentissage par renforcement que nous verrons plus loin utilisent quasiment tous une fonction de valeur V π (Figure 7.3) qui permet, pour une politique π donnée, d’estimer le revenu moyen (les récompenses futures) pour un état donné si l’on suit la politique considérée : V π (s) = Eπ(Rt |st = s) FIGURE 7.3 – La fonction de valeur optimale dans notre exemple : pour chaque état, le niveau de gris indique la récompense à long terme qui sera obtenue en prenant le chemin le plus court vers le but. Ces fonctions de valeurs peuvent aussi se définir non pas pour un état mais pour un état et une action réalisée dans cet état : Q π (s,a) = Eπ(Rt |st = s,at = a) La fonction de valeur pour un état s étant la moyenne des Q π (s,a), pondérées par la probabilité de chaque action : V π (s) = ∑a π(s,a)Q π (s,a) renforcement fournira la politique optimale, mais seulement dans l’ensemble des politiques “myopes”, n’ayant pas toutes les informations pour une décision optimale. 69 Robotique Mobile - david.filliat@ensta-paristech.fr7.1. FORMALISATION Une propriété essentielle de ces fonctions de valeur va permettre de créer les différents algorithmes d’apprentissage, il s’agit de la relation de récurrence connue sous le nom d’équation de Bellman : V π (s) = ∑a π(s,a)∑ s 0 P a ss0 R a ss0 +γV π (s 0 ) Cette équation traduit une cohérence de la fonction de valeur en reliant la valeur d’un état à la valeur de tous les état qui peuvent lui succéder . Elle se déduit simplement de la définition de v π de la manière suivante : V π (s) = Eπ(Rt |st = s) = Eπ( ∞ ∑ k=0 γ k rt+k+1|st = s) = Eπ(rt+1 +γ ∞ ∑ k=0 γ k rt+k+2|st = s) = ∑a π(s,a)∑ s 0 P a ss0 " R a ss0 +γEπ ∞ ∑ k=0 γ k rt+k+2|st+1 = s 0 !# = ∑a π(s,a)∑ s 0 P a ss0 R a ss0 +γV π (s 0 ) La fonction de valeur permet de caractériser la qualité d’une politique, elle donne, pour chaque état, le revenu futur si l’on suit cette politique. Elle permet également de comparer les politiques en définissant un ordre partiel : π ≥ π 0 ⇔ ∀s,V π (s) ≥ V π 0 (s) Cet ordre permet de définir la fonction de valeur de la politique optimale (Figure 7.3) que l’apprentissage par renforcement va chercher à estimer : V ? (s) = max π V π (s) fonction qui peut aussi s’exprimer pour un couple état-action : Q ? (s,a) = max π Q π (s,a) avec la relation suivante : Q ? (s,a) = E(rt+1 +γV ? (st+1)|st = a,at = a) Il est également possible d’écrire une relation de récurrence pour la fonction de valeur optimale qui sera légèrement différente de l’équation de Bellman. On parle alors d’équation d’optimalité de Bellman, qui peut s’écrire : V ∗ (s) = max a E (rt+1 +γV ∗ (st+1)|st = s,at = a) = max a ∑ s 0 P a ss0 R a ss0 +γV ∗ (s 0 ) Robotique Mobile - david.filliat@ensta-paristech.fr 70 Intelligence Artificielle et Syst`emes Multi-Agents Badr Benmammar To cite this version: Badr Benmammar. Intelligence Artificielle et Syst`emes Multi-Agents. Ecole d’ing´enieur. 2009. ´ HAL Id: cel-00660507 https://cel.archives-ouvertes.fr/cel-00660507 Submitted on 16 Jan 2012 HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers. L’archive ouverte pluridisciplinaire HAL, est destin´ee au d´epˆot et `a la diffusion de documents scientifiques de niveau recherche, publi´es ou non, ´emanant des ´etablissements d’enseignement et de recherche fran¸cais ou ´etrangers, des laboratoires publics ou priv´es.Intelligence Artificielle et Systèmes Multi-Agents Badr Benmammar bbm@badr-benmammar.comPlan  La première partie : L’intelligence artificielle (IA)  Définition de l’intelligence artificielle (IA)  Domaines d’application de l’IA  La reconnaissance de formes  Le traitement automatique des langues  Les systèmes experts  L’apprentissage automatique  L’intelligence artificielle distribuée (IAD)Plan  La deuxième partie : La technologie Agent  Définition d’un agent  Les agents intelligents et les agents mobiles  Les caractéristiques multidimensionnelles d’un agent  Architecture concrète pour un agent  Les agents logiques  Les agents réactifs  Les agents BDI  Les agents multi-niveaux  Modèle type d’un agentLa première partie : L’intelligence artificielle (IA)Définition de l’intelligence artificielle (IA)  L’IA Désigne la simulation des mécanismes de la pensée par un ordinateur  La faculté de reproduire un raisonnement par des moyens informatiques  Un ensemble de réalisations et de recherches qui essaient d'imiter artificiellement les performances humaines  L'émergence des systèmes ''adaptatifs''Domaines d’application de l’IA Systèmes experts Apprentissage automatique Traitement automatique des langues Reconnaissance des formes, des visages et la vision en généralLa reconnaissance de formesLa reconnaissance de formes RdF  La reconnaissance de formes (ou parfois reconnaissance de motifs) est un ensemble de techniques et méthodes visant à identifier des motifs à partir de données brutes afin de prendre une décision dépendant de la catégorie attribuée à ce motif.Définition  L’homme est le plus parfait des systèmes de RdF.  Reconstitution sur «machine» des fonctions typiquement humaines:  Perception ;  Analyse et représentation ;  Interprétation.Analogies Système de RdF  Composantes d’un système de RdF :  Mécanique (satellite, bras d’un robot, …)  Saisie (caméra, scanner, micro, …)  Electronique (carte mémoire, CPU, …)  ALGORITHMIQUEProcessus de RdF  Les informations issues du monde réel sont généralement :  trop volumineuses  peu pertinentes  Le processus de RdF est un processus de réduction progressive et sélective de l’informationProcessus de RdF  Etapes de traitement d’un processus de RdF:  Prétraitements binarisation, segmentation, élimination du bruit, normalisation, …  Extraction des informations pertinentes parole: fréquence, … image: contours, …  Représentation de ces informations en vue de leur classification vecteur, graphe,  Classification de la forme apprentissage/décision, +_ Quantité d’informationsLe traitement automatique des languesLe traitement automatique des langues  Le Traitement automatique des langues est une discipline à la frontière de :  La linguistique ;  L’informatique ;  L’intelligence artificielle.  Concerne l’application de programmes et techniques informatiques à tous les aspects du langage humain. Applications  La traduction automatique ;  La correction orthographique ;  La recherche d'information et la fouille de textes ;  Le résumé automatique de texte ;  La génération automatique de textes ; Fouille de Texte (Text Mining)Qu’est-ce que le Text Mining ?  Le Text Mining est l’ensemble des :  Technologies et méthodes  … destinées au traitement automatique  … de données textuelles  … disponibles sous forme informatique,  … en assez grande quantité  … en vue d’en dégager et structurer le contenu, les thèmes dans une perspective d’analyse rapide de découverte d’informations cachées ou de prise automatique de décisionDéfinition  Text Mining  Procédé consistant à synthétiser (classer, structurer, résumer, …) les textes en analysant les relations et les règles entre unités textuelles (mots, groupes, phrases, documents) Processus de Text Mining: Vue simplifiée Produit des vecteurs de fréquence des mots importantsAnalyse et Préparation  Corriger l'orthographe  Eliminer les mots vides  Découper les textes en unités  Associer des termes à une catégorie grammaticale ou sémantique  Réduire le nombre de termes à traiterCalculs de fréquence des termesRéduction des dimensions  Réduire les dimensions de la table de fréquences  En déterminant les termes les plus significatifs  En groupant les termes par affinité (profile)Domaines d’application  Exploration du contenu des documents  Questions ouvertes dans une enquête  Commentaires et plaintes des clients  Analyse des réclamations de garantie  Affectation de documents à des thèmes prédéfinis  Traitement des e-mails (redirection, filtrage)  Recherche d’information  Interrogation de textes par concepts, mots-clés, sujets, phrases visant à obtenir des résultats triés par ordre de pertinence, à la GoogleEtapes de la fouille de textes  Sélection de textes  Extraction des termes  Analyse grammaticale  Filtrage des termes extraits  Transformation  Réduction des dimensions  Classification  Visualisation des résultats  Interprétation des résultatsLes systèmes expertsLes systèmes experts  Un système expert est un logiciel capable de répondre à des questions, en effectuant un raisonnement à partir de faits et de règles connus. Il peut servir notamment comme outil d’aide à la décision. Les systèmes experts  Un système expert se compose de 3 parties :  Une base de faits ;  Une base de règles ;  Un moteur d’inférence.Faits et règles  Faits  Ensemble de vérités connues  Règles  Partie condition : prémisses  Partie action : conclusion, calcul, affichage ...  Éventuellement : coefficient de confiance SI condition ALORS action [coefficient]Les systèmes experts  Pour l’essentiel, ils utilisent la règle d'inférence suivante :  Si P est vrai (fait ou prémisse) et si on sait que P implique Q (règle) alors, Q est vrai (nouveau fait ou conclusion). Le moteur d’inférence Le moteur d’inférence est capable d’utiliser faits et règles pour produire de nouveaux faits, jusqu’à parvenir à la réponse à la question experte posée. La plupart des systèmes experts existants reposent sur des mécanismes de logique formelle et utilisent le raisonnement déductif. Pourquoi un SE ?  Problèmes mal formalisés ou dont la formulation évolue  Médecine : nouveaux examens, nouvelles connaissances, nouvelles thérapies  Pas d’algorithme connu (ou algorithme trop complexe)  Reconnaissance de l’écriture  Jeu d’échecs  Affectation des ressources, ordonnancementLes systèmes expertsArchitecture Base de faits Moteur d’inférence Filtrage Sélection Assertion Exécution Base de règlesMode de raisonnements  Il existe de nombreux types de moteurs, capables de traiter différentes formes de règles logiques pour déduire de nouveaux faits à partir de la base de connaissance.  On distingue souvent trois catégories, basées sur la manière dont les problèmes sont résolus :  Les moteurs - dit à « chaînage avant » - qui partent des faits et règles de la base de connaissance, et tentent de s’approcher des faits recherchés par le problème.  Les moteurs - dits à « chaînage arrière » - qui partent des faits recherchés par le problème, et tentent par l’intermédiaire des règles, de « remonter » à des faits connus,  Les moteurs - dits à « chaînage mixte » - qui utilisent une combinaison de ces deux approches chaînage avant et chaînage arrière. Chaînage avant Raisonnement guidé par les données :  Détecter les règles dont les prémisses sont vérifiées (filtrage)  Sélectionner la règle à appliquer  Appliquer la règle  Recommencer jusqu'à ce qu'il n'y ait plus de règle applicableChaînage arrière  But initial placé au sommet d’une pile  Détection des règles qui concluent à ce but  Résolution de conflits  Application de la règles, i.e, les éléments des prémisses deviennent de nouveau sous- buts à atteindre.  Arrêt : pile vide ou aucune règle applicableExercice  Exercice 1  Soit la base de règles suivantes :  R1 : (┐A B) P  R2 : (P et Q) F  R3 : (C A) Q  R4 : F (D K)  R5 : K (M et L)  La base initiale de faits est : (A, D).  Prouvez le fait M par chaînage avant. Projet IP-SIG : Signalisation g´en´erique du monde IP Badr Benmammar To cite this version: Badr Benmammar. Projet IP-SIG : Signalisation g´en´erique du monde IP. 3`eme cycle. 2005. HAL Id: cel-00682308 https://cel.archives-ouvertes.fr/cel-00682308 Submitted on 26 Mar 2012 HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers. L’archive ouverte pluridisciplinaire HAL, est destin´ee au d´epˆot et `a la diffusion de documents scientifiques de niveau recherche, publi´es ou non, ´emanant des ´etablissements d’enseignement et de recherche fran¸cais ou ´etrangers, des laboratoires publics ou priv´es.Projet IP-SIG Signalisation générique du monde IP 21 Juillet 2005 Badr BENMAMMAR Université Bordeaux 12 PLAN • Présentation du projet – Objectif du projet et motivations – Organisation du projet • Partenaires et durée • Les sous-projets • Échéances et livrables – Rappels sur la signalisation IPSIG • Présentation des travaux – Sous-projet 3 • Réalisation du protocole GiSP • Tests du protocole GiSP • Démonstration – Sous-projet 4 • Définition d’un SLS dynamique • Réalisation de l’environnement dynamique • Démonstration – Etude des travaux en cours à l’IETF • Démonstration 3 Motivations et Objectif • Motivations – Plusieurs protocoles de signalisation existants • RSVP, RSVP-TE, CR-LDP, Radius, Diameter – Support des besoins de QoS, sécurité et mobilité • Objectif – Définition d’une signalisation Universelle • Unifier le processus de signalisation • Définition de SLS et de SLS dynamique 4 Organisation du projet • Projet Exploratoire – 24 mois + 6 mois • Partenaires : • ALCATEL, ENST, ISEP, LIP6, LIPN, UTT et THALES • Quatre sous-projets – SP1 : SLS et protocoles de signalisation • Livrable 1.1 : Définition d'un SLS • Livrable 1.2 : Comparaison des protocoles de signalisation – SP2 : Les briques de base et l'architecture globale • Livrable 2.1 : Architecture du système de signalisation • Livrable 2.2 : Spécification des briques de base – SP3 : Le protocole GiSP (Generic Signaling Protocol) • Livrable 3.1 : Réalisation du démonstrateur • Livrable 3.2 : Tests du démonstrateur – SP4 : Dynamique de l’environnement • Livrable 4.1 : Définition d’un SLS dynamique • Livrable 4.2 : Maquette de l'environnement dynamique5 Livrables et échéances Livrable 3.1 Réalisation T0+20 Septembre 04 Livrable 4.2 Maquette Livrable 3.2 Tests T0+24 Janvier 05 Livrable 4.1 Déf. d’un SLS dynamique Livrable 2.2 Spec des briques de base T0+18 Juillet 04 Livrable 2.1 Arch. du système de signalisation Livrable 1.2 Étude des protocoles T0+12 Livrable 1.1 déf. D’un SLS T0+9 SP4 Dynamique de l’environnement SP3 Le protocole GSP SP2 Architecture globale SP1 Définition d’un SLS et protocoles de signalisation6 Livrables et échéances - Nouvelle planification Livrable 3.1.1 : Réalisation Livrable 3.1.3 : QoS NSLP (NSIS WG) T0+26 Mars 05 Livrable 4.2 : Maquette Livrable 3.1.2 : Emulation GIMPS (NSIS WG) Livrable 3.2 :Tests T0+30 Juillet 05 Livrable 4.1 Déf. d’un SLS dynamique Livrable 2.2 Spec des briques de base T0+18 Juillet 04 Livrable 2.1 Arch. du système de signalisation Livrable 1.2 Étude des protocoles T0+12 Livrable 1.1 déf. D’un SLS T0+9 SP4 Dynamique de l’environnement SP3 Le protocole GSP SP2 Architecture globale SP1 Définition d’un SLS et protocoles de signalisation7 Rappels - Architecture protocolaire • Architecture protocolaire de NSIS NSIS Signaling Layer Protocol “NSLP” NSIS Transport Layer Protocol “NTLP” NSLP pour QoS NSLP pour middlebox NSLP pour … IP layer NSIS Transport Layer Protocol “NTLP” Signalisation IPSIG (GiSP : Generic Service Signaling Protocol)8 Rappels - Besoins du protocole GiSP • Fonctionnalités de signalisation • Deux modes de fonctionnement – Path coupled – Path decoupled • Gestion des états – Installer/modifier/supprimer un état • Sensibilité au changement de routage • Sensibilité à la mobilité • Fonctionnalités de transport • Transport fiable et non fiable • Transport sécurisé • Contrôle de congestion • Fragmentation • Bundling9 Rappels – Le protocole GiSP (Rappels) • Définition d’un format de message – ::= • Définition de l’en-tête – SM Flag : Mode de fonctionnement – M_Type : Type de message – New • Permet d’installer une nouvelle session (rapidement sans vérifier si la session est déjà établie) – Mod • Établit une session dans le sens inverse du flux de données (de New) • Modifier une session établie (sens forward et Backward) • Établit une session dans un nouveau chemin suite à un changement de route – Info • Échange de l’information entre éléments de signalisation – Notification des erreurs • Supporter le management d’état – Rafraîchissement des états – Suppression des états • Définition d’un ensemble d’objets – Transportant les informations nécessaires pour réaliser les fonctionnalités du protocole GiSP10 Rappels – Le protocole GiSP (Rappels) • Caractéristiques – Etablissement rapide d’un état dans un nœud en ½ RTT: • Un message New (ou Mod) contient toute l’information pour établir un état – Réduction du trafic de détection du changement de routage • Au lieu d’envoyer un message complet, GISP envoie seulement l’identification de session – Mobilité: changement de la CoA (Care of Address) • Utiliser l’identification de session et non l’identification de flux pour identifier une session de bout en bout • Mécanismes développés – Proposition d’un mécanisme de rafraîchissement performant • Réduction du trafic de rafraîchissement • Optimisation la gestion des timers – Mise en place d’un transport fiable et non fiable • Les messages sont explicitement acquittés ou non selon le besoin – Mise en place d’un contrôle de congestion • Dans le cas où GISP ne connaît pas le nœud suivant (mode non-connecté) GISP limite le trafic de signalisation traversant une interface • Dans le cas où GISP connaît le nœud suivant (mode connecté) GISP applique un mécanisme de contrôle de congestion qui s’inspire des mécanismes de TCP, SCTP et DDCP (contrôle de congestion par fenêtre en supportant le mode fiable et non fiable).Le projet IPSIG Dynamique de l’environnement12 Dynamique de l’environnement Deux Aspects : I. Négociation dynamique de SLA/SLS II. Impact de la mobilité du terminal sur la QoS13 Introduction I. Négociation dynamique de SLA/SLS – Identification des besoins de l’utilisateur – Agents pour la négociation de SLA/SLS – Protocole de négociation de paramètres de SLS14 Protocole SLN NSLP • Protocole de négociation de paramètres de SLS – Environnement NSIS NSIS Signaling Layer Protocol “NSLP” NSIS Transport Layer Protocol “NTLP” NSLP pour QoS NSLP pour middlebox NSIS Transport Layer Protocol “NTLP” NSLP pour la négociation15 Protocole SLN NSLP - Négociation intra ou inter domaines. • Entités de négociation16 Protocole SLN NSLP • Architecture globale17 Protocole SLN NSLP - Temps de service : période de garantie du niveau de service - Scope : point d’entrée et de sortie d’un domaine - Identification du trafic : @IP, Port source/destination... - Garantie de performance : délai, gigue, taux de perte, bande passante - Description et conformité du trafic : taille des paquets, débit crête, paramètres du Token Bucket. - Traitement d’excès : lissage, marquage, élimination - Mode de négociation : SLS prédéfini ou non - Intervalle de renégociation : dépend du type de négociation. - Priorité et fiabilité : MDT, MTTR • Paramètres du SLS de QoS18 Protocole Messages SLN NSLP - Negotiate : Emis du SNI vers le SNR, permet de spécifier les attributs sur lesquels on veut négocier ainsi que leurs valeurs. - Revision : Emis par le SNR vers le SNI pour proposer une alternative aux attributs et valeurs reçus dans le message Negotiate. - Response : Emis par le SNR ou SNI suite a un message précèdent contenant un objet Response Request. - Modify : Emis par le SNI vers le SNR en spécifiant le SLS ID sur le quel la modification va porter - Notify : Emis par le SNR (ou SNF) pour demander au SNI de dégrader ou rétablir un niveau de service qui a été déjà négocié. - Release : Emis par le SNI vers le SNR pour résilier un SLS déjà négocié. • Messages SLN NSLP19 Protocole SLN NSLP 00 / 30 ms D=100ms ; G=20ms ; P=0,1% ; D= 704 Kbit/s 9h17h LundiJeudi @IP SNI @IP SNR @IP Host A @IP Host B Mode /interv alle Temps de Garantie de Performance Service Identification du Scope trafic 00 / 30 ms D<150ms ; G<30ms ; P<1% ; D= 696 Kbit/s 9h17h LundiJeudi @IP SNI @IP SNR @IP Host A @IP Host B Mode / intervalle Temps de Garantie de Performance Service Identification du Scope trafic SLS Demandé pour la visioconférence SLS accepté par le SNR • Exemples de négociation20 Cas d’une Visioconférence SNI / SIP PROXY SNF SNR Host Negotiate B Communication Host A Negotiate Revision Revision Response {Ack} Response {Ack} Reserve {Qspec} Reserve {Qspec} Reserve {Qspec} Reserve {Qspec} Invite Invite 180 Ringing 180 Ringing ACK 200 OK 200 OK SLN NSLP QoS NSLP SIP21 Cas de la téléphonie IP SNI / SIP PROXY SNF Host B SNR Negotiate Communication Host A Negotiate Response {Ack} Response {Ack} Reserve {Qspec} Reserve {Qspec} Reserve {Qspec} Reserve {Qspec} Invite Invite 180 Ringing 180 Ringing ACK 200 OK 200 OK SLN NSLP QoS NSLP SIP 183 Progress Bye OK Release {SLS ID} Release {SLS ID} 22 Conclusion • SLN NSLP est une proposition de protocole de signalisation dans la bande pour la négociation de niveau de service. • SLN NSLP est indépendant du modèle de QoS grâce a l’architecture de signalisation générique définie dans NSIS. • SLN NSLP est indépendant des objets de négociation donc il est réutilisable.23 Dynamique de l’environnement 2. Impact de la mobilité du terminal sur QoS – Réservation de ressources à l’avance • Messages de QoS NSLP • Profil de mobilité fourni par l’interface utilisateur MSpec = » : the MSpec identifier » : , » : ,, etc. – Procédure de handover • Protocole CTP (Context Transfer Protocol)24 ∑ Pij = 1 = n j 1 ∑ = n i 1 Pi (tr) * Pij Pj (tr+1) = Cj Cn Cn-1 Ci C2 C1 tr+1 tr P1j P2j Pij Pnj Pn-1j P1 Pn Pn-1 Pi P2 Détermination du MSpec • Basée sur les chaînes de Markov en temps continu • Le système est dans l’état i si le terminal mobile est dans la cellule Ci Pij : probabilité de transition de la cellule Ci vers la cellule Cj Pi (tr) : probabilité de localisation du terminal mobile dans la cellule Ci à l’instant tr 25 ∑ = m d 1 Pij Pij = (d) /m Profil de mobilité du terminal - La matrice de transition contenant les Pij M = [Pij] [N*N] Pij(d): probabilité de transition de la cellule i vers la cellule j durant d associations m: nombre d’associations -Le vecteur contenant les Pi (to) V = [Pi(to)] [N] Pi (to): probabilité de localisation du terminal mobile dans la cellule Ci à l’instant to26 { 0: no handover 1: vertical handover UMTS HD [Cell ID, App ID] = Profil de mobilité du terminal - Les futures localisations du terminal mobile MSpec (tr) = {Cj / Pj (tr+1) ≥ x } x : un seuil fixe ou variable utilisé pour sélectionner les cellules - La décision de handover27 • Procédure de réservation de ressources à l’avance - Extension de QoS NSLP • Différents scénarios (environnement HMIPv6) - Réservation à l’initiative du demandeur ou du récepteur - Entre un terminal fixe et un terminal mobile - Entre terminaux mobiles • Procédure de handover - Horizontal - Vertical Protocole MQoS NSLP28 • Impact du seuil x Simulations29 • Protocole de réservation de ressources à l’avance - Dans un environnement NSIS - Extension de QoS NSLP • Réservations basées sur l’objet MSpec - Déterminé par le terminal mobile - Utilisation des chaînes de Markov en continu • Méthode hybride • Validation Conclusion30 Maquette Utilisateur Fournisseur Jade Négociation Gold | prix Silver | prix Bronze | prix Best effort | prix • (Re)négociation à l’initiative de l’utilisateur31 Maquette • (Re)négociation à l’initiative du fournisseur Réseau DiffServ EndUserGenerator New EndUser Utilisateur Fournisseur data Traffic Sender Jade J-Sim Négociation Nouveau Prix fonction de la charge du réseau Decision finale Gold | prix Silver | prix Bronze | prix Best effort | prix32 Architecture de l’interface proposée Fournisseur Réseau Terminal Utilisateur Interface graphique/Messages/Capteurs Couche Gestion de profil Apprentissage (SOM) Couche de Contrôle Couche de négociation Couche protocolaire Profils Propriétés Paramètres de performance SLS33 Identité des personnes : rôles, préférences, permissions, etc. Localisation des personnes : domicile, gare, travail, etc. Période : l’heure, le jour, le mois, etc. Contraintes : des utilisateurs, des applications, etc. Active device : Laptop, PC, cellular Connectivité : LAN, WLAN, cellular network Informations contextuelles Les r´eseaux sans fil et la nouvelle signalisation IP Badr Benmammar To cite this version: Badr Benmammar. Les r´eseaux sans fil et la nouvelle signalisation IP. 3`eme cycle. 2004. HAL Id: cel-00660842 https://cel.archives-ouvertes.fr/cel-00660842 Submitted on 17 Jan 2012 HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers. L’archive ouverte pluridisciplinaire HAL, est destin´ee au d´epˆot et `a la diffusion de documents scientifiques de niveau recherche, publi´es ou non, ´emanant des ´etablissements d’enseignement et de recherche fran¸cais ou ´etrangers, des laboratoires publics ou priv´es.Les réseaux sans fil et la nouvelle signalisation IP Badr BENMAMMAR Université Bordeaux 1 1 École DNAC d'hiver Sur le Nil, Égypte, du 11 au 18 décembre 20041 PLAN • Introduction • QoS NSLP • Réservation de ressources à l’avance • Format du MSpec • Réservation de ressources à l’avance avec QoS NSLP • Le transfert de contexte • La procédure de handover • Méthodes de prédiction • Conclusion 22 IP-SIG (1/2) Les objectifs de ce projet sont :  La définition d'une architecture de signalisation universelle (les besoins de QoS, de mobilité et de sécurité)  La définition d'un SLS standard  Une étude prospective sur la dynamisation du SLS 1. ENST 2. ALCATEL 3. UTT 4. Université de Paris 13 5. ISEP 6. LIP6 7. THALES Partenaires du projet 33 Quatre sous-projets: Sous-projet 1 – SLA-SLS et protocoles de signalisation (Responsable ALCATEL) Sous-projet 2 – Les briques de base et l'architecture globale (Responsable LIP6) Sous-projet 3 – Le protocole GSP (Generic Signaling Protocol) (Responsable ISEP) Sous-projet 4 – Dynamique de l’environnement (Responsable LIPN) IP-SIG (2/2) Négociation dynamique de SLA/SLS Impact de la mobilité sur la signalisation 44 NSIS (Next Steps In Signaling) • Standardiser une architecture comprenant deux couches: - NTLP : NSIS Transport Layer Protocol - NSLP : NSIS signaling Layer Protocol IP IP Layer Security UDP TCP SCTP DCCP Transport Layer Security GIMPS: Messaging Layer GIMPS Encapsulation GIMPS State Maintenance NTLP Signaling Application 1 Signaling Application 2 Signaling Application 3 NSLP 55 QoS NSLP • QoS NSLP permet de générer une signalisation pour fournir un certain niveau de QoS indépendamment du modèle de QoS (Diffserv, Intserv,...) • QoS NSLP + NTLP RSVP 6 • La création d’un état • Le rafraîchissement d’un état • La modification d’un état • L’élimination d’un état6 Les messages de QoS NSLP • Reserve : le seul à manipuler l’état de la réservation (rafraîchir, créer, supprimer). • Query : demande des informations aux nœuds QNE (les ressources disponibles) • Response : permet d’envoyer un résultat associé à un message antérieur • Notify : permet d’informer un nœud sans demande préalable 77 • Sender Initiated Reservation Réservation de ressources avec QoS NSLP (1/2) RESPONSE NI NF NF NR RESERVE RESERVE RESERVE RESPONSE RESPONSE 88 Réservation de ressources avec QoS NSLP (2/2) • Receiver Initiated Reservation NR NF NF NI RESERVE RESERVE RESERVE RESPONSE RESPONSE RESPONSE QUERY QUERY QUERY 99 • NSIS (Next Steps In Signaling): fournir une signalisation universelle • Objectif: étudier l’impact de la mobilité sur la signalisation NSIS • Proposition : utiliser les messages de QoS NSLP afin de faire des réservations à l’avance • La QoS • La sécurité • La mobilité 10 Proposition10 Réservation de ressources à l’avance • Réservation à l'avance dans tous les endroits que l'utilisateur peut visiter • Un profil de mobilité est déterminée soit par le réseau, soit par le terminal mobile • L’objet MSpec (Mobility Specification) détermine les futures localisations du MH (Mobile Host) • L’objet MSpec est inclus dans les messages de QoS NSLP 1111 Travaux réalisés dans les réseaux mobiles (1/2) • Anup Kumar Talukdar, B. R. Badrinath, Arup Acharya. MRSVP: a resource reservation protocol for an integrated services network with mobile hosts, ACM Journal of Wireless Networks, vol. 7, 2001 12 • MSPEC (Mobility Specification): pas de format, les futures localisations • La réservation active: si les paquets de ce flux passent par ce lien afin d’arriver au récepteur • La réservation passive: si les ressources sont réservées pour ce flux sur le lien, mais les paquets actuels pour ce flux ne sont pas transmis sur ce lien12 • Min-Sun Kim, Young-Joo Suh, Young-Jae Kim, Young Choi. A Resource Reservation Protocol in Wireless Mobile Networks. ICPP Workshops, Valencia, Spain September 03 - 07, 2001 Travaux réalisés dans les réseaux mobiles (2/2) • La classe Free : elle représente les ressources utilisées en BE • La classe Reserved : elle représente les ressources réservées et actuellement utilisées, pour un flux spécifique • La classe Prepared : elle représente les ressources réservées pour un flux spécifique et qui ne sont pas actuellement utilisées 1313 Inconvénients • Le nombre de flux qui peut être supporté par le routeur est réduit • Le MSPEC est très difficile à déterminer à l’avance Avantages • Meilleure QoS (délai et pertes de paquets) • Application en temps réel. 1414 Format du MSpec MSpec = • : identificateur unique du MSpec • : , • : ,,, etc. 1515 Procédure de réservation de ressources à l’avance avec QoS NSLP (fixe,mobile) -1 : Router Advertissement, un bit Q 0 : Registration Request, bit Q, QSpec et MSpec 1 : NOTIFY: QSpec et MSpec 2 : RESERVE: QSpec 3 : RESERVE 4 : RESPONSE 5 : RESPONSE Réservation de ressources à l’avance avec QoS NSLP CN HA Internet HN MAP AR AR AR MH FN 2 4 5 5 0 -1 3 1 3 NI NF NF NF NF NR 1616 Le Protocole CTP Context Transfer Protocol (WG Seamoby) 17 • Contexte: l'information nécessaire sur l'état actuel d'un service afin de le rétablir sur un nouveau sous-réseau • les services candidats: • Authentication, Authorization et Accounting (AAA) • Header Compression • Quality de Service (QoS) • Point to point protocol (PPP) • Politiques17 Le déclenchement de transfert de contexte (1/3) • Déclenché à l’initiative du : – nœud mobile (mobile controlled). – pAR ou nAR (network controlled). • Exemple : mobile controlled, initié par le nœud mobile MN nAR pAR CT trigger CTAR CT Request CTD 1818 Le déclenchement de transfert de contexte (2/3) MN nAR pAR CT trigger CTAR CTD CTDR • Exemple : network controlled, initié par le pAR 1919 Le déclenchement de transfert de contexte (3/3) MN nAR pAR CT trigger CT Request CTAR CTD CTDR • Exemple : network controlled, initié par le nAR 2020 La procédure de handover 21 La procédure de handover CN HA Internet HN MAP AR AR AR MH FN MH MIPv6 NOTIFY : en incluant le nouveau MSpec RESERVE 1 2 CTD CT Request Analyse le nouveau MSpec21 Exemple 22 AR1 MAP AR2 AR3 AR4 Cell1 Cell2 Cell3 Cell4 MH MSpec1 = {Cell1, Cell3}22 Exemple 23 AR1 MAP AR2 AR3 AR4 Cell1 Cell2 Cell3 Cell4 MSpec1 = {Cell1, Cell3} MH MSpec2 = {Cell2, Cell4}23 Exemple 24 AR1 MAP AR2 AR3 AR4 Cell1 Cell2 Cell3 Cell4 MSpec1 = {Cell1, Cell3} MH MSpec2 = {Cell2, Cell4}24 Exemple 25 AR1 MAP AR2 AR3 AR4 Cell1 Cell2 Cell3 Cell4 MSpec1 = {Cell1, Cell3} MH MSpec2 = {Cell2, Cell4}25 26 i = 1 Ci : cellule courante MSpeci i = 1 ∀ C ∈ MSpec1 : créer une réservation passive pour la cellule C Oui handover après une période t1 passée dans la cellule C1 i = i+1 Non  La réservation dans la cellule Ci devient active  ∀C∈{MSpeci-MSpeci-1-Ci-1} : créer une nouvelle réservation pour la cellule C  ∀C∈{ MSpeci-1- MSpeci-Ci}: supprimer la réservation pour la cellule C Oui La réservation devient passive pour la cellule Ci-1 Supprimer la réservation pour la cellule Ci-1 handover après une période ti passée dans la cellule Ci Non Ci-1∈ MSpeci Les actions réalisées par le MAP dans le cas d’une communication fixe-mobile26 Procédure de réservation de ressources à l’avance avec QoS NSLP (mobile-mobile) 27 Internet HA HN AR AR MAP2 AR AR AR MH1 MAP1 0 MH2 2 AR 1 3 4 5 6 7 7 8 8 9 9 Réservation de ressources à l’avance avec QoS NSLP 0 : Router Advertissement , le bit Q. 1 : Registration Request, QSpec et MSpec2 2 : NOTIFY, QSpec et MSpec2 3 : Router Advertissement, le bit Q 4 : Registration Request, QSpec et MSpec1 5 : NOTIFY, QSpec et MSpec1 6 : RESERVE, QSpec 7 : NOTIFY 8 : RESERVE 9 : RESERVE27 La procédure de handover 28 Internet HA HN AR MAP2 AR MH1 MAP1 4 5 5 6 6 AR AR MH1 MH2 AR 3 CT Request CTD 2 MH2 1 AR MIPv6 MIPv6 La procédure de handover 1 : RESERVE 2 : RESPONSE 3 : NOTIFY 4 : RESERVE 5: NOTIFY, l’ancien MSpec1 et le nouveau MSpec1 6 : RESERVE Analyse le nouveau MSpec228 Modélisation par les chaînes de Markov • Le système est un modèle pouvant évoluer entre n états définis par l’ensemble: C = (C1, C 2, ........Ci........ Cn) • Le système est à l’état i = le terminal mobile se trouve dans la cellule Ci • Pij : la probabilité de transition de la cellule Ci vers la cellule Cj • Pi (t) : la probabilité pour que le terminal mobile se trouve dans la cellule Ci à l’instant t ∑ Pij = 1, i = 1 à n et 0 ≤ Pij ≤ 1 = n j 1 ∑= n i 1 Pi (t) * Pij Pj (t+1) = Cj Cn Cn-1 Ci C 2 C1 t+1 t P1j P2j Pij Pnj Pn-1j P1 Pn Pn-1 Pi P 2 2929 Le profil de mobilité (1/2) • Construire un modèle comportemental pour l’utilisateur • il contient les informations suivantes : - Un identificateur unique de l’utilisateur : user_id - Les informations personnelles de l’utilisateur - nom - prénom - age - adresse - ... - Les préférences de l’utilisateur Exemple : quand l’utilisateur se déplace vers la cellule1, qui couvre le Forum, il commence toujours par le lancement d’un jeu vidéo durant 1h. 3030 Le profil de mobilité (2/2) - M = [Pij] [N*N] : une matrice de transition qui contient les Pij - V = [Pi(0)] [N] : un vecteur qui contient les Pi(0). (Pi (0): la probabilité pour que le terminal mobile se trouve dans la cellule Ci à l’instant 0) - Le MSpec (Mobility Specification): un ensemble dynamique, il est modifié après chaque handover 3131 Calculer la matrice M et le vecteur V (1/2) • Besoin de m connexions afin de déterminer les Pi(0) et les Pij • l(d) : le nombre de transitions dans le système pour la dème connexion (1≤ d ≤ m) • tij(d) : le nombre de transition de la cellule i à la cellule j pendant la dème connexion • li(d) : le nombre de transitions sortantes de la cellule i pendant la dème connexion 32 • M = [Pij] [N*N] • On le calcule de la manière suivante : l i(d) = ∑= n j 1 tij(d) ∑= n i 1 li(d) = l(d)32 Calculer la matrice M et le vecteur V (2/2) 33 • La probabilité de transition de la cellule i à la cellule j pendant la dème connexion (Pij(d)) est calculée de la manière suivante : Pij(d) = tij(d)/l i(d) • Après m connexions, la probabilité de transition de la cellule i à la cellule j est calculée de la manière suivante : ∑= m d 1 Pij Pij = (d) /m. i,j = 1,n • Si à l’instant t = 0, l’utilisateur se connecte k fois dans la cellule i durant les m •connexions alors : Pi(0) = k/m ou (k*100/m)% • V = [Pi(0)] [N]33 Prédire le MSpec à l’aide des chaînes de Markov •Le MSpec est un sous ensemble de C MSpec = {a1 C1, a2 C2,..........., ai Ci,.........., an Cn} / ai = {0, 1} ∑= n i 1 ai Ci / ai MSpec = = {0,1} • On définit θ (0 ≤ θ ≤ 1) : un seuil fixe ou variable, pour sélectionner les cellules de plus grandes probabilités. Le MSpec est défini comme suit : MSpec = {Cj / Pj (t+1) ≥ θ } 3434 Non Fin Consulter le profil de mobilité de l’utilisateur Début Identifier l’utilisateur t = 0, MSpec = { } C = (C1, C2, ........Ci........Cn) Non Utilisateur Oui = ancien Initier la matrice de transition: M = [Pij], {i, j} =1, 2, ..... n Initier Pi (0) i =1, 2, ….. n J=1 ; 0 ≤ θ ≤ 1 MSpec = MSpec ∪ Cj j = j+1 Oui Non Oui j ≤ N Pj (t+1) ≥ θ ∑ = n i 1 Pj (t+1) = Pi (t) * Pij Prédiction du MSpec à l’aide des chaînes de Markov 3535 t0 t1 s0 s1 f1 f0 Temps du handover de la cellule Ci-1 à la cellule Ci Temps du handover de la cellule Ci à la cellule Ci+1 Le temps passé dans la cellule Ci Temps du lancement de la méthode de prédiction Temps de la détermination du MSpec Temps de la détermination du MSpec Temps de la procédure de réservation de ressources à l’avance temps La cellule Ci-1 La cellule Ci La cellule Ci+1 Le temps d’attente dans la cellule Ci ≥ le temps de la détermination du MSpec + le temps de la réservation de ressources à l’avance Simulation 36 Systeme informatique de commande du robot V 80 V. Dupourque To cite this version: V. Dupourque. Systeme informatique de commande du robot V 80. RT-0035, 1984, pp.93. HAL Id: inria-00070123 https://hal.inria.fr/inria-00070123 Submitted on 19 May 2006 HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers. L’archive ouverte pluridisciplinaire HAL, est destin´ee au d´epˆot et `a la diffusion de documents scientifiques de niveau recherche, publi´es ou non, ´emanant des ´etablissements d’enseignement et de recherche fran¸cais ou ´etrangers, des laboratoires publics ou priv´es. Lecture 10: Robust outlier detection with L0-SVDD Stéphane Canu stephane.canu@litislab.eu Sao Paulo 2014 February 28, 2014Roadmap 1 Robust outlier detection with L0-SVDD L0 SVDD 4 iterations of Adaptive L0 SVDDRecall SVDD    min R,c,ξ R + C Xn i=1 ξi with kxi − ck 2 ≤ R + ξi , i = 1, . . . , n and ξi ≥ 0, i = 1, . . . , n (1) Stéphane Canu (INSA Rouen - LITIS) February 28, 2014 3 / 11SVDD + outlier C =1/16 C =1/8 C =1/4 C = 1/2 (¾') Figure: Example of SVDD solutions with different C values, m = 0 (red) and m = 5 (magenta). The circled data points represent support vectors for both m. Stéphane Canu (INSA Rouen - LITIS) February 28, 2014 4 / 11The L0 norm kξk0 ≤ t    min c∈IRp ,R∈IR,ξ∈IRn R + Ckξk0 with kxi − ck 2 ≤ R+ξi ξi ≥ 0 i = 1, n Stéphane Canu (INSA Rouen - LITIS) February 28, 2014 5 / 11L0 relaxations p norm exponenetial piecewise linear log    min c∈IRp ,R∈IR,ξ∈IRn R + C Xn i=1 log(γ + ξi) with kxi − ck 2 ≤ R+ξi ξi ≥ 0 i = 1, n . Stéphane Canu (INSA Rouen - LITIS) February 28, 2014 6 / 11DC programing log(γ + t) = f (t) − g(t) with f (t) = t and g(t) = t − log(γ + t), both functions f and g being convex. The DC framework consists in minimizing iteratively (R plus a sum of) the following convex term: f (ξ) − g ′ (ξ)ξ = ξ −  1 − 1 γ + ξ old  ξ = ξ γ + ξ old , where ξ old i denotes the solution at the previous iteration. Stéphane Canu (INSA Rouen - LITIS) February 28, 2014 7 / 11The DC idea applied to our L0 SVDD approximation consists in building a sequence of solutions of the following adaptive SVDD:    min c∈IRp ,R∈IR,ξ∈IRn R + C Xn i=1 wi ξi with kxi − ck 2 ≤ R+ξi ξi ≥ 0 i = 1, n with wi = 1 γ + ξ old i . Stéphane Canu (INSA Rouen - LITIS) February 28, 2014 8 / 11Stationary conditions of the KKT give: c = Pn i=1 αi xi and Pn i=1 αi = 1 where the αi are the Lagrange multipliers associated with the inequality constraints kxi − ck 2 ≤ R+ξi . The dual of this problem is ( min α∈IRn α ⊤XX ⊤α − α ⊤diag(XX ⊤) with Pn i=1 αi = 1 0 ≤ αi ≤ Cwi i = 1, n (2) Stéphane Canu (INSA Rouen - LITIS) February 28, 2014 9 / 11Algorithm 1 L0 SVDD for the linear kernel Data: X, y, C , γ Result: R , c, ξ , α wi = 1; i = 1, n while not converged do (α, λ) ← solve_QP(X, C,w) % solve problem (2) c ← X ⊤α R ← λ + c ⊤c ξi ← max(0, kxi − ck 2 − R) i = 1, n wi ← 1/(γ + ξi) i = 1, n end Stéphane Canu (INSA Rouen - LITIS) February 28, 2014 10 / 11Bibliography Stéphane Canu (INSA Rouen - LITIS) February 28, 2014 11 / 11 Lecture 9: Multi Kernel SVM Stéphane Canu stephane.canu@litislab.eu Sao Paulo 2014 April 16, 2014Roadmap 1 Tuning the kernel: MKL The multiple kernel problem Sparse kernel machines for regression: SVR SimpleMKL: the multiple kernel solutionStandard Learning with Kernels User Learning Machine kernel k data f http://www.cs.nyu.edu/~mohri/icml2011-tutorial/tutorial-icml2011-2.pdf Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 3 / 21Learning Kernel framework User Learning Machine kernel family km data f , k(., .) http://www.cs.nyu.edu/~mohri/icml2011-tutorial/tutorial-icml2011-2.pdf Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 3 / 21from SVM SVM: single kernel k f (x) = Xn i=1 αi k (x, xi) + b = http://www.nowozin.net/sebastian/talks/ICCV-2009-LPbeta.pdf Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 4 / 21from SVM → to Multiple Kernel Learning (MKL) SVM: single kernel k MKL: set of M kernels k1, . . . , km, . . . , kM ◮ learn classier and combination weights ◮ can be cast as a convex optimization problem f (x) = Xn i=1 αi X M m=1 dm km(x, xi) + b X M m=1 dm = 1 and 0 ≤ dm = http://www.nowozin.net/sebastian/talks/ICCV-2009-LPbeta.pdf Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 4 / 21from SVM → to Multiple Kernel Learning (MKL) SVM: single kernel k MKL: set of M kernels k1, . . . , km, . . . , kM ◮ learn classier and combination weights ◮ can be cast as a convex optimization problem f (x) = Xn i=1 αi X M m=1 dm km(x, xi) + b X M m=1 dm = 1 and 0 ≤ dm = Xn i=1 αiK(x, xi) + b with K(x, xi) = X M m=1 dm km(x, xi) http://www.nowozin.net/sebastian/talks/ICCV-2009-LPbeta.pdf Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 4 / 21Multiple Kernel The model f (x) = Xn i=1 αi X M m=1 dmkm(x, xi) + b, X M m=1 dm = 1 and 0 ≤ dm Given M kernel functions k1, . . . , kM that are potentially well suited for a given problem, find a positive linear combination of these kernels such that the resulting kernel k is “optimal” k(x, x ′ ) = X M m=1 dmkm(x, x ′ ), with dm ≥ 0, X m dm = 1 Learning together The kernel coefficients dm and the SVM parameters αi , b. Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 5 / 21Multiple Kernel: illustration Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 6 / 21Multiple Kernel Strategies Wrapper method (Weston et al., 2000; Chapelle et al., 2002) ◮ solve SVM ◮ gradient descent on dm on criterion: ⋆ margin criterion ⋆ span criterion Kernel Learning & Feature Selection ◮ use Kernels as dictionary Embedded Multi Kernel Learning (MKL) Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 7 / 21Multiple Kernel functional Learning The problem (for given C) min f ∈H,b,ξ,d 1 2 kf k 2 H + C X i ξi with yi f (xi) + b  ≥ 1 + ξi ; ξi ≥ 0 ∀i X M m=1 dm = 1 , dm ≥ 0 ∀m , f = X m fm and k(x, x ′ ) = X M m=1 dmkm(x, x ′ ), with dm ≥ 0 The functional framework H = M M m=1 H′ m hf , giH′ m = 1 dm hf , giHm Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 8 / 21Multiple Kernel functional Learning The problem (for given C) min {fm},b,ξ,d 1 2 X m 1 dm kfmk 2 Hm + C X i ξi with yi X m fm(xi) + b  ≥ 1 + ξi ; ξi ≥ 0 ∀i X m dm = 1 , dm ≥ 0 ∀m , Treated as a bi-level optimization task min d∈IRM    min {fm},b,ξ 1 2 X m 1 dm kfmk 2 Hm + C X i ξi with yi X m fm(xi) + b  ≥ 1 + ξi ; ξi ≥ 0 ∀i s.t. X m dm = 1 , dm ≥ 0 ∀m , Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 9 / 21Multiple Kernel representer theorem and dual The Lagrangian: L = 1 2 X m 1 dm kfmk 2 Hm + C X i ξi − X i αi  yi X m fm(xi) + b  − 1 − ξi  − X i βi ξi Associated KKT stationarity conditions: ∇mL = 0 ⇔ 1 dm fm(•) = Xn i=1 αi yikm(•, xi) m = 1, M Representer theorem f (•) = X m fm(•) = Xn i=1 αi yi X m dmkm(•, xi) | {z } K(•,xi ) We have a standard SVM problem with respect to function f and kernel K. Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 10 / 21Multiple Kernel Algorithm Use a Reduced Gradient Algorithm1 min d∈IRM J(d) s.t. X m dm = 1 , dm ≥ 0 ∀m , SimpleMKL algorithm set dm = 1 M for m = 1, . . . , M while stopping criterion not met do compute J(d) using an QP solver with K = P m dmKm compute ∂J ∂dm , and projected gradient as a descent direction D γ ← compute optimal stepsize d ← d + γD end while −→ Improvement reported using the Hessian 1Rakotomamonjy et al. JMLR 08 Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 11 / 21Computing the reduced gradient At the optimal the primal cost = dual cost 1 2 X m 1 dm kfmk 2 Hm + C X i ξi | {z } primal cost = 1 2 α ⊤Gα − e ⊤α | {z } dual cost with G = P m dmGm where Gm,ij = km(xi , xj) Dual cost is easier for the gradient ∇dm J(d) = 1 2 α ⊤Gmα Reduce (or project) to check the constraints P m dm = 1 → P m Dm = 0 Dm = ∇dm J(d) − ∇d1 J(d) and D1 = − X M m=2 Dm Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 12 / 21Complexity For each iteration: SVM training: O(nnsv + n 3 sv). Inverting Ksv,sv is O(n 3 sv), but might already be available as a by-product of the SVM training. Computing H: O(Mn2 sv) Finding d: O(M3 ). The number of iterations is usually less than 10. −→ When M < nsv, computing d is not more expensive than QP. Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 13 / 21MKL on the 101-caltech dataset http://www.robots.ox.ac.uk/~vgg/software/MKL/ Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 14 / 21Support vector regression (SVR) the t-insensitive loss ( min f ∈H 1 2 kf k 2 H with |f (xi) − yi | ≤ t, i = 1, n The support vector regression introduce slack variables (SVR) ( min f ∈H 1 2 kf k 2 H + C P|ξi | with |f (xi) − yi | ≤ t + ξi 0 ≤ ξi i = 1, n a typical multi parametric quadratic program (mpQP) piecewise linear regularization path α(C,t) = α(C0,t0) + ( 1 C − 1 C0 )u + 1 C0 (t − t0)v 2d Pareto’s front (the tube width and the regularity)Support vector regression illustration 0 1 2 3 4 5 6 7 8 −1 −0.8 −0.6 −0.4 −0.2 0 0.2 0.4 0.6 0.8 1 Support Vector Machine Regression x y 0 0.5 1 1.5 2 2.5 3 3.5 4 4.5 5 −1.5 −1 −0.5 0 0.5 1 1.5 Support Vector Machine Regression x y C large C small there exists other formulations such as LP SVR...Multiple Kernel Learning for regression The problem (for given C and t) min {fm},b,ξ,d 1 2 X m 1 dm kfmk 2 Hm + C X i ξi s.t. X m fm(xi) + b − yi ≤ t + ξi ∀iξi ≥ 0 ∀i X m dm = 1 , dm ≥ 0 ∀m , regularization formulation min {fm},b,d 1 2 X m 1 dm kfmk 2 Hm + C X i max( X m fm(xi) + b − yi − t, 0) X m dm = 1 , dm ≥ 0 ∀m , Equivalently min fm},b,ξ,d X i max X m fm(xi) + b − yi − t, 0  + 1 2C X m 1 dm kfmk 2 Hm + µ X m |dm| Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 17 / 21Multiple Kernel functional Learning The problem (for given C and t) min {fm},b,ξ,d 1 2 X m 1 dm kfmk 2 Hm + C X i ξi s.t. X m fm(xi) + b − yi ≤ t + ξi ∀iξi ≥ 0 ∀i X m dm = 1 , dm ≥ 0 ∀m , Treated as a bi-level optimization task min d∈IRM    min {fm},b,ξ 1 2 X m 1 dm kfmk 2 Hm + C X i ξi s.t. X m fm(xi) + b − yi ≥ t + ξi ∀i ξi ≥ 0 ∀i s.t. X m dm = 1 , dm ≥ 0 ∀m , Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 18 / 21Multiple Kernel experiments 0 0.2 0.4 0.6 0.8 1 −1 −0.5 0 0.5 1 LinChirp 0 0.2 0.4 0.6 0.8 1 −2 −1 0 1 2 x 0 0.2 0.4 0.6 0.8 1 0.2 0.4 0.6 0.8 1 Wave 0 0.2 0.4 0.6 0.8 1 0 0.5 1 x 0 0.2 0.4 0.6 0.8 1 0.2 0.4 0.6 0.8 1 Blocks 0 0.2 0.4 0.6 0.8 1 0 0.2 0.4 0.6 0.8 x 0 0.2 0.4 0.6 0.8 1 0.2 0.4 0.6 0.8 1 Spikes 0 0.2 0.4 0.6 0.8 1 0 0.5 1 x Single Kernel Kernel Dil Kernel Dil-Trans Data Set Norm. MSE (%) #Kernel Norm. MSE #Kernel Norm. MSE LinChirp 1.46 ± 0.28 7.0 1.00 ± 0.15 21.5 0.92 ± 0.20 Wave 0.98 ± 0.06 5.5 0.73 ± 0.10 20.6 0.79 ± 0.07 Blocks 1.96 ± 0.14 6.0 2.11 ± 0.12 19.4 1.94 ± 0.13 Spike 6.85 ± 0.68 6.1 6.97 ± 0.84 12.8 5.58 ± 0.84 Table: Normalized Mean Square error averaged over 20 runs. Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 19 / 21Conclusion on multiple kernel (MKL) MKL: Kernel tuning, variable selection. . . ◮ extention to classification and one class SVM SVM KM: an efficient Matlab toolbox (available at MLOSS)2 Multiple Kernels for Image Classification: Software and Experiments on Caltech-1013 new trend: Multi kernel, Multi task and ∞ number of kernels 2 http://mloss.org/software/view/33/ 3 http://www.robots.ox.ac.uk/~vgg/software/MKL/Bibliography A. Rakotomamonjy, F. Bach, S. Canu & Y. Grandvalet. SimpleMKL. J. Mach. Learn. Res. 2008, 9:2491–2521. M. Gönen & E. Alpaydin Multiple kernel learning algorithms. J. Mach. Learn. Res. 2008;12:2211-2268. http://www.cs.nyu.edu/~mohri/icml2011-tutorial/tutorial-icml2011-2.pdf http://www.robots.ox.ac.uk/~vgg/software/MKL/ http://www.nowozin.net/sebastian/talks/ICCV-2009-LPbeta.pdf Stéphane Canu (INSA Rouen - LITIS) April 16, 2014 21 / 21 Lecture 7: Tuning hyperparameters using cross validation Stéphane Canu stephane.canu@litislab.eu Sao Paulo 2014 April 4, 2014Roadmap 1 Tuning hyperparameters Motivation Machine learning without data Assessing the quality of a trained SVM Model selection log of the bandwith log of C 1.5 2 2.5 3 3.5 4 4.5 ï1 0 1 2 3 4 “Evaluation is the key to making real progress in data mining”, [Witten & Frank, 2005], p.143 (from N. Japkowicz & M. Shah ICML 2012 tutorial)Motivation: the influence of C on SVM 0 0.5 1 1.5 2 2.5 3 3.5 4 0.22 0.24 0.26 0.28 0.3 error C (log. scale) 0 0 1 −1 C too small 0 0 0 1 1 1 −1 −1 −1 −1 −1 nice C 0 0 0 0 0 1 1 1 1 1 1 −1 −1 −1 −1 −1 C too largeMotivation: Need for model selection (tuning the hyper parameters) Require a good estimation of the performance on future data Choose a relevant performance measureRoadmap 1 Tuning hyperparameters Motivation Machine learning without data Assessing the quality of a trained SVM Model selection log of the bandwith log of C 1.5 2 2.5 3 3.5 4 4.5 ï1 0 1 2 3 4 “Evaluation is the key to making real progress in data mining”, [Witten & Frank, 2005], p.143 (from N. Japkowicz & M. Shah ICML 2012 tutorial)Machine learning without data minimizing IP(error)Roadmap 1 Tuning hyperparameters Motivation Machine learning without data Assessing the quality of a trained SVM Model selection log of the bandwith log of C 1.5 2 2.5 3 3.5 4 4.5 ï1 0 1 2 3 4 “Evaluation is the key to making real progress in data mining”, [Witten & Frank, 2005], p.143 (from N. Japkowicz & M. Shah ICML 2012 tutorial)Training and test data Split dataset into two groups randomly picked (hold out strategy) Training set: used to train the classifier Test set: used to estimate the error rate of the trained classifier (X,y) total available data (Xa,ya) training data (Xt,yt) test data (Xa, ya, Xt, yt) ← split(X, y, option = 1 3 ) Generally, the larger the training data the better the classifier The larger the test data the more accurate the error estimateAssessing the quality of a trained SVM: minimum error rate Definition (The confusion matrix) A matrix showing the predicted and actual classifications. A confusion matrix is of size L × L, where L is the number of different classes. Observed / predicted Positive Negative positive a b negative c d Error rate = 1 - Accuracy = b + c a + b + c + d = b + c n = 1 − a + d n True positive rate (Recall, Sensitivity) d/(c+d). True negative rate (Specificity) a/(a+b). Precision, False positive rate, False negative rate...Other performances measures N. Japkowicz & M. Shah, "Evaluating Learning Algorithms: A Classification Perspective", Cambridge University Press, 2011The learning equation Learning = training + testing + tuning Table: my experimental error rates State of the art my new method Bayes error problem 1 10% ± 1.25 8.5% ± .5 problem 2 5 % (.25) 4 % (.5) is my new method good for problem 1?The learning equation Learning = training + testing + tuning Table: my experimental error rates State of the art my new method Bayes error problem 1 10% ± 1.25 8.5% ± .5 11 % problem 2 5 % (.25) 4 % (.5) 2 % is my new method good for problem 1?Error bars on Bernouilli trials Error rate = bp B(p) with confidence α: (Normal approximation interval) p = IP(error) in bp ± u1−α/2 s bp (1 − bp) nt with confidence α: (improved approximation) p = IP(error) in 1 1 + 1 K u 2 1−α/2  bp ± u1−α/2 s bp (1 − bp) nt   what if bp = 0? http://en.wikipedia.org/wiki/Binomial_proportion_confidence_intervalTo improve the estimate Random Subsampling (The repeated holdout method) K-Fold Cross-Validation (K = 10 or K = 2 or k = n) Leave-one-out Cross-Validation (k = 1) BootstrapError bars: the gaussian approximation ... and to stabilize: iterate K times - do it say K = 10 times The repeated holdout method Holdout estimate can be made more reliable by repeating the process with different subsamples In each iteration, use a different random splitting Average the error rates on the different iterations mean error rate e = 1 K X K k=1 ek variance σb 2 = 1 K − 1 X K k=1 (ek − e) 2 . e + tα/2,K−1 r σb 2 K t0.025,9 = 2.262Cross validation Definition (Cross-validation) A method for estimating the accuracy of an inducer by dividing the data into K mutually exclusive subsets (the “folds”) of approximately equal size. Exemple of K = 3-Fold Cross-Validation training data test data How many folds are needed (K =?) large: small bias, large variance as well as computational time small: computation time reduced, small variance, large bias A common choice for K-Fold Cross Validation is K=5Leave one out cross validation Theoretical guaranteesThe bootstrapComparing results Two different issues what is the best method for my problem? how good is my learning algorithm?Comparing two algorithms: Mc Nemar’s test build the confusion matrix of the two algorithms Algo 1 / Algo 2 right wrong right number of examples well classified by both e01 number of examples well classified by 1 but not by 2 wrong e10 number of examples missclassified by 1 but not by 2 number of examples missclassified by both H0: if the two algorithms are the same (we expect e10 = e01 = e10+e01 2 ) (|e10 − e01| − 1) 2 e10 + e01 ∼ χ 2 1 Beware: if e10 + e01 < 20 better use the sign test Matlab function: http://www.mathworks.com/matlabcentral/fileexchange/189-discrim/content/discrim/ mcnemar.m J. L. Fleiss (1981) Statistical Methods for Rates and Proportions. Second Edition. Wiley.Roadmap 1 Tuning hyperparameters Motivation Machine learning without data Assessing the quality of a trained SVM Model selection log of the bandwith log of C 1.5 2 2.5 3 3.5 4 4.5 ï1 0 1 2 3 4 “Evaluation is the key to making real progress in data mining”, [Witten & Frank, 2005], p.143 (from N. Japkowicz & M. Shah ICML 2012 tutorial)Model selection strategy Model selection criteria attempt to find a good compromise between The complexity of a model Its prediction accuracy on the training data 1 (Xa, ya, Xt, yt) ← split(X, y, options) 2 (C, b) ← tune(Xa, ya, options) 3 model ← train(Xa, ya, C, b, options) 4 error ← test(Xt, yt, C, b, options) Occam’s Razor: the best theory is the smallest one that describes all the factsModel selection: the tuning function function (C, b) ← tune(Xa, ya, options) 1 (Xℓ, yℓ, Xv, yv) ← split(Xa, ya, options) 2 loop on a grid for C 3 loop on a grid for b 1 model ← train(Xℓ, yℓ, C, b, options) 2 error ← test(Xv, yv, C, b, options) The three sets Training set: a set of examples used for learning: to fit the parameters Validation set: a set of examples used to tune the hyper parameters Test set: independent instances that have played no part in formation of classifierhow to design the grids A grid on b A much simpler trick is to pick, say 1000 pairs (x,x’) at random from your dataset, compute the distance of all such pairs and take the median, the 0.1 and the 0.9 quantile. Now pick b to be the inverse any of these three numbers. http://blog.smola.org/post/940859888/easy-kernel-width-choice A grid on C from Cmin to ∞ to much!The coarse to fine strategy 1 use a large coarse grid on a few data to localize interesting values 2 fine tuning on all data in this zone 1 (Xa, ya, Xt, yt) ← split(X, y) 2 (C, b) ← tune(Xa, ya, coarsegrids,smalltrainingset) 3 finegrids ← fit_grid(C, b) 4 (C, b) ← tune(Xa, ya, finegrids, largetrainingset) 5 model ← train(Xa, ya, C, b, options) 6 error ← test(Xt, yt, C, b, options) The computing time is the key issueEvaluation measures the span boundBibliography http://research.cs.tamu.edu/prism/lectures/iss/iss_l13.pdf http://www.cs.odu.edu/~mukka/cs795sum13dm/Lecturenotes/Day3/Chapter5.pdf http://www.cs.cmu.edu/~epxing/Class/10701-10s/Lecture/lecture8.pdf http://www.mohakshah.com/tutorials/icml2012/Tutorial-ICML2012/Tutorial_at_ICML_ 2012_files/ICML2012-Tutorial.pdf Stéphane Canu (INSA Rouen - LITIS) April 4, 2014 26 / 26 Lecture 6: Minimum encoding ball and Support vector data description (SVDD) Stéphane Canu stephane.canu@litislab.eu Sao Paulo 2014 May 12, 2014Plan 1 Support Vector Data Description (SVDD) SVDD, the smallest enclosing ball problem The minimum enclosing ball problem with errors The minimum enclosing ball problem in a RKHS The two class Support vector data description (SVDD)The minimum enclosing ball problem [Tax and Duin, 2004] Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 3 / 35The minimum enclosing ball problem [Tax and Duin, 2004] the center Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 3 / 35The minimum enclosing ball problem [Tax and Duin, 2004] the radius Given n points, {xi , i = 1, n} . ( min R∈IR,c∈IRd R 2 with kxi − ck 2 ≤ R 2 , i = 1, . . . , n What is that in the convex programming hierarchy? LP, QP, QCQP, SOCP and SDP Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 3 / 35The convex programming hierarchy (part of) LP    min x f ⊤x with Ax ≤ d and 0 ≤ x QP ( min x 1 2 x ⊤Gx + f ⊤x with Ax ≤ d QCQP    min x 1 2 x ⊤Gx + f ⊤x with x ⊤Bix + a ⊤ i x ≤ di i = 1, n SOCP    min x f ⊤x with kx − aik ≤ b ⊤ i x + di i = 1, n The convex programming hierarchy? Model generality: LP < QP < QCQP < SOCP < SDP Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 4 / 35MEB as a QP in the primal Theorem (MEB as a QP) The two following problems are equivalent, ( min R∈IR,c∈IRd R 2 with kxi − ck 2 ≤ R 2 , i = 1, . . . , n ( min w,ρ 1 2 kwk 2 − ρ with w⊤xi ≥ ρ + 1 2 kxik 2 with ρ = 1 2 (kck 2 − R 2 ) and w = c. Proof: kxi − ck 2 ≤ R 2 kxik 2 − 2x ⊤ i c + kck 2 ≤ R 2 −2x ⊤ i c ≤ R 2 − kxik 2 − kck 2 2x ⊤ i c ≥ −R 2 + kxik 2 + kck 2 x ⊤ i c ≥ 1 2 (kck 2 − R 2 ) | {z } ρ + 1 2 kxik 2 Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 5 / 35MEB and the one class SVM SVDD: ( min w,ρ 1 2 kwk 2 − ρ with w⊤xi ≥ ρ + 1 2 kxik 2 SVDD and linear OCSVM (Supporting Hyperplane) if ∀i = 1, n, kxik 2 = constant, it is the the linear one class SVM (OC SVM) The linear one class SVM [Schölkopf and Smola, 2002] ( min w,ρ′ 1 2 kwk 2 − ρ ′ with w⊤xi ≥ ρ ′ with ρ ′ = ρ + 1 2 kxik 2 ⇒ OC SVM is a particular case of SVDD Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 6 / 35When ∀i = 1, n, kxik 2 = 1 0 c kxi − ck 2 ≤ R 2 ⇔ w ⊤xi ≥ ρ with ρ = 1 2 (kck 2 − R + 1) SVDD and OCSVM "Belonging to the ball" is also "being above" an hyperplane Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 7 / 35MEB: KKT L(c, R, α) = R 2 + Xn i=1 αi kxi − ck 2 − R 2  KKT conditionns : stationarty ◮ 2c Pn i=1 αi − 2 Pn i=1 αixi = 0 ← The representer theorem ◮ 1 − Pn i=1 αi = 0 primal admiss. kxi − ck 2 ≤ R 2 dual admiss. αi ≥ 0 i = 1, n complementarity αi kxi − ck 2 − R 2  = 0 i = 1, n Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 8 / 35MEB: KKT the radius L(c, R, α) = R 2 + Xn i=1 αi kxi − ck 2 − R 2  KKT conditionns : stationarty ◮ 2c Pn i=1 αi − 2 Pn i=1 αixi = 0 ← The representer theorem ◮ 1 − Pn i=1 αi = 0 primal admiss. kxi − ck 2 ≤ R 2 dual admiss. αi ≥ 0 i = 1, n complementarity αi kxi − ck 2 − R 2  = 0 i = 1, n Complementarity tells us: two groups of points the support vectors kxi − ck 2 = R 2 and the insiders αi = 0 Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 8 / 35MEB: Dual The representer theorem: c = Pn i=1 αixi Pn i=1 αi = Xn i=1 αixi L(α) = Xn i=1 αi kxi − Xn j=1 αjxjk 2  Xn i=1 Xn j=1 αiαjx ⊤ i xj = α ⊤Gα and Xn i=1 αi x ⊤ i xi = α ⊤diag(G) with G = XX⊤ the Gram matrix: Gij = x ⊤ i xj ,    min α∈IRn α ⊤Gα − α ⊤diag(G) with e ⊤α = 1 and 0 ≤ αi , i = 1 . . . n Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 9 / 35SVDD primal vs. dual Primal    min R∈IR,c∈IRd R 2 with kxi − ck 2 ≤ R 2 , i = 1, . . . , n d + 1 unknown n constraints can be recast as a QP perfect when d << n Dual    min α α ⊤Gα − α ⊤diag(G) with e ⊤α = 1 and 0 ≤ αi , i = 1 . . . n n unknown with G the pairwise influence Gram matrix n box constraints easy to solve to be used when d > nSVDD primal vs. dual Primal    min R∈IR,c∈IRd R 2 with kxi − ck 2 ≤ R 2 , i = 1, . . . , n d + 1 unknown n constraints can be recast as a QP perfect when d << n Dual    min α α ⊤Gα − α ⊤diag(G) with e ⊤α = 1 and 0 ≤ αi , i = 1 . . . n n unknown with G the pairwise influence Gram matrix n box constraints easy to solve to be used when d > n But where is R 2 ?Looking for R 2 ( min α α ⊤Gα − α ⊤diag(G) with e ⊤α = 1, 0 ≤ αi , i = 1, n The Lagrangian: L(α, µ, β) = α ⊤Gα − α ⊤diag(G) + µ(e ⊤α − 1) − β ⊤α Stationarity cond.: ∇αL(α, µ, β) = 2Gα − diag(G) + µe − β = 0 The bi dual ( min α α ⊤Gα + µ with −2Gα + diag(G) ≤ µe by identification R 2 = µ + α ⊤Gα = µ + kck 2 µ is the Lagrange multiplier associated with the equality constraint Xn i=1 αi = 1 Also, because of the complementarity condition, if xi is a support vector, then βi = 0 implies αi > 0 and R 2 = kxi − ck 2 .Plan 1 Support Vector Data Description (SVDD) SVDD, the smallest enclosing ball problem The minimum enclosing ball problem with errors The minimum enclosing ball problem in a RKHS The two class Support vector data description (SVDD) Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 12 / 35The minimum enclosing ball problem with errors the slack The same road map: initial formuation reformulation (as a QP) Lagrangian, KKT dual formulation bi dual Initial formulation: for a given C    min R,a,ξ R 2 + C Xn i=1 ξi with kxi − ck 2 ≤ R 2 + ξi , i = 1, . . . , n and ξi ≥ 0, i = 1, . . . , n Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 13 / 35The MEB with slack: QP, KKT, dual and R 2 SVDD as a QP:    min w,ρ 1 2 kwk 2 − ρ + C 2 Xn i=1 ξi with w⊤xi ≥ ρ + 1 2 kxik 2 − 1 2 ξi and ξi ≥ 0, i = 1, n again with OC SVM as a particular case. With G = XX ⊤ Dual SVDD:    min α α ⊤Gα − α ⊤diag(G) with e ⊤α = 1 and 0 ≤ αi ≤ C, i = 1, n for a given C ≤ 1. If C is larger than one it is useless (it’s the no slack case) R 2 = µ + c ⊤c with µ denoting the Lagrange multiplier associated with the equality constraint Pn i=1 αi = 1.Variations over SVDD Adaptive SVDD: the weighted error case for given wi , i = 1, n    min c∈IRp,R∈IR,ξ∈IRn R + C Xn i=1 wi ξi with kxi − ck 2 ≤ R+ξi ξi ≥ 0 i = 1, n The dual of this problem is a QP [see for instance Liu et al., 2013] ( min α∈IRn α ⊤XX ⊤α − α ⊤diag(XX ⊤) with Pn i=1 αi = 1 0 ≤ αi ≤ Cwi i = 1, n Density induced SVDD (D-SVDD):    min c∈IRp,R∈IR,ξ∈IRn R + C Xn i=1 ξi with wikxi − ck 2 ≤ R+ξi ξi ≥ 0 i = 1, nPlan 1 Support Vector Data Description (SVDD) SVDD, the smallest enclosing ball problem The minimum enclosing ball problem with errors The minimum enclosing ball problem in a RKHS The two class Support vector data description (SVDD) Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 16 / 35SVDD in a RKHS The feature map: IRp −→ H c −→ f (•) xi −→ k(xi , •) kxi − ckIRp ≤ R 2 −→ kk(xi , •) − f (•)k 2 H ≤ R 2 Kernelized SVDD (in a RKHS) is also a QP    min f ∈H,R∈IR,ξ∈IRn R 2 + C Xn i=1 ξi with kk(xi , •) − f (•)k 2 H ≤ R 2+ξi i = 1, n ξi ≥ 0 i = 1, nSVDD in a RKHS: KKT, Dual and R 2 L = R 2 + C Xn i=1 ξi + Xn i=1 αi kk(xi , .) − f (.)k 2 H − R 2−ξi  − Xn i=1 βi ξi = R 2 + C Xn i=1 ξi + Xn i=1 αi k(xi , xi) − 2f (xi) + kf k 2 H − R 2−ξi  − Xn i=1 βi ξi KKT conditions Stationarity ◮ 2f (.) Pn i=1 αi − 2 Pn i=1 αik(., xi) = 0 ← The representer theorem ◮ 1 − Pn i=1 αi = 0 ◮ C − αi − βi = 0 Primal admissibility: kk(xi , .) − f (.)k 2 ≤ R 2 + ξi , ξi ≥ 0 Dual admissibility: αi ≥ 0 , βi ≥ 0 Complementarity ◮ αi kk(xi , .) − f (.)k 2 − R 2 − ξi  = 0 ◮ βi ξi = 0SVDD in a RKHS: Dual and R 2 L(α) = Xn i=1 αik(xi , xi) − 2 Xn i=1 f (xi) + kf k 2 H with f (.) = Xn j=1 αjk(., xj) = Xn i=1 αik(xi , xi) − Xn i=1 Xn j=1 αiαj k(xi , xj) | {z } Gij Gij = k(xi , xj)    min α α ⊤Gα − α ⊤diag(G) with e ⊤α = 1 and 0 ≤ αi≤ C, i = 1 . . . n As it is in the linear case: R 2 = µ + kf k 2 H with µ denoting the Lagrange multiplier associated with the equality constraint Pn i=1 αi = 1.SVDD train and val in a RKHS Train using the dual form (in: G, C; out: α, µ)    min α α ⊤Gα − α ⊤diag(G) with e ⊤α = 1 and 0 ≤ αi≤ C, i = 1 . . . n Val with the center in the RKHS: f (.) = Pn i=1 αik(., xi) φ(x) = kk(x, .) − f (.)k 2 H − R 2 = kk(x, .)k 2 H − 2hk(x, .), f (.)iH + kf (.)k 2 H − R 2 = k(x, x) − 2f (x) + R 2 − µ − R 2 = −2f (x) + k(x, x) − µ = −2 Xn i=1 αik(x, xi) + k(x, x) − µ φ(x) = 0 is the decision border Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 20 / 35An important theoretical result For a well-calibrated bandwidth, The SVDD estimates the underlying distribution level set [Vert and Vert, 2006] The level sets of a probability density function IP(x) are the set Cp = {x ∈ IRd | IP(x) ≥ p} It is well estimated by the empirical minimum volume set Vp = {x ∈ IRd | kk(x, .) − f (.)k 2 H − R 2 ≥ 0} The frontiers coincidesSVDD: the generalization error For a well-calibrated bandwidth, (x1, . . . , xn) i.i.d. from some fixed but unknown IP(x) Then [Shawe-Taylor and Cristianini, 2004] with probability at least 1 − δ, (∀δ ∈]0, 1[), for any margin m > 0 IP kk(x, .) − f (.)k 2 H ≥ R 2 + m  ≤ 1 mn Xn i=1 ξi + 6R 2 m √ n + 3 r ln(2/δ) 2nEquivalence between SVDD and OCSVM for translation invariant kernels (diagonal constant kernels) Theorem Let H be a RKHS on some domain X endowed with kernel k. If there exists some constant c such that ∀x ∈ X , k(x, x) = c, then the two following problems are equivalent,    min f ,R,ξ R + C Xn i=1 ξi with kk(xi , .) − f (.)k 2 H ≤ R+ξi ξi ≥ 0 i = 1, n    min f ,ρ,ξ 1 2 kf k 2 H − ρ + C Xn i=1 εi with f (xi) ≥ ρ − εi εi ≥ 0 i = 1, n with ρ = 1 2 (c + kf k 2 H − R) and εi = 1 2 ξi .Proof of the Equivalence between SVDD and OCSVM    min f ∈H,R∈IR,ξ∈IRn R + C Xn i=1 ξi with kk(xi , .) − f (.)k 2 H ≤ R+ξi , ξi ≥ 0 i = 1, n since kk(xi , .) − f (.)k 2 H = k(xi , xi) + kf k 2 H − 2f (xi)    min f ∈H,R∈IR,ξ∈IRn R + C Xn i=1 ξi with 2f (xi) ≥ k(xi , xi) + kf k 2 H − R−ξi , ξi ≥ 0 i = 1, n. Introducing ρ = 1 2 (c + kf k 2 H − R) that is R = c + kf k 2 H − 2ρ, and since k(xi , xi) is constant and equals to c the SVDD problem becomes    min f ∈H,ρ∈IR,ξ∈IRn 1 2 kf k 2 H − ρ + C 2 Xn i=1 ξi with f (xi) ≥ ρ− 1 2 ξi , ξi ≥ 0 i = 1, nleading to the classical one class SVM formulation (OCSVM)    min f ∈H,ρ∈IR,ξ∈IRn 1 2 kf k 2 H − ρ + C Xn i=1 εi with f (xi) ≥ ρ − εi , εi ≥ 0 i = 1, n with εi = 1 2 ξi . Note that by putting ν = 1 nC we can get the so called ν formulation of the OCSVM    min f ′∈H,ρ′∈IR,ξ′∈IRn 1 2 kf ′k 2 H − nνρ′ + Xn i=1 ξ ′ i with f ′ (xi) ≥ ρ ′ − ξ ′ i , ξ′ i ≥ 0 i = 1, n with f ′ = Cf , ρ ′ = Cρ, and ξ ′ = Cξ.Duality Note that the dual of the SVDD is ( min α∈IRn α ⊤Gα − α ⊤g with Pn i=1 αi = 1 0 ≤ αi ≤ C i = 1, n where G is the kernel matrix of general term Gi,j = k(xi , xj) and g the diagonal vector such that gi = k(xi , xi) = c. The dual of the OCSVM is the following equivalent QP ( min α∈IRn 1 2 α ⊤Gα with Pn i=1 αi = 1 0 ≤ αi ≤ C i = 1, n Both dual forms provide the same solution α, but not the same Lagrange multipliers. ρ is the Lagrange multiplier of the equality constraint of the dual of the OCSVM and R = c + α ⊤Gα − 2ρ. Using the SVDD dual, it turns out that R = λeq + α ⊤Gα where λeq is the Lagrange multiplier of the equality constraint of the SVDD dual form.Plan 1 Support Vector Data Description (SVDD) SVDD, the smallest enclosing ball problem The minimum enclosing ball problem with errors The minimum enclosing ball problem in a RKHS The two class Support vector data description (SVDD) Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 27 / 35The two class Support vector data description (SVDD) −4 −3 −2 −1 0 1 2 3 −3 −2 −1 0 1 2 3 4 −4 −3 −2 −1 0 1 2 3 −3 −2 −1 0 1 2 3 4 .    min c,R,ξ+,ξ− R 2+C X yi =1 ξ + i + X yi =−1 ξ − i  with kxi − ck 2 ≤ R 2+ξ + i , ξ+ i ≥ 0 i such that yi = 1 and kxi − ck 2 ≥ R 2−ξ − i , ξ− i ≥ 0 i such that yi = −1 Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 28 / 35The two class SVDD as a QP    min c,R,ξ+,ξ− R 2+C X yi =1 ξ + i + X yi =−1 ξ − i  with kxi − ck 2 ≤ R 2+ξ + i , ξ+ i ≥ 0 i such that yi = 1 and kxi − ck 2 ≥ R 2−ξ − i , ξ− i ≥ 0 i such that yi = −1  kxik 2 − 2x ⊤ i c + kck 2 ≤ R 2+ξ + i , ξ+ i ≥ 0 i such that yi = 1 kxik 2 − 2x ⊤ i c + kck 2 ≥ R 2−ξ − i , ξ− i ≥ 0 i such that yi = −1 2x ⊤ i c ≥ kck 2 − R 2 + kxik 2−ξ + i , ξ+ i ≥ 0 i such that yi = 1 −2x ⊤ i c ≥ −kck 2 + R 2 − kxik 2−ξ − i , ξ− i ≥ 0 i such that yi = −1 2yix ⊤ i c ≥ yi(kck 2 − R 2 + kxik 2 )−ξi , ξi ≥ 0 i = 1, n change variable: ρ = kck 2 − R 2    min c,ρ,ξ kck 2 − ρ + C Pn i=1 ξi with 2yixi ⊤c ≥ yi(ρ − kxik 2 )−ξi i = 1, n and ξi ≥ 0 i = 1, nThe dual of the two class SVDD Gij = yi yjxix ⊤ j The dual formulation:    min α∈IRn α ⊤Gα − Pn i=1 αi yikxik 2 with Xn i=1 yiαi = 1 0 ≤ αi ≤ C i = 1, n Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 30 / 35The two class SVDD vs. one class SVDD The two class SVDD (left) vs. the one class SVDD (right) Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 31 / 35Small Sphere and Large Margin (SSLM) approach Support vector data description with margin [Wu and Ye, 2009]    min w,R,ξ∈IRn R 2+C X yi =1 ξ + i + X yi =−1 ξ − i  with kxi − ck 2 ≤ R 2 − 1+ξ + i , ξ+ i ≥ 0 i such that yi = 1 and kxi − ck 2 ≥ R 2 + 1−ξ − i , ξ− i ≥ 0 i such that yi = −1 kxi − ck 2 ≥ R 2 + 1−ξ − i and yi = −1 ⇐⇒ yi kxi − ck 2 ≤ yiR 2 − 1+ξ − i L(c, R, ξ, α, β) = R 2+C Xn i=1 ξi + Xn i=1 αi yikxi − ck 2 − yiR 2 + 1−ξi  − Xn i=1 βi ξi −4 −3 −2 −1 0 1 2 3 −3 −2 −1 0 1 2 3 4SVDD with margin – dual formulation L(c, R, ξ, α, β) = R 2+C Xn i=1 ξi + Xn i=1 αi yikxi − ck 2 − yiR 2 + 1−ξi  − Xn i=1 βi ξi Optimality: c = Xn i=1 αi yixi ; Xn i=1 αi yi = 1 ; 0 ≤ αi ≤ C L(α) = Xn i=1 αi yikxi − Xn j=1 αi yjxjk 2  + Xn i=1 αi = − Xn i=1 Xn j=1 αjαi yi yjx ⊤ j xi + Xn i=1 kxik 2 yiαi + Xn i=1 αi Dual SVDD is also a quadratic program problem D    min α∈IRn α ⊤Gα − e ⊤α − f ⊤α with y ⊤α = 1 and 0 ≤ αi ≤ C i = 1, n with G a symmetric matrix n × n such that Gij = yi yjx ⊤ j xi and fi = kxik 2 yiConclusion Applications ◮ outlier detection ◮ change detection ◮ clustering ◮ large number of classes ◮ variable selection, . . . A clear path ◮ reformulation (to a standart problem) ◮ KKT ◮ Dual ◮ Bidual a lot of variations ◮ L 2 SVDD ◮ two classes non symmetric ◮ two classes in the symmetric classes (SVM) ◮ the multi classes issue practical problems with translation invariant kernels .Bibliography Bo Liu, Yanshan Xiao, Longbing Cao, Zhifeng Hao, and Feiqi Deng. Svdd-based outlier detection on uncertain data. Knowledge and information systems, 34(3):597–618, 2013. B. Schölkopf and A. J. Smola. Learning with Kernels. MIT Press, 2002. John Shawe-Taylor and Nello Cristianini. Kernel methods for pattern analysis. Cambridge university press, 2004. David MJ Tax and Robert PW Duin. Support vector data description. Machine learning, 54(1):45–66, 2004. Régis Vert and Jean-Philippe Vert. Consistency and convergence rates of one-class svms and related algorithms. The Journal of Machine Learning Research, 7:817–854, 2006. Mingrui Wu and Jieping Ye. A small sphere and large margin approach for novelty detection using training data with outliers. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 31(11):2088–2092, 2009. Stéphane Canu (INSA Rouen - LITIS) May 12, 2014 35 / 35 Lecture 5: SVM as a kernel machine Stéphane Canu stephane.canu@litislab.eu Sao Paulo 2014 April 26, 2014Plan 1 Kernel machines Non sparse kernel machines Sparse kernel machines: SVM SVM: variations on a theme Sparse kernel machines for regression: SVR −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1Interpolation splines find out f ∈ H such that f (xi) = yi , i = 1, ..., n It is an ill posed problemInterpolation splines: minimum norm interpolation ( min f ∈H 1 2 kf k 2 H such that f (xi) = yi , i = 1, ..., n The lagrangian (αi Lagrange multipliers) L(f , α) = 1 2 kf k 2 − Xn i=1 αi f (xi) − yi Interpolation splines: minimum norm interpolation ( min f ∈H 1 2 kf k 2 H such that f (xi) = yi , i = 1, ..., n The lagrangian (αi Lagrange multipliers) L(f , α) = 1 2 kf k 2 − Xn i=1 αi f (xi) − yi  optimality for f : ∇f L(f , α) = 0 ⇔ f (x) = Xn i=1 αik(xi , x)Interpolation splines: minimum norm interpolation ( min f ∈H 1 2 kf k 2 H such that f (xi) = yi , i = 1, ..., n The lagrangian (αi Lagrange multipliers) L(f , α) = 1 2 kf k 2 − Xn i=1 αi f (xi) − yi  optimality for f : ∇f L(f , α) = 0 ⇔ f (x) = Xn i=1 αik(xi , x) dual formulation (remove f from the lagrangian): Q(α) = − 1 2 Xn i=1 Xn j=1 αiαjk(xi , xj) +Xn i=1 αi yi solution: max α∈IRn Q(α) Kα = yRepresenter theorem Theorem (Representer theorem) Let H be a RKHS with kernel k(s,t). Let ℓ be a function from X to IR (loss function) and Φ a non decreasing function from IR to IR. If there exists a function f ∗minimizing: f ∗ = argmin f ∈H Xn i=1 ℓ yi , f (xi)  + Φ kf k 2 H  then there exists a vector α ∈ IRn such that: f ∗ (x) = Xn i=1 αik(x, xi) it can be generalized to the semi parametric case: + Pm j=1 βjφj(x)Elements of a proof 1 Hs = span{k(., x1), ..., k(., xi), ..., k(., xn)} 2 orthogonal decomposition: H = Hs ⊕ H⊥ ⇒ ∀f ∈ H; f = fs + f⊥ 3 pointwise evaluation decomposition f (xi) = fs (xi) + f⊥(xi) = hfs (.), k(., xi)iH + hf⊥(.), k(., xi)iH | {z } =0 = fs (xi) 4 norm decomposition kf k 2 H = kfsk 2 H + kf⊥k 2 H | {z } ≥0 ≥ kfsk 2 H 5 decompose the global cost Xn i=1 ℓ yi , f (xi)  + Φ kf k 2 H  = Xn i=1 ℓ yi , fs (xi)  + Φ kfsk 2 H + kf⊥k 2 H  ≥ Xn i=1 ℓ yi , fs (xi)  + Φ kfsk 2 H  6 argmin f ∈H = argmin f ∈Hs .Smooting splines introducing the error (the slack) ξ = f (xi) − yi (S)    min f ∈H 1 2 kf k 2 H + 1 2λ Xn i=1 ξ 2 i such that f (xi) = yi + ξi , i = 1, n 3 equivalent definitions (S ′ ) min f ∈H 1 2 Xn i=1 f (xi ) − yi 2 + λ 2 kf k 2 H    min f ∈H 1 2 kf k 2 H such that Xn i=1 f (xi ) − yi 2 ≤ C ′    min f ∈H Xn i=1 f (xi ) − yi 2 such that kf k 2 H ≤ C ′′ using the representer theorem (S ′′) min α∈IRn 1 2 kKα − yk 2 + λ 2 α ⊤Kα solution: (S) ⇔ (S ′ ) ⇔ (S ′′) ⇔ α = (K + λI) −1 y 6= ridge regression: min α∈IRn 1 2 kKα − yk 2 + λ 2 α ⊤α with α = (K ⊤K + λI) −1K ⊤yKernel logistic regression inspiration: the Bayes rule D(x) = sign f (x) + α0  =⇒ log  IP(Y =1|x) IP(Y =−1|x)  = f (x) + α0 probabilities: IP(Y = 1|x) = expf (x)+α0 1 + expf (x)+α0 IP(Y = −1|x) = 1 1 + expf (x)+α0 Rademacher distribution L(xi , yi , f , α0) = IP(Y = 1|xi) yi +1 2 (1 − IP(Y = 1|xi)) 1−yi 2 penalized likelihood J(f , α0) = − Xn i=1 log L(xi , yi , f , α0)  + λ 2 kf k 2 H = Xn i=1 log  1 + exp−yi (f (xi )+α0)  + λ 2 kf k 2 HKernel logistic regression (2) (R)    min f ∈H 1 2 kf k 2 H + 1 λ Xn i=1 log 1 + exp−ξi  with ξi = yi (f (xi) + α0), i = 1, n Representer theorem J(α, α0) = 1I⊤ log  1I + expdiag(y)Kα+α0y  + λ 2 α ⊤Kα gradient vector anf Hessian matrix: ∇αJ(α, α0) = K y − (2p − 1I)  + λKα HαJ(α, α0) = Kdiag p(1I − p)  K + λK solve the problem using Newton iterations α new = α old+ Kdiag p(1I − p)  K + λK −1 K y − (2p − 1I) + λαLet’s summarize pros ◮ Universality ◮ from H to IRn using the representer theorem ◮ no (explicit) curse of dimensionality splines O(n 3 ) (can be reduced to O(n 2 )) logistic regression O(kn3 ) (can be reduced to O(kn2 ) no scalability! sparsity comes to the rescue!Roadmap 1 Kernel machines Non sparse kernel machines Sparse kernel machines: SVM SVM: variations on a theme Sparse kernel machines for regression: SVR −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 −1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 Stéphane Canu (INSA Rouen - LITIS) April 26, 2014 11 / 38SVM in a RKHS: the separable case (no noise)    max f ,b m with yi f (xi) + b  ≥ m and kf k 2 H = 1 ⇔ ( min f ,b 1 2 kf k 2 H with yi f (xi) + b  ≥ 1 3 ways to represent function f f (x) | {z } in the RKHS H = X d j=1 wj φj(x) | {z } d features = Xn i=1 αi yi k(x, xi) | {z } n data points ( min w,b 1 2 kwk 2 IRd = 1 2 w⊤w with yi w⊤φ(xi) + b  ≥ 1 ⇔ ( min α,b 1 2 α ⊤Kα with yi α ⊤K(:, i) + b  ≥ 1using relevant features... a data point becomes a function x −→ k(x, •)Representer theorem for SVM ( min f ,b 1 2 kf k 2 H with yi f (xi) + b  ≥ 1 Lagrangian L(f , b, α) = 1 2 kf k 2 H − Xn i=1 αi yi(f (xi) + b) − 1  α ≥ 0 optimility condition: ∇f L(f , b, α) = 0 ⇔ f (x) = Xn i=1 αi yik(xi , x) Eliminate f from L:    kf k 2 H = Xn i=1 Xn j=1 αiαjyi yjk(xi , xj) Xn i=1 αi yif (xi) = Xn i=1 Xn j=1 αiαjyi yjk(xi , xj) Q(b, α) = − 1 2 Xn i=1 Xn j=1 αiαjyi yjk(xi , xj) − Xn i=1 αi yib − 1 Dual formulation for SVM the intermediate function Q(b, α) = − 1 2 Xn i=1 Xn j=1 αiαjyi yjk(xi , xj) − b Xn i=1 αi yi  + Xn i=1 αi max α min b Q(b, α) b can be seen as the Lagrange multiplier of the following (balanced) constaint Pn i=1 αi yi = 0 which is also the optimality KKT condition on b Dual formulation    max α∈IRn − 1 2 Xn i=1 Xn j=1 αiαjyi yjk(xi , xj) +Xn i=1 αi such that Xn i=1 αi yi = 0 and 0 ≤ αi , i = 1, nSVM dual formulation Dual formulation    max α∈IRn − 1 2 Xn i=1 Xn j=1 αiαjyi yjk(xi , xj) +Xn i=1 αi with Xn i=1 αi yi = 0 and 0 ≤ αi , i = 1, n The dual formulation gives a quadratic program (QP) ( min α∈IRn 1 2 α ⊤Gα − I1 ⊤α with α ⊤y = 0 and 0 ≤ α with Gij = yi yjk(xi , xj) with the linear kernel f (x) = Pn i=1 αi yi(x ⊤xi) = Pd j=1 βjxj when d is small wrt. n primal may be interesting.the general case: C-SVM Primal formulation (P)    min f ∈H,b,ξ∈IRn 1 2 kf k 2 + C p Xn i=1 ξ p i such that yi f (xi) + b  ≥ 1 − ξi , ξi ≥ 0, i = 1, n C is the regularization path parameter (to be tuned) p = 1 , L1 SVM ( max α∈IRn − 1 2 α ⊤Gα + α ⊤1I such that α ⊤y = 0 and 0 ≤ αi ≤ C i = 1, n p = 2, L2 SVM ( max α∈IRn − 1 2 α ⊤ G + 1 C I  α + α ⊤1I such that α ⊤y = 0 and 0 ≤ αi i = 1, n the regularization path: is the set of solutions α(C) when C variesData groups: illustration f (x) = Xn i=1 αi k(x, xi ) D(x) = sign f (x) + b  useless data important data suspicious data well classified support α = 0 0 < α < C α = C the regularization path: is the set of solutions α(C) when C variesThe importance of being support f (x) = Xn i=1 αi yik(xi , x) data point α constraint value set xi useless αi = 0 yi f (xi) + b  > 1 I0 xi support 0 < αi < C yi f (xi) + b  = 1 Iα xi suspicious αi = C yi f (xi) + b  < 1 IC Table : When a data point is « support » it lies exactly on the margin. here lies the efficiency of the algorithm (and its complexity)! sparsity: αi = 0The active set method for SVM (1)    min α∈IRn 1 2 α ⊤Gα − α ⊤1I such that α ⊤y = 0 i = 1, n and 0 ≤ αi i = 1, n    Gα − 1I − β + by = 0 α ⊤y = 0 0 ≤ αi i = 1, n 0 ≤ βi i = 1, n αiβi = 0 i = 1, n αa 0 − − + b 1 1 0 β0 ya y0 = 0 0 G α − − 1I β + b y = 0 Ga Gi G0 G ⊤ i (1) Gaαa − 1Ia + bya = 0 (2) Giαa − 1I0 − β0 + by0 = 0 1 solve (1) (find α together with b) 2 if α < 0 move it from Iα to I0 goto 1 3 else solve (2) if β < 0 move it from I0 to Iα goto 1The active set method for SVM (2) Function (α, b, Iα) ←Solve_QP_Active_Set(G, y) % Solve minα 1/2α⊤Gα − 1I⊤α % s.t. 0 ≤ α and y⊤α = 0 (Iα, I0, α) ← initialization while The_optimal_is_not_reached do (α, b) ← solve  Gaαa − 1Ia + bya y⊤ a αa = 0 if ∃i ∈ Iα such that αi < 0 then α ← projection( αa, α) move i from Iα to I0 else if ∃j ∈ I0 such that βj < 0 then use β0 = y0(Kiαa + b1I0) − 1I0 move j from I0 to Iα else The_optimal_is_not_reached ← FALSE end if end while α α old α new Projection step of the active constraints algorithm d = alpha - alphaold; alpha = alpha + t * d; Caching Strategy Save space and computing time by computing only the needed parts of kernel matrix GTwo more ways to derivate SVM Using the hinge loss min f ∈H,b∈IR 1 p Xn i=1 max 0, 1 − yi(f (xi) + b) p + 1 2C kf k 2 Minimizing the distance between the convex hulls    min α ku − vk 2 H with u(x) = X {i|yi =1} αik(xi , x), v(x) = X {i|yi =−1} αik(xi , x) and X {i|yi =1} αi = 1, X {i|yi =−1} αi = 1, 0 ≤ αi i = 1, n f (x) = 2 ku − vk 2 H u(x) − v(x)  and b = kuk 2 H − kvk 2 H ku − vk 2 H the regularization path: is the set of solutions α(C) when C variesRegularization path for SVM min f ∈H Xn i=1 max(1 − yif (xi), 0) + λo 2 kf k 2 H Iα is the set of support vectors s.t. yi f (xi) = 1; ∂f J(f ) = X i∈Iα γi yiK(xi , •) − X i∈I1 yiK(xi , •) + λo f (•) with γi ∈ ∂H(1) =] − 1, 0[Regularization path for SVM min f ∈H Xn i=1 max(1 − yif (xi), 0) + λo 2 kf k 2 H Iα is the set of support vectors s.t. yi f (xi) = 1; ∂f J(f ) = X i∈Iα γi yiK(xi , •) − X i∈I1 yiK(xi , •) + λo f (•) with γi ∈ ∂H(1) =] − 1, 0[ Let λn a value close enough to λo to keep the sets I0, Iα and IC unchanged In particular at point xj ∈ Iα (fo (xj) = fn(xj) = yj) : ∂f J(f )(xj) = 0 P i∈Iα γioyiK(xi , xj) = P i∈I1 yiK(xi P , xj) − λo yj i∈Iα γinyiK(xi , xj) = P i∈I1 yiK(xi , xj) − λn yj G(γn − γo) = (λo − λn)y avec Gij = yiK(xi , xj) γn = γo + (λo − λn)w w = (G) −1 yExample of regularization path γi ∈] − 1, 0[ yiγi ∈] − 1, −1[ λ = 1 C γi = − 1 C αi ; performing together estimation and data selectionHow to choose ℓ and P to get linear regularization path? the path is piecewise linear ⇔ one is piecewise quadratic and the other is piecewise linear the convex case [Rosset & Zhu, 07] min β∈IRd ℓ(β) + λP(β) 1 piecewise linearity: lim ε→0 β(λ + ε) − β(λ) ε = constant 2 optimality ∇ℓ(β(λ)) + λ∇P(β(λ)) = 0 ∇ℓ(β(λ + ε)) + (λ + ε)∇P(β(λ + ε)) = 0 3 Taylor expension lim ε→0 β(λ + ε) − β(λ) ε = ∇2 ℓ(β(λ)) + λ∇2P(β(λ))−1∇P(β(λ)) ∇2 ℓ(β(λ)) = constant and ∇2P(β(λ)) = 0 Lecture 4: kernels and associated functions Stéphane Canu stephane.canu@litislab.eu Sao Paulo 2014 March 4, 2014Plan 1 Statistical learning and kernels Kernel machines Kernels Kernel and hypothesis set Functional differentiation in RKHSIntroducing non linearities through the feature map SVM Val f (x) = X d j=1 xjwj + b = Xn i=1 αi(x ⊤ i x) + b  t1 t2  ∈ IR2 x1 x2 x3 x4 x5 linear in x ∈ IR5 Stéphane Canu (INSA Rouen - LITIS) March 4, 2014 3 / 37Introducing non linearities through the feature map SVM Val f (x) = X d j=1 xjwj + b = Xn i=1 αi(x ⊤ i x) + b  t1 t2  ∈ IR2 φ(t) = t1 x1 t 2 1 x2 t2 x3 t 2 2 x4 t1t2 x5 linear in x ∈ IR5 quadratic in t ∈ IR2 The feature map φ : IR2 −→ IR5 t 7−→ φ(t) = x x ⊤ i x = φ(ti) ⊤φ(t) Stéphane Canu (INSA Rouen - LITIS) March 4, 2014 3 / 37Introducing non linearities through the feature map A. Lorena & A. de Carvalho, Uma Introducão às Support Vector Machines, 2007 Stéphane Canu (INSA Rouen - LITIS) March 4, 2014 4 / 37Non linear case: dictionnary vs. kernel in the non linear case: use a dictionary of functions φj(x), j = 1, p with possibly p = ∞ for instance polynomials, wavelets... f (x) = X p j=1 wjφj(x) with wj = Xn i=1 αi yiφj(xi) so that f (x) = Xn i=1 αi yi X p j=1 φj(xi)φj(x) | {z } k(xi ,x) Stéphane Canu (INSA Rouen - LITIS) March 4, 2014 5 / 37Non linear case: dictionnary vs. kernel in the non linear case: use a dictionary of functions φj(x), j = 1, p with possibly p = ∞ for instance polynomials, wavelets... f (x) = X p j=1 wjφj(x) with wj = Xn i=1 αi yiφj(xi) so that f (x) = Xn i=1 αi yi X p j=1 φj(xi)φj(x) | {z } k(xi ,x) p ≥ n so what since k(xi , x) = Pp j=1 φj(xi)φj(x) Stéphane Canu (INSA Rouen - LITIS) March 4, 2014 5 / 37closed form kernel: the quadratic kernel The quadratic dictionary in IRd : Φ : IRd → IRp=1+d+ d(d +1) 2 s 7→ Φ = 1,s1,s2, ...,sd ,s 2 1 ,s 2 2 , ...,s 2 d , ...,sisj , ... in this case Φ(s) ⊤Φ(t) = 1 + s1t1 + s2t2 + ... + sd td + s 2 1 t 2 1 + ... + s 2 d t 2 d + ... + sisjtitj + ... Stéphane Canu (INSA Rouen - LITIS) March 4, 2014 6 / 37closed form kernel: the quadratic kernel The quadratic dictionary in IRd : Φ : IRd → IRp=1+d+ d(d +1) 2 s 7→ Φ = 1,s1,s2, ...,sd ,s 2 1 ,s 2 2 , ...,s 2 d , ...,sisj , ... in this case Φ(s) ⊤Φ(t) = 1 + s1t1 + s2t2 + ... + sd td + s 2 1 t 2 1 + ... + s 2 d t 2 d + ... + sisjtitj + ... The quadratic kenrel: s, t ∈ IRd , k(s, t) = s ⊤t + 1 2 = 1 + 2s ⊤t + s ⊤t 2 computes the dot product of the reweighted dictionary: Φ : IRd → IRp=1+d+ d(d +1) 2 s 7→ Φ = 1, √ 2s1, √ 2s2, ..., √ 2sd ,s 2 1 ,s 2 2 , ...,s 2 d , ..., √ 2sisj , ... Stéphane Canu (INSA Rouen - LITIS) March 4, 2014 6 / 37closed form kernel: the quadratic kernel The quadratic dictionary in IRd : Φ : IRd → IRp=1+d+ d(d +1) 2 s 7→ Φ = 1,s1,s2, ...,sd ,s 2 1 ,s 2 2 , ...,s 2 d , ...,sisj , ... in this case Φ(s) ⊤Φ(t) = 1 + s1t1 + s2t2 + ... + sd td + s 2 1 t 2 1 + ... + s 2 d t 2 d + ... + sisjtitj + ... The quadratic kenrel: s, t ∈ IRd , k(s, t) = s ⊤t + 1 2 = 1 + 2s ⊤t + s ⊤t 2 computes the dot product of the reweighted dictionary: Φ : IRd → IRp=1+d+ d(d +1) 2 s 7→ Φ = 1, √ 2s1, √ 2s2, ..., √ 2sd ,s 2 1 ,s 2 2 , ...,s 2 d , ..., √ 2sisj , ... p = 1 + d + d(d+1) 2 multiplications vs. d + 1 use kernel to save computration Stéphane Canu (INSA Rouen - LITIS) March 4, 2014 6 / 37kernel: features throught pairwise comparizons x φ(x) e.g. a text e.g. BOW K n examples n examples Φ p features n examples k(xi , xj) = X p j=1 φj(xi)φj(xj) K The matrix of pairwise comparizons (O(n 2 )) Stéphane Canu (INSA Rouen - LITIS) March 4, 2014 7 / 37Kenrel machine kernel as a dictionary f (x) = Xn i=1 αik(x, xi) αi influence of example i depends on yi k(x, xi) the kernel do NOT depend on yi Definition (Kernel) Let X be a non empty set (the input space). A kernel is a function k from X × X onto IR. k : X × X 7−→ IR s, t −→ k(s, t)Kenrel machine kernel as a dictionary f (x) = Xn i=1 αik(x, xi) αi influence of example i depends on yi k(x, xi) the kernel do NOT depend on yi Definition (Kernel) Let X be a non empty set (the input space). A kernel is a function k from X × X onto IR. k : X × X 7−→ IR s, t −→ k(s, t) semi-parametric version: given the family qj(x), j = 1, p f (x) = Xn i=1 αik(x, xi)+ X p j=1 βjqj(x)Kernel Machine Definition (Kernel machines) A (xi , yi)i=1,n  (x) = ψ Xn i=1 αik(x, xi) +X p j=1 βjqj(x)  α et β: parameters to be estimated. Exemples A(x) = Xn i=1 αi(x − xi) 3 + + β0 + β1x splines A(x) = signX i∈I αi exp− kx−xi k 2 b +β0  SVM IP(y|x) = 1 Z expX i∈I αi1I{y=yi }(x ⊤xi + b) 2  exponential familyPlan 1 Statistical learning and kernels Kernel machines Kernels Kernel and hypothesis set Functional differentiation in RKHS Stéphane Canu (INSA Rouen - LITIS) March 4, 2014 10 / 37In the beginning was the kernel... Definition (Kernel) a function of two variable k from X × X to IR Definition (Positive kernel) A kernel k(s,t) on X is said to be positive if it is symetric: k(s,t) = k(t,s) an if for any finite positive interger n: ∀{αi}i=1,n ∈ IR, ∀{xi}i=1,n ∈ X , Xn i=1 Xn j=1 αiαjk(xi , xj) ≥ 0 it is strictly positive if for αi 6= 0 Xn i=1 Xn j=1 αiαjk(xi , xj) > 0Examples of positive kernels the linear kernel: s, t ∈ IRd , k(s, t) = s ⊤t symetric: s ⊤t = t ⊤s positive: Xn i=1 Xn j=1 αiαj k(xi , xj ) = Xn i=1 Xn j=1 αiαj x ⊤ i xj = Xn i=1 αi xi !⊤  Xn j=1 αj xj   = Xn i=1 αi xi 2 the product kernel: k(s, t) = g(s)g(t) for some g : IRd → IR, symetric by construction positive: Xn i=1 Xn j=1 αiαj k(xi , xj ) = Xn i=1 Xn j=1 αiαj g(xi )g(xj ) = Xn i=1 αi g(xi ) !  Xn j=1 αj g(xj )   = Xn i=1 αi g(xi ) !2 k is positive ⇔ (its square root exists) ⇔ k(s, t) = hφs, φti J.P. Vert, 2006Example: finite kernel let φj , j = 1, p be a finite dictionary of functions from X to IR (polynomials, wavelets...) the feature map and linear kernel feature map: Φ : X → IRp s 7→ Φ = φ1(s), ..., φp(s)  Linear kernel in the feature space: k(s, t) = φ1(s), ..., φp(s) ⊤ φ1(t), ..., φp(t)  e.g. the quadratic kernel: s, t ∈ IRd , k(s, t) = s ⊤t + b 2 feature map: Φ : IRd → IRp=1+d+ d(d +1) 2 s 7→ Φ = 1, √ 2s1, ..., √ 2sj , ..., √ 2sd ,s 2 1 , ...,s 2 j , ...,s 2 d , ..., √ 2sisj , ...Positive definite Kernel (PDK) algebra (closure) if k1(s,t) and k2(s,t) are two positive kernels DPK are a convex cone: ∀a1 ∈ IR+ a1k1(s, t) + k2(s, t) product kernel k1(s, t)k2(s, t) proofs by linearity: Xn i=1 Xn j=1 αiαj a1k1(i, j) + k2(i, j)  = a1 Xn i=1 Xn j=1 αiαj k1(i, j) +Xn i=1 Xn j=1 αiαj k2(i, j) assuming ∃ψℓ s.t. k1(s, t) = X ℓ ψℓ(s)ψℓ(t) Xn i=1 Xn j=1 αiαj k1(xi , xj )k2(xi , xj ) = Xn i=1 Xn j=1 αiαj X ℓ ψℓ(xi )ψℓ(xj )k2(xi , xj )  = X ℓ Xn i=1 Xn j=1 αiψℓ(xi )  αjψℓ(xj )  k2(xi , xj ) N. Cristianini and J. Shawe Taylor, kernel methods for pattern analysis, 2004Kernel engineering: building PDK for any polynomial with positive coef. φ from IR to IR φ k(s,t)  if Ψis a function from IRd to IRd k Ψ(s), Ψ(t)  if ϕ from IRd to IR+, is minimum in 0 k(s,t) = ϕ(s + t) − ϕ(s − t) convolution of two positive kernels is a positive kernel K1 ⋆ K2 Example : the Gaussian kernel is a PDK exp(−ks − tk 2 ) = exp(−ksk 2 − ktk 2 + 2s ⊤t) = exp(−ksk 2 ) exp(−ktk 2 ) exp(2s ⊤t) s ⊤t is a PDK and function exp as the limit of positive series expansion, so exp(2s ⊤t) is a PDK exp(−ksk 2 ) exp(−ktk 2 ) is a PDK as a product kernel the product of two PDK is a PDK O. Catoni, master lecture, 2005an attempt at classifying PD kernels stationary kernels, (also called translation invariant): k(s,t) = ks (s − t) ◮ radial (isotropic) gaussian: exp  − r 2 b  , r = ks − tk ◮ with compact support c.s. Matèrn : max 0, 1 − r b κ  r b kBk r b  , κ ≥ (d + 1)/2 ◮ locally stationary kernels: k(s,t) = k1(s + t)ks (s − t) K1 is a non negative function and K2 a radial kernel. non stationary (projective kernels): k(s,t) = kp(s ⊤t) ◮ separable kernels k(s,t) = k1(s)k2(t) with k1 and k2(t) PDK in this case K = k1k ⊤ 2 where k1 = (k1(x1), ..., k1(xn)) MG Genton, Classes of Kernels for Machine Learning: A Statistics Perspective - JMLR, 2002some examples of PD kernels... type name k(s,t) radial gaussian exp  − r 2 b  , r = ks − tk radial laplacian exp(−r/b) radial rationnal 1 − r 2 r 2+b radial loc. gauss. max 0, 1 − r 3b d exp(− r 2 b ) non stat. χ 2 exp(−r/b), r = P k (sk−tk ) 2 sk+tk projective polynomial (s ⊤t) p projective affine (s ⊤t + b) p projective cosine s ⊤t/kskktk projective correlation exp  s⊤t kskktk − b  Most of the kernels depends on a quantity b called the bandwidththe importance of the Kernel bandwidth for the affine Kernel: Bandwidth = biais k(s, t) = (s ⊤t + b) p = b p  s ⊤t b + 1 p for the gaussian Kernel: Bandwidth = influence zone k(s, t) = 1 Z exp  − ks − tk 2 2σ 2  b = 2σ 2the importance of the Kernel bandwidth for the affine Kernel: Bandwidth = biais k(s, t) = (s ⊤t + b) p = b p  s ⊤t b + 1 p for the gaussian Kernel: Bandwidth = influence zone k(s, t) = 1 Z exp  − ks − tk 2 2σ 2  b = 2σ 2 Illustration 1 d density estimation b = 1 2 b = 2 + data (x1, x2, ..., xn) – Parzen estimate IPb(x) = 1 Z Xn i=1 k(x, xi)kernels for objects and structures kernels on histograms and probability distributions kernel on strings spectral string kernel k(s, t) = P u φu(s)φu(t) using sub sequences similarities by alignements k(s, t) = P π exp(β(s, t, π)) kernels on graphs the pseudo inverse of the (regularized) graph Laplacian L = D − A A is the adjency matrixD the degree matrix diffusion kernels 1 Z(b) expbL subgraph kernel convolution (using random walks) and kernels on HMM, automata, dynamical system... Shawe-Taylor & Cristianini’s Book, 2004 ; JP Vert, 2006Multiple kernel M. Cuturi, Positive Definite Kernels in Machine Learning, 2009Gram matrix Definition (Gram matrix) let k(s,t) be a positive kernel on X and (xi)i=1,n a sequence on X . the Gram matrix is the square K of dimension n and of general term Kij = k(xi , xj). practical trick to check kernel positivity: K is positive ⇔ λi > 0 its eigenvalues are posivies: if Kui = λiui ; i = 1, n u ⊤ i Kui = λiu ⊤ i ui = λi matrix K is the one to be usedExamples of Gram matrices with different bandwidth raw data Gram matrix for b = 2 b = .5 b = 10different point of view about kernels kernel and scalar product k(s, t) = hφ(s), φ(t)iH kernel and distance d(s, t) 2 = k(s, s) + k(t, t) − 2k(s, t) kernel and covariance: a positive matrix is a covariance matrix IP(f) = 1 Z exp − 1 2 (f − f0) ⊤K −1 (f − f0)  if f0 = 0 and f = Kα, IP(α) = 1 Z exp − 1 2 α⊤Kα Kernel and regularity (green’s function) k(s, t) = P ∗Pδs−t for some operator P (e.g. some differential)Let’s summarize positive kernels there is a lot of them can be rather complex 2 classes: radial / projective the bandwith matters (more than the kernel itself) the Gram matrix summarize the pairwise comparizonsRoadmap 1 Statistical learning and kernels Kernel machines Kernels Kernel and hypothesis set Functional differentiation in RKHS Stéphane Canu (INSA Rouen - LITIS) March 4, 2014 25 / 37From kernel to functions H0 =    f mf < ∞; fj ∈ IR;tj ∈ X , f (x) = Xmf j=1 fjk(x,tj)    let define the bilinear form (g(x) = Pmg i=1 gi k(x, si )) : ∀f , g ∈ H0, hf , giH0 = Xmf j=1 Xmg i=1 fj gi k(tj ,si) Evaluation functional: ∀x ∈ X f (x) = hf (•), k(x, •)iH0 from k to H for any positive kernel, a hypothesis set can be constructed H = H0 with its metricRKHS Definition (reproducing kernel Hibert space (RKHS)) a Hilbert space H embeded with the inner product h•, •iH is said to be with reproducing kernel if it exists a positive kernel k such that ∀s ∈ X , k(•,s) ∈ H ∀f ∈ H, f (s) = hf (•), k(s, •)iH Beware: f = f (•) is a function while f (s) is the real value of f at point s positive kernel ⇔ RKHS any function in H is pointwise defined defines the inner product it defines the regularity (smoothness) of the hypothesis set Exercice: let f (•) = Pn i=1 αik(•, xi). Show that kf k 2 H = α ⊤KαOther kernels (what really matters) finite kernels k(s, t) = φ1(s), ..., φp(s) ⊤ φ1(t), ..., φp(t)  Mercer kernels positive on a compact set ⇔ k(s, t) = Pp j=1 λjφj(s)φj(t) positive kernels positive semi-definite conditionnaly positive (for some functions pj) ∀{xi}i=1,n, ∀αi , Xn i αipj(xi) = 0; j = 1, p, Xn i=1 Xn j=1 αiαjk(xi , xj) ≥ 0 symetric non positive k(s, t) = tanh(s ⊤t + α0) non symetric – non positive the key property: ∇Jt (f ) = k(t, .) holds C. Ong et al, ICML , 2004The kernel map observation: x = (x1, . . . , xj , . . . , xd ) ⊤ ◮ f (x) = w⊤x = hw, xi IRd feature map: x −→ Φ(x) = (φ1(x), . . . , φj(x), . . . , φp(x))⊤ ◮ Φ : IRd 7−→ IRp ◮ f (x) = w⊤Φ(x) = hw, Φ(x)iIRp kernel dictionary: x −→ k(x) = (k(x, x1), . . . , k(x, xi), . . . , k(x, xn))⊤ ◮ k : IRd 7−→ IRn ◮ f (x) = Xn i=1 αik(x, xi) = hα, k(x)iIRn kernel map: x −→ k(•, x) p = ∞ ◮ f (x) = hf (•),K(•, x)iHRoadmap 1 Statistical learning and kernels Kernel machines Kernels Kernel and hypothesis set Functional differentiation in RKHSFunctional differentiation in RKHS Let J be a functional J : H → IR f 7→ J(f ) examples: J1(f ) = kf k 2 H, J2(f ) = f (x), J directional derivative in direction g at point f dJ(f , g) = lim ε → 0 J(f + εg) − J(f ) ε Gradient ∇J (f ) ∇J : H → H f 7→ ∇J (f ) if dJ(f , g) = h∇J (f ), giH exercise: find out ∇J1 (f ) et ∇J2 (f )Hint dJ(f , g) = dJ(f + εg) dε ε=0Solution dJ1(f , g) = lim ε → 0 kf +εgk 2−kf k 2 ε = lim ε → 0 kf k 2+ε 2kgk 2+2εhf ,giH−kf k 2 ε = lim ε → 0 εkgk 2 + 2hf , giH = h2f , giH ⇔ ∇J1 (f ) = 2f dJ2(f , g) = lim ε → 0 f (x)+εg(x)−f (x) ε = g(x) = hk(x, .), giH ⇔ ∇J2 (f ) = k(x, .)Solution dJ1(f , g) = lim ε → 0 kf +εgk 2−kf k 2 ε = lim ε → 0 kf k 2+ε 2kgk 2+2εhf ,giH−kf k 2 ε = lim ε → 0 εkgk 2 + 2hf , giH = h2f , giH ⇔ ∇J1 (f ) = 2f dJ2(f , g) = lim ε → 0 f (x)+εg(x)−f (x) ε = g(x) = hk(x, .), giH ⇔ ∇J2 (f ) = k(x, .) Minimize f ∈H J(f ) ⇔ ∀g ∈ H, dJ(f , g) = 0 ⇔ ∇J (f ) = 0Subdifferential in a RKHS H Definition (Sub gradient) a subgradient of J : H 7−→ IR at f0 is any function g ∈ H such that ∀f ∈ V(f0), J(f ) ≥ J(f0) + hg,(f − f0)iH Definition (Subdifferential) ∂J(f ), the subdifferential of J at f is the set of all subgradients of J at f . H = IR J3(x) = |x| ∂J3(0) = {g ∈ IR | − 1 < g < 1} H = IR J4(x) = max(0, 1 − x) ∂J4(1) = {g ∈ IR | − 1 < g < 0} Theorem (Chain rule for linear Subdifferential) Let T be a linear operator H 7−→ IR and ϕ a function from IR to IR If J(f ) = ϕ(Tf ) Then ∂J(f ) = {T ∗g | g ∈ ∂ϕ(Tf )}, where T ∗ denotes T’s adjoint operatorexample of subdifferential in H evaluation operator and its adjoint T : H −→ IRn f 7−→ Tf = (f (x1), . . . , f (xn))⊤ T ∗ : IRn −→ H α 7−→ T ∗α build the adjoint hTf , αiIRn = hf ,T ∗αiHexample of subdifferential in H evaluation operator and its adjoint T : H −→ IRn f 7−→ Tf = (f (x1), . . . , f (xn))⊤ T ∗ : IRn −→ H α 7−→ T ∗α = Xn i=1 αik(•, xi) build the adjoint hTf , αiIRn = hf ,T ∗αiH hTf , αiIRn = Xn i=1 f (xi)αi = Xn i=1 hf (•), k(•, xi)iHαi = hf (•), Xn i=1 αik(•, xi) | {z } T∗α iHexample of subdifferential in H evaluation operator and its adjoint T : H −→ IRn f 7−→ Tf = (f (x1), . . . , f (xn))⊤ T ∗ : IRn −→ H α 7−→ T ∗α = Xn i=1 αik(•, xi) build the adjoint hTf , αiIRn = hf ,T ∗αiH hTf , αiIRn = Xn i=1 f (xi)αi = Xn i=1 hf (•), k(•, xi)iHαi = hf (•), Xn i=1 αik(•, xi) | {z } T∗α iH TT∗ : IRn −→ IRn α 7−→ TT∗α = Xn j=1 αjk(xj , xi) = Kαexample of subdifferential in H evaluation operator and its adjoint T : H −→ IRn f 7−→ Tf = (f (x1), . . . , f (xn))⊤ T ∗ : IRn −→ H α 7−→ T ∗α = Xn i=1 αik(•, xi) build the adjoint hTf , αiIRn = hf ,T ∗αiH hTf , αiIRn = Xn i=1 f (xi)αi = Xn i=1 hf (•), k(•, xi)iHαi = hf (•), Xn i=1 αik(•, xi) | {z } T∗α iH TT∗ : IRn −→ IRn α 7−→ TT∗α = Xn j=1 αjk(xj , xi) = Kα Example of subdifferentials x given J5(f ) = |f (x)| ∂J5(f0) =  g(•) = αk(•, x) ; −1 < α < 1 x given J6(f ) = max(0, 1 − f (x)) ∂J6(f1) =  g(•) = αk(•, x) ; −1 < α < 0 Optimal conditions Theorem (Fermat optimality criterion) When J(f ) is convex, f ⋆ is a stationary point of problem min f ∈H J(f ) If and only if 0 ∈ ∂J(f ⋆ ) f f ⋆ ⋆ ∂J(f ⋆ ) exercice: find for a given y ∈ IR (from Obozinski) min x∈IR 1 2 (x − y) 2 + λ|x|Let’s summarize positive kernels ⇔ RKHS = H ⇔ regularity kf k 2 H the key property: ∇Jt (f ) = k(t, .) holds not only for positive kernels f (xi) exists (pointwise defined functions) universal consistency in RKHS the Gram matrix summarize the pairwise comparizons Lecture 3: Linear SVM with slack variables Stéphane Canu stephane.canu@litislab.eu Sao Paulo 2014 March 23, 2014The non separable case −1.5 −1 −0.5 0 0.5 1 1.5 2 2.5 3 −1 −0.5 0 0.5 1 1.5 2 2.5Road map 1 Linear SVM The non separable case The C (L1) SVM The L2 SVM and others “variations on a theme” The hinge loss 0 0 Slack jThe non separable case: a bi criteria optimization problem Modeling potential errors: introducing slack variables ξi (xi , yi)  no error: yi(w⊤xi + b) ≥ 1 ⇒ ξi = 0 error: ξi = 1 − yi(w⊤xi + b) > 0 0 0 Slack j    min w,b,ξ 1 2 kwk 2 min w,b,ξ C p Xn i=1 ξ p i with yi(w⊤xi + b) ≥ 1 − ξi ξi ≥ 0 i = 1, n Our hope: almost all ξi = 0Bi criteria optimization and dominance    L(w) = 1 p Xn i=1 ξ p i P(w) = kwk 2 Dominance w1 dominates w2 if L(w1) ≤ L(w2) and P(w1) ≤ P(w2) Pareto front (or Pareto Efficient Frontier) it is the set of all nondominated solutions P(w) = || w ||2 L(w) = 1/p Y n i=1 j p i admisible set Pareto’s front w = 0 Admissible solution Figure: dominated point (red), non dominated point (purple) and Pareto front (blue). Pareto frontier ⇔ Regularization path Stéphane Canu (INSA Rouen - LITIS) March 23, 2014 5 / 293 equivalent formulations to reach Pareto’s front min w∈IRd 1 p Xn i=1 ξ p i + λ kwk 2 it works for CONVEX criteria! Stéphane Canu (INSA Rouen - LITIS) March 23, 2014 6 / 293 equivalent formulations to reach Pareto’s front min w∈IRd 1 p Xn i=1 ξ p i + λ kwk 2    min w 1 p Xn i=1 ξ p i with kwk 2 ≤ k it works for CONVEX criteria! Stéphane Canu (INSA Rouen - LITIS) March 23, 2014 6 / 293 equivalent formulations to reach Pareto’s front min w∈IRd 1 p Xn i=1 ξ p i + λ kwk 2    min w 1 p Xn i=1 ξ p i with kwk 2 ≤ k    min w kwk 2 with 1 p Xn i=1 ξ p i ≤ k ′ it works for CONVEX criteria! Stéphane Canu (INSA Rouen - LITIS) March 23, 2014 6 / 29The non separable case Modeling potential errors: introducing slack variables ξi (xi , yi)  no error: yi(w⊤xi + b) ≥ 1 ⇒ ξi = 0 error: ξi = 1 − yi(w⊤xi + b) > 0 Minimizing also the slack (the error), for a given C > 0    min w,b,ξ 1 2 kwk 2 + C p Xn i=1 ξ p i with yi(w⊤xi + b) ≥ 1 − ξi i = 1, n ξi ≥ 0 i = 1, n Looking for the saddle point of the lagrangian with the Lagrange multipliers αi ≥ 0 and βi ≥ 0 L(w, b, α, β) = 1 2 kwk 2 + C p Xn i=1 ξ p i − Xn i=1 αi yi(w ⊤xi + b) − 1 + ξi  − Xn i=1 βi ξiThe KKT(p = 1) L(w, b, α, β) = 1 2 kwk 2 + C p Xn i=1 ξ p i − Xn i=1 αi yi(w ⊤xi + b) − 1 + ξi  − Xn i=1 βi ξi stationarity w − Xn i=1 αi yixi = 0 and Xn i=1 αi yi = 0 C − αi − βi = 0 i = 1, . . . , n primal admissibility yi(w⊤xi + b) ≥ 1 i = 1, . . . , n ξi ≥ 0 i = 1, . . . , n dual admissibility αi ≥ 0 i = 1, . . . , n βi ≥ 0 i = 1, . . . , n complementarity αi  yi(w⊤xi + b) − 1 + ξi  = 0 i = 1, . . . , n βi ξi = 0 i = 1, . . . , n Let’s eliminate β!KKT (p = 1) stationarity w − Xn i=1 αi yixi = 0 and Xn i=1 αi yi = 0 primal admissibility yi(w⊤xi + b) ≥ 1 i = 1, . . . , n ξi ≥ 0 i = 1, . . . , n; dual admissibility αi ≥ 0 i = 1, . . . , n C − αi ≥ 0 i = 1, . . . , n; complementarity αi  yi(w⊤xi + b) − 1 + ξi  = 0 i = 1, . . . , n (C − αi) ξi = 0 i = 1, . . . , n sets I0 IA IC αi 0 0 < α < C C βi C C − α 0 ξi 0 0 1 − yi(w⊤xi + b) yi(w⊤xi + b) > 1 yi(w⊤xi + b) = 1 yi(w⊤xi + b) < 1 useless usefull (support vec) suspiciousThe importance of being support −2 −1 0 1 2 3 4 −2 −1 0 1 2 3 4 −2 −1 0 1 2 3 4 −2 −1 0 1 2 3 4 . data point α constraint value set xi useless αi = 0 yi w⊤xi + b  > 1 I0 xi support 0 < αi < C yi w⊤xi + b  = 1 Iα xi suspicious αi = C yi w⊤xi + b  < 1 IC Table: When a data point is « support » it lies exactly on the margin. here lies the efficiency of the algorithm (and its complexity)! sparsity: αi = 0Optimality conditions (p = 1) L(w, b, α, β) = 1 2 kwk 2 + C Xn i=1 ξi − Xn i=1 αi yi(w ⊤xi + b) − 1 + ξi  − Xn i=1 βi ξi Computing the gradients:    ∇wL(w, b, α) = w − Xn i=1 αi yixi ∂L(w, b, α) ∂b = Xn i=1 αi yi ∇ξiL(w, b, α) = C − αi − βi no change for w and b βi ≥ 0 and C − αi − βi = 0 ⇒ αi ≤ C The dual formulation:    min α∈IRn 1 2 α ⊤Gα − e ⊤α with y ⊤α = 0 and 0 ≤ αi ≤ C i = 1, nSVM primal vs. dual Primal    min w,b,ξ∈IRn 1 2 kwk 2 + C Xn i=1 ξi with yi(w⊤xi + b) ≥ 1 − ξi ξi ≥ 0 i = 1, n d + n + 1 unknown 2n constraints classical QP to be used when n is too large to build G Dual    min α∈IRn 1 2 α ⊤Gα − e ⊤α with y ⊤α = 0 and 0 ≤ αi ≤ C i = 1, n n unknown G Gram matrix (pairwise influence matrix) 2n box constraints easy to solve to be used when n is not too largeThe smallest C C small ⇒ all the points are in IC : αi = C −2 −1 0 1 2 3 4 −3 −2 −1 0 1 2 3 4 5 6 −1 ≤ fj = C Xn i=1 yi(x ⊤ i xj)+b ≤ 1 fM = max(f ) fm = min(f ) Cmax = 2 fM − fmRoad map 1 Linear SVM The non separable case The C (L1) SVM The L2 SVM and others “variations on a theme” The hinge loss 0 0 Slack jL2 SVM: optimality conditions (p = 2) L(w, b, α, β) = 1 2 kwk 2 + C 2 Xn i=1 ξ 2 i − Xn i=1 αi yi(w ⊤xi + b) − 1 + ξi  Computing the gradients:    ∇wL(w, b, α) = w − Xn i=1 αi yixi ∂L(w, b, α) ∂b = Xn i=1 αi yi ∇ξiL(w, b, α) = Cξi − αi no need of the positivity constraint on ξi no change for w and b Cξi − αi = 0 ⇒ C 2 Pn i=1 ξ 2 i − Pn i=1 αi ξi = − 1 2C Pn i=1 α 2 i The dual formulation:    min α∈IRn 1 2 α ⊤(G + 1 C I)α − e ⊤α with y ⊤α = 0 and 0 ≤ αi i = 1, nSVM primal vs. dual Primal    min w,b,ξ∈IRn 1 2 kwk 2 + C 2 Xn i=1 ξ 2 i with yi(w⊤xi + b) ≥ 1 − ξi d + n + 1 unknown n constraints classical QP to be used when n is too large to build G Dual    min α∈IRn 1 2 α ⊤(G + 1 C I)α − e ⊤α with y ⊤α = 0 and 0 ≤ αi i = 1, n n unknown G Gram matrix is regularized n box constraints easy to solve to be used when n is not too largeOne more variant: the ν SVM    max v,a m with min i=1,n |v ⊤xi + a| ≥ m kvk 2 = k    min v,a 1 2 kvk 2 − ν m + Pn i=1 ξi with yi(v ⊤xi + a) ≥ m − ξi ξi ≥ 0, m ≥ 0 The dual formulation:    min α∈IRn 1 2 α ⊤Gα with y ⊤α = 0 and 0 ≤ αi ≤ 1/n i = 1, n m ≤ e ⊤αThe convex hull formulation Minimizing the distance between the convex hulls    min α ku − vk with u = X {i|yi =1} αixi , v = X {i|yi =−1} αixi and X {i|yi =1} αi = 1, X {i|yi =−1} αi = 1, 0 ≤ αi ≤ C i = 1, n w ⊤x = 2 ku − vk u ⊤x − v ⊤x  and b = kuk − kvk ku − vkSVM with non symetric costs Problem in the primal (p = 1)    min w,b,ξ∈IRn 1 2 kwk 2 + C + X {i|yi =1} ξi + C − X {i|yi =−1} ξi with yi w⊤xi + b  ≥ 1 − ξi , ξi ≥ 0, i = 1, n for p = 1 the dual formulation is the following: ( max α∈IRn − 1 2 α ⊤Gα + α ⊤e with α ⊤y = 0 and 0 ≤ αi ≤ C + or C − i = 1, n It generalizes to any cost (useful for unbalanced data)Road map 1 Linear SVM The non separable case The C (L1) SVM The L2 SVM and others “variations on a theme” The hinge loss 0 0 Slack jEliminating the slack but not the possible mistakes    min w,b,ξ∈IRn 1 2 kwk 2 + C Xn i=1 ξi with yi(w⊤xi + b) ≥ 1 − ξi ξi ≥ 0 i = 1, n Introducing the hinge loss ξi = max 1 − yi(w ⊤xi + b), 0  min w,b 1 2 kwk 2 + C Xn i=1 max 0, 1 − yi(w ⊤xi + b)  Back to d + 1 variables, but this is no longer an explicit QPOoops! the notion of sub differential Definition (Sub gradient) a subgradient of J : IRd 7−→ IR at f0 is any vector g ∈ IRd such that ∀f ∈ V(f0), J(f ) ≥ J(f0) + g ⊤(f − f0) Definition (Subdifferential) ∂J(f ), the subdifferential of J at f is the set of all subgradients of J at f . IRd = IR J3(x) = |x| ∂J3(0) = {g ∈ IR | − 1 < g < 1} IRd = IR J4(x) = max(0, 1 − x) ∂J4(1) = {g ∈ IR | − 1 < g < 0}Regularization path for SVM min w Xn i=1 max(1 − yiw ⊤xi , 0) + λo 2 kwk 2 Iα is the set of support vectors s.t. yiw⊤xi = 1; ∂wJ(w) = X i∈Iα αi yixi − X i∈I1 yixi + λo w with αi ∈ ∂H(1) =] − 1, 0[Regularization path for SVM min w Xn i=1 max(1 − yiw ⊤xi , 0) + λo 2 kwk 2 Iα is the set of support vectors s.t. yiw⊤xi = 1; ∂wJ(w) = X i∈Iα αi yixi − X i∈I1 yixi + λo w with αi ∈ ∂H(1) =] − 1, 0[ Let λn a value close enough to λo to keep the sets I0, Iα and IC unchanged In particular at point xj ∈ Iα (w ⊤ o xj = w ⊤ n xj = yj) : ∂wJ(w)(xj) = 0 P i∈Iα αioyix ⊤ i xj = P i∈I1 yix ⊤ i P xj − λo yj i∈Iα αinyix ⊤ i xj = P i∈I1 yix ⊤ i xj − λn yj G(αn − αo) = (λo − λn)y with Gij = yix ⊤ i xj αn = αo + (λo − λn)d d = (G) −1 ySolving SVM in the primal min w,b 1 2 kwk 2 + C Xn i=1 max 0, 1 − yi(w ⊤xi + b)  What for: Yahoo!, Twiter, Amazon, Google (Sibyl), Facebook. . . : Big data Data-intensive machine learning systems "on terascale datasets, with trillions of features,1 billions of training examples and millions of parameters in an hour using a cluster of 1000 machines" How: hybrid online+batch approach adaptive gradient updates (stochastic gradient descent) Code available: http://olivier.chapelle.cc/primal/Solving SVM in the primal J(w, b) = 1 2 kwk 2 2 + C 2 Xn i=1 max 1 − yi(w ⊤xi + b), 0 2 = 1 2 kwk 2 2 + C 2 ξ ⊤ξ with Xn ξi = max 1 − yi(w ⊤xi + b), 0  ∇wJ(w, b) = w − C Xn i=1 max 1 − yi(w ⊤xi + b), 0  yixi = w − C (diag(y)X) ⊤ξ HwJ(w, b) = Id + C Xn i∈/I0 xix ⊤ i Optimal step size ρ in the Newton direction: w new = w old − ρ H −1 w ∇wJ(w old , b old)The hinge and other loss Square hinge: (huber/hinge) and Lasso SVM min w,b k w k 1 + C Xni=1 max 1 − yi ( w ⊤ x i + b ) , 0  p Penalized Logistic regression (Maxent) min w,b k w k 22 − C Xni=1 log 1 + exp − 2 yi ( w ⊤ x i + b )  The exponential loss (commonly used in boosting) min w,b k w k 22 + C Xni=1 exp − yi ( w ⊤ x i + b ) The sigmoid loss min w,b k w k 22 − C Xni=1 tanh yi ( w ⊤ x i + b )  − 1 0 1 01 yf(x) classification loss 0/1 loss hinge hinge 2 logistic exponential sigmoidChoosing the data fitting term and the penalty For a given C: controling the tradeoff between loss and penalty min w,b pen(w) + C Xn i=1 Loss yi(w ⊤xi + b)  For a long list of possible penalties: A Antoniadis, I Gijbels, M Nikolova, Penalized likelihood regression for generalized linear models with non-quadratic penalties, 2011. A tentative of classification: convex/non convex differentiable/non differentiable What are we looking for consistency efficiency −→ sparcityConclusion: variables or data point? seeking for a universal learning algorithm ◮ no model for IP(x, y) the linear case: data is separable ◮ the non separable case double objective: minimizing the error together with the regularity of the solution ◮ multi objective optimisation dualiy : variable – example ◮ use the primal when d < n (in the liner case) or when matrix G is hard to compute ◮ otherwise use the dual universality = nonlinearity ◮ kernelsBibliography C. Cortes & V. Vapnik, Support-vector networks, Machine learning, 1995 J. Bi & V. Vapnik, Learning with rigorous SVM, COLT 2003 T. Hastie, S. Rosset, R. Tibshirani, J. Zhu, The entire regularization path for the support vector machine, JMLR, 2004 P. Bartlett, M. Jordan, J. McAuliffe, Convexity, classification, and risk bounds, JASA, 2006. A. Antoniadis, I. Gijbels, M. Nikolova, Penalized likelihood regression for generalized linear models with non-quadratic penalties, 2011. A Agarwal, O Chapelle, M Dudík, J Langford, A reliable effective terascale linear learning system, 2011. informatik.unibas.ch/fileadmin/Lectures/FS2013/CS331/Slides/my_SVM_without_b.pdf http://ttic.uchicago.edu/~gregory/courses/ml2010/lectures/lect12.pdf http://olivier.chapelle.cc/primal/ Stéphane Canu (INSA Rouen - LITIS) March 23, 2014 29 / 29 Lecture 2: Linear SVM in the Dual Stéphane Canu stephane.canu@litislab.eu Sao Paulo 2014 March 12, 2014Road map 1 Linear SVM Optimization in 10 slides Equality constraints Inequality constraints Dual formulation of the linear SVM Solving the dual Figure from L. Bottou & C.J. Lin, Support vector machine solvers, in Large scale kernel machines, 2007.Linear SVM: the problem Linear SVM are the solution of the following problem (called primal) Let {(xi , yi); i = 1 : n} be a set of labelled data with xi ∈ IRd , yi ∈ {1, −1}. A support vector machine (SVM) is a linear classifier associated with the following decision function: D(x) = sign w⊤x + b  where w ∈ IRd and b ∈ IR a given thought the solution of the following problem: ( min w,b 1 2 kwk 2 = 1 2w⊤w with yi(w⊤xi + b) ≥ 1 i = 1, n This is a quadratic program (QP): ( min z 1 2 z ⊤Az − d ⊤z with Bz ≤ e z = (w, b)⊤, d = (0, . . . , 0)⊤, A =  I 0 0 0  , B = −[diag(y)X, y] et e = −(1, . . . , 1)⊤Road map 1 Linear SVM Optimization in 10 slides Equality constraints Inequality constraints Dual formulation of the linear SVM Solving the dualA simple example (to begin with) ( min x1,x2 J(x) = (x1 − a) 2 + (x2 − b) 2 with x x ⋆ ∇xJ(x) iso cost lines: J(x) = kA simple example (to begin with) ( min x1,x2 J(x) = (x1 − a) 2 + (x2 − b) 2 with H(x) = α(x1 − c) 2 + β(x2 − d) 2 + γx1x2 − 1 Ω = {x|H(x) = 0} x x ⋆ ∇xJ(x) ∆x ∇xH(x) tangent hyperplane iso cost lines: J(x) = k ∇xH(x) = λ ∇xJ(x)The only one equality constraint case ( min x J(x) J(x + εd) ≈ J(x) + ε∇xJ(x) ⊤d with H(x) = 0 H(x + εd) ≈ H(x) + ε∇xH(x) ⊤d Loss J : d is a descent direction if it exists ε0 ∈ IR such that ∀ε ∈ IR, 0 < ε ≤ ε0 J(x + εd) < J(x) ⇒ ∇xJ(x) ⊤d < 0 constraint H : d is a feasible descent direction if it exists ε0 ∈ IR such that ∀ε ∈ IR, 0 < ε ≤ ε0 H(x + εd) = 0 ⇒ ∇xH(x) ⊤d = 0 If at x ⋆ , vectors ∇xJ(x ⋆ ) and ∇xH(x ⋆ ) are collinear there is no feasible descent direction d. Therefore, x ⋆ is a local solution of the problem.Lagrange multipliers Assume J and functions Hi are continuously differentials (and independent) P =    min x∈IRn J(x) avec H1(x) = 0 et H2(x) = 0 . . . Hp(x) = 0Lagrange multipliers Assume J and functions Hi are continuously differentials (and independent) P =    min x∈IRn J(x) avec H1(x) = 0 λ1 et H2(x) = 0 λ2 . . . Hp(x) = 0 λp each constraint is associated with λi : the Lagrange multiplier.Lagrange multipliers Assume J and functions Hi are continuously differentials (and independent) P =    min x∈IRn J(x) avec H1(x) = 0 λ1 et H2(x) = 0 λ2 . . . Hp(x) = 0 λp each constraint is associated with λi : the Lagrange multiplier. Theorem (First order optimality conditions) for x ⋆ being a local minima of P, it is necessary that: ∇x J(x ⋆ ) +X p i=1 λi∇xHi(x ⋆ ) = 0 and Hi(x ⋆ ) = 0, i = 1, pPlan 1 Linear SVM Optimization in 10 slides Equality constraints Inequality constraints Dual formulation of the linear SVM Solving the dual Stéphane Canu (INSA Rouen - LITIS) March 12, 2014 8 / 32The only one inequality constraint case ( min x J(x) J(x + εd) ≈ J(x) + ε∇xJ(x) ⊤d with G(x) ≤ 0 G(x + εd) ≈ G(x) + ε∇xG(x) ⊤d cost J : d is a descent direction if it exists ε0 ∈ IR such that ∀ε ∈ IR, 0 < ε ≤ ε0 J(x + εd) < J(x) ⇒ ∇xJ(x) ⊤d < 0 constraint G : d is a feasible descent direction if it exists ε0 ∈ IR such that ∀ε ∈ IR, 0 < ε ≤ ε0 G(x + εd) ≤ 0 ⇒ G(x) < 0 : no limit here on d G(x) = 0 : ∇xG(x) ⊤d ≤ 0 Two possibilities If x ⋆ lies at the limit of the feasible domain (G(x ⋆ ) = 0) and if vectors ∇xJ(x ⋆ ) and ∇xG(x ⋆ ) are collinear and in opposite directions, there is no feasible descent direction d at that point. Therefore, x ⋆ is a local solution of the problem... Or if ∇xJ(x ⋆ ) = 0Two possibilities for optimality ∇xJ(x ⋆ ) = −µ ∇xG(x ⋆ ) and µ > 0; G(x ⋆ ) = 0 or ∇xJ(x ⋆ ) = 0 and µ = 0; G(x ⋆ ) < 0 This alternative is summarized in the so called complementarity condition: µ G(x ⋆ ) = 0 µ = 0 G(x ⋆ ) < 0 G(x ⋆ ) = 0 µ > 0First order optimality condition (1) problem P =    min x∈IRn J(x) with hj(x) = 0 j = 1, . . . , p and gi(x) ≤ 0 i = 1, . . . , q Definition: Karush, Kuhn and Tucker (KKT) conditions stationarity ∇J(x ⋆ ) +X p j=1 λj∇hj(x ⋆ ) +X q i=1 µi∇gi(x ⋆ ) = 0 primal admissibility hj(x ⋆ ) = 0 j = 1, . . . , p gi(x ⋆ ) ≤ 0 i = 1, . . . , q dual admissibility µi ≥ 0 i = 1, . . . , q complementarity µigi(x ⋆ ) = 0 i = 1, . . . , q λj and µi are called the Lagrange multipliers of problem PFirst order optimality condition (2) Theorem (12.1 Nocedal & Wright pp 321) If a vector x ⋆ is a stationary point of problem P Then there existsa Lagrange multipliers such that x ⋆ , {λj}j=1:p, {µi}i=1:q  fulfill KKT conditions a under some conditions e.g. linear independence constraint qualification If the problem is convex, then a stationary point is the solution of the problem A quadratic program (QP) is convex when. . . (QP) ( min z 1 2 z ⊤Az − d ⊤z with Bz ≤ e . . . when matrix A is positive definiteKKT condition - Lagrangian (3) problem P =    min x∈IRn J(x) with hj(x) = 0 j = 1, . . . , p and gi(x) ≤ 0 i = 1, . . . , q Definition: Lagrangian The lagrangian of problem P is the following function: L(x, λ, µ) = J(x) +X p j=1 λjhj(x) +X q i=1 µigi(x) The importance of being a lagrangian the stationarity condition can be written: ∇L(x ⋆ , λ, µ) = 0 the lagrangian saddle point max λ,µ min x L(x, λ, µ) Primal variables: x and dual variables λ, µ (the Lagrange multipliers)Duality – definitions (1) Primal and (Lagrange) dual problems P =    min x∈IRn J(x) with hj(x) = 0 j = 1, p and gi(x) ≤ 0 i = 1, q D = ( max λ∈IRp,µ∈IRq Q(λ, µ) with µj ≥ 0 j = 1, q Dual objective function: Q(λ, µ) = inf x L(x, λ, µ) = inf x J(x) +X p j=1 λjhj(x) +X q i=1 µigi(x) Wolf dual problem W =    max x,λ∈IRp,µ∈IRq L(x, λ, µ) with µj ≥ 0 j = 1, q and ∇J(x ⋆ ) +X p j=1 λj∇hj(x ⋆ ) +X q i=1 µi∇gi(x ⋆ ) = 0Duality – theorems (2) Theorem (12.12, 12.13 and 12.14 Nocedal & Wright pp 346) If f , g and h are convex and continuously differentiablea , then the solution of the dual problem is the same as the solution of the primal a under some conditions e.g. linear independence constraint qualification (λ ⋆ , µ⋆ ) = solution of problem D x ⋆ = arg min x L(x, λ⋆ , µ⋆ ) Q(λ ⋆ , µ⋆ ) = arg min x L(x, λ⋆ , µ⋆ ) = L(x ⋆ , λ⋆ , µ⋆ ) = J(x ⋆ ) + λ ⋆H(x ⋆ ) + µ ⋆G(x ⋆ ) = J(x ⋆ ) and for any feasible point x Q(λ, µ) ≤ J(x) → 0 ≤ J(x) − Q(λ, µ) The duality gap is the difference between the primal and dual cost functionsRoad map 1 Linear SVM Optimization in 10 slides Equality constraints Inequality constraints Dual formulation of the linear SVM Solving the dual Figure from L. Bottou & C.J. Lin, Support vector machine solvers, in Large scale kernel machines, 2007.Linear SVM dual formulation - The lagrangian ( min w,b 1 2 kwk 2 with yi(w⊤xi + b) ≥ 1 i = 1, n Looking for the lagrangian saddle point max α min w,b L(w, b, α) with so called lagrange multipliers αi ≥ 0 L(w, b, α) = 1 2 kwk 2 − Xn i=1 αi yi(w ⊤xi + b) − 1  αi represents the influence of constraint thus the influence of the training example (xi , yi)Stationarity conditions L(w, b, α) = 1 2 kwk 2 − Xn i=1 αi yi(w ⊤xi + b) − 1  Computing the gradients:    ∇wL(w, b, α) = w − Xn i=1 αi yixi ∂L(w, b, α) ∂b = Pn i=1 αi yi we have the following optimality conditions    ∇wL(w, b, α) = 0 ⇒ w = Xn i=1 αi yixi ∂L(w, b, α) ∂b = 0 ⇒ Xn i=1 αi yi = 0KKT conditions for SVM stationarity w − Xn i=1 αi yixi = 0 and Xn i=1 αi yi = 0 primal admissibility yi(w⊤xi + b) ≥ 1 i = 1, . . . , n dual admissibility αi ≥ 0 i = 1, . . . , n complementarity αi  yi(w⊤xi + b) − 1  = 0 i = 1, . . . , n The complementary condition split the data into two sets A be the set of active constraints: usefull points A = {i ∈ [1, n] yi(w ∗⊤xi + b ∗ ) = 1} its complementary A¯ useless points if i ∈ A/ , αi = 0The KKT conditions for SVM The same KKT but using matrix notations and the active set A stationarity w − X ⊤Dyα = 0 α ⊤y = 0 primal admissibility Dy (Xw + b I1) ≥ I1 dual admissibility α ≥ 0 complementarity Dy (XAw + b I1A) = I1A αA¯ = 0 Knowing A, the solution verifies the following linear system:    w −X ⊤ A DyαA = 0 −DyXAw −byA = −eA −y ⊤ AαA = 0 with Dy = diag(yA), αA = α(A) , yA = y(A) et XA = X(XA; :).The KKT conditions as a linear system    w −X ⊤ A DyαA = 0 −DyXAw −byA = −eA −y ⊤ AαA = 0 with Dy = diag(yA), αA = α(A) , yA = y(A) et XA = X(XA; :). = I −X ⊤ A Dy 0 −DyXA 0 −yA 0 −y ⊤ A 0 w αA b 0 −eA 0 we can work on it to separate w from (αA, b)The SVM dual formulation The SVM Wolfe dual    max w,b,α 1 2 kwk 2 − Xn i=1 αi yi(w ⊤xi + b) − 1  with αi ≥ 0 i = 1, . . . , n and w − Xn i=1 αi yixi = 0 and Xn i=1 αi yi = 0 using the fact: w = Xn i=1 αi yixi The SVM Wolfe dual without w and b    max α − 1 2 Xn i=1 Xn j=1 αjαi yi yjx ⊤ j xi + Xn i=1 αi with αi ≥ 0 i = 1, . . . , n and Xn i=1 αi yi = 0Linear SVM dual formulation L(w, b, α) = 1 2 kwk 2 − Xn i=1 αi yi(w ⊤xi + b) − 1  Optimality: w = Xn i=1 αi yixi Xn i=1 αi yi = 0 L(α) = 1 2 Xn i=1 Xn j=1 αjαi yi yjx ⊤ j xi | {z } w⊤w − Pn i=1 αi yi Xn j=1 αjyjx ⊤ j | {z } w⊤ xi − b Xn i=1 αi yi | {z } =0 + Pn i=1 αi = − 1 2 Xn i=1 Xn j=1 αjαi yi yjx ⊤ j xi + Xn i=1 αi Dual linear SVM is also a quadratic program problem D    min α∈IRn 1 2 α ⊤Gα − e ⊤α with y ⊤α = 0 and 0 ≤ αi i = 1, n with G a symmetric matrix n × n such that Gij = yi yjx ⊤ j xiSVM primal vs. dual Primal    min w∈IRd ,b∈IR 1 2 kwk 2 with yi(w⊤xi + b) ≥ 1 i = 1, n d + 1 unknown n constraints classical QP perfect when d << n Dual    min α∈IRn 1 2 α ⊤Gα − e ⊤α with y ⊤α = 0 and 0 ≤ αi i = 1, n n unknown G Gram matrix (pairwise influence matrix) n box constraints easy to solve to be used when d > nSVM primal vs. dual Primal    min w∈IRd ,b∈IR 1 2 kwk 2 with yi(w⊤xi + b) ≥ 1 i = 1, n d + 1 unknown n constraints classical QP perfect when d << n Dual    min α∈IRn 1 2 α ⊤Gα − e ⊤α with y ⊤α = 0 and 0 ≤ αi i = 1, n n unknown G Gram matrix (pairwise influence matrix) n box constraints easy to solve to be used when d > n f (x) = X d j=1 wjxj + b = Xn i=1 αi yi(x ⊤xi) + bThe bi dual (the dual of the dual)    min α∈IRn 1 2 α ⊤Gα − e ⊤α with y ⊤α = 0 and 0 ≤ αi i = 1, n L(α, λ, µ) = 1 2 α ⊤Gα − e ⊤α + λ y ⊤α − µ ⊤α ∇αL(α, λ, µ) = Gα − e + λ y − µ The bidual    max α,λ,µ − 1 2 α ⊤Gα with Gα − e + λ y − µ = 0 and 0 ≤ µ since kwk 2 = 1 2 α ⊤Gα and DXw = Gα ( max w,λ − 1 2 kwk 2 with DXw + λ y ≥ e by identification (possibly up to a sign) b = λ is the Lagrange multiplier of the equality constraintCold case: the least square problem Linear model yi = X d j=1 wjxij + εi , i = 1, n n data and d variables; d < n min w = Xn i=1  Xd j=1 xijwj − yi   2 = kXw − yk 2 Solution: we = (X ⊤X) −1X ⊤y f (x) = x ⊤ (X ⊤X) −1X ⊤y | {z } we What is the influence of each data point (matrix X lines) ? Shawe-Taylor & Cristianini’s Book, 2004data point influence (contribution) for any new data point x f (x) = x ⊤ (X ⊤X)(X ⊤X) −1 (X ⊤X) −1X ⊤y | {z } we = x ⊤ X ⊤ X(X ⊤X) −1 (X ⊤X) −1X ⊤y | {z } αb x⊤ n examples d variables X ⊤ αb we f (x) = X d j=1 wejxjdata point influence (contribution) for any new data point x f (x) = x ⊤ (X ⊤X)(X ⊤X) −1 (X ⊤X) −1X ⊤y | {z } we = x ⊤ X ⊤ X(X ⊤X) −1 (X ⊤X) −1X ⊤y | {z } αb x⊤ n examples d variables X ⊤ αb we x⊤xi f (x) = X d j=1 wejxj = Xn i=1 αbi (x ⊤xi) from variables to examples αb = X(X ⊤X) −1we | {z } n examples et we = X ⊤αb | {z } d variables what if d ≥ n !SVM primal vs. dual Primal    min w∈IRd ,b∈IR 1 2 kwk 2 with yi(w⊤xi + b) ≥ 1 i = 1, n d + 1 unknown n constraints classical QP perfect when d << n Dual    min α∈IRn 1 2 α ⊤Gα − e ⊤α with y ⊤α = 0 and 0 ≤ αi i = 1, n n unknown G Gram matrix (pairwise influence matrix) n box constraints easy to solve to be used when d > n f (x) = X d j=1 wjxj + b = Xn i=1 αi yi(x ⊤xi) + bRoad map 1 Linear SVM Optimization in 10 slides Equality constraints Inequality constraints Dual formulation of the linear SVM Solving the dual Figure from L. Bottou & C.J. Lin, Support vector machine solvers, in Large scale kernel machines, 2007.Solving the dual (1) Data point influence αi = 0 this point is useless αi 6= 0 this point is said to be support f (x) = X d j=1 wjxj + b = Xn i=1 αi yi(x ⊤xi) + bSolving the dual (1) Data point influence αi = 0 this point is useless αi 6= 0 this point is said to be support f (x) = X d j=1 wjxj + b = X 3 i=1 αi yi(x ⊤xi) + b Decison border only depends on 3 points (d + 1)Solving the dual (2) Assume we know these 3 data points    min α∈IRn 1 2 α ⊤Gα − e ⊤α with y ⊤α = 0 and 0 ≤ αi i = 1, n =⇒ ( min α∈IR3 1 2 α ⊤Gα − e ⊤α with y ⊤α = 0 L(α, b) = 1 2 α ⊤Gα − e ⊤α + b y ⊤α solve the following linear system  Gα + b y = e y ⊤α = 0 U = chol(G); % upper a = U\ (U’\e); c = U\ (U’\y); b = (y’*a)\(y’*c) alpha = U\ (U’\(e - b*y));Conclusion: variables or data point? seeking for a universal learning algorithm ◮ no model for IP(x, y) the linear case: data is separable ◮ the non separable case double objective: minimizing the error together with the regularity of the solution ◮ multi objective optimisation dualiy : variable – example ◮ use the primal when d < n (in the liner case) or when matrix G is hard to compute ◮ otherwise use the dual universality = nonlinearity ◮ kernels SVM and Kernel machine Lecture 1: Linear SVM Stéphane Canu stephane.canu@litislab.eu Sao Paulo 2014 March 12, 2014Road map 1 Linear SVM Separating hyperplanes The margin Linear SVM: the problem Linear programming SVM 0 0 0 margin "The algorithms for constructing the separating hyperplane considered above will be utilized for developing a battery of programs for pattern recognition." in Learning with kernels, 2002 - from V .Vapnik, 1982Hyperplanes in 2d: intuition It’s a line!Hyperplanes: formal definition Given vector v ∈ IRd and bias a ∈ IR Hyperplane as a function h, h : IRd −→ IR x 7−→ h(x) = v ⊤x + a Hyperplane as a border in IRd (and an implicit function) ∆(v, a) = {x ∈ IRd v ⊤x + a = 0} The border invariance property ∀k ∈ IR, ∆(kv, ka) = ∆(v, a) ∆ = {x ∈ IR2 | v ⊤x + a = 0} the decision border ∆ (x, h(x)) = v ⊤x + a) (x, 0) h(x) d(x, ∆)Separating hyperplanes Find a line to separate (classify) blue from red D(x) = sign v ⊤x + a Separating hyperplanes Find a line to separate (classify) blue from red D(x) = sign v ⊤x + a  the decision border: v ⊤x + a = 0Separating hyperplanes Find a line to separate (classify) blue from red D(x) = sign v ⊤x + a  the decision border: v ⊤x + a = 0 there are many solutions... The problem is ill posed How to choose a solution?This is not the problem we want to solve {(xi , yi); i = 1 : n} a training sample, i.i.d. drawn according to IP(x, y) unknown we want to be able to classify new observations: minimize IP(error)This is not the problem we want to solve {(xi , yi); i = 1 : n} a training sample, i.i.d. drawn according to IP(x, y) unknown we want to be able to classify new observations: minimize IP(error) Looking for a universal approach use training data: (a few errors) prove IP(error) remains small scalable - algorithmic complexityThis is not the problem we want to solve {(xi , yi); i = 1 : n} a training sample, i.i.d. drawn according to IP(x, y) unknown we want to be able to classify new observations: minimize IP(error) Looking for a universal approach use training data: (a few errors) prove IP(error) remains small scalable - algorithmic complexity with high probability (for the canonical hyperplane): IP(error) < IPb (error) | {z } =0 here + ϕ( 1 margin | {z } =kvk ) Vapnik’s Book, 1982Margin guarantees min i∈[1,n] dist(xi , ∆(v, a)) | {z } margin: m Theorem (Margin Error Bound) Let R be the radius of the smallest ball BR(a) =  x ∈ IRd | kx − ck < R , containing the points (x1, . . . , xn) i.i.d from some unknown distribution IP. Consider a decision function D(x) = sign(v ⊤x) associated with a separating hyperplane v of margin m (no training error). Then, with probability at least 1 − δ for any δ > 0, the generalization error of this hyperplane is bounded by IP(error) ≤ 2 r R2 n m2 + 3 r ln(2/δ) 2n R v’x = 0 m theorem 4.17 p 102 in J Shawe-Taylor, N Cristianini Kernel methods for pattern analysis, Cambridge 2004Statistical machine learning – Computation learning theory (COLT) {xi , yi} {xi , yi} i = 1, n A f = v ⊤x + a x yp = f (x) IPb (error) = 1 n L(f (xi), yi) Loss L Vapnik’s Book, 1982Statistical machine learning – Computation learning theory (COLT) {xi , yi} {xi , yi} i = 1, n A f = v ⊤x + a x yp = f (x) IPb (error) = 1 n L(f (xi), yi) y Loss L IP(error) = IE(L) ∀IP ∈ P P IP Prob  ≤ + ϕ(kvk) ≥ δ Vapnik’s Book, 1982linear discrimination Find a line to classify blue and red D(x) = sign v ⊤x + a  the decision border: v ⊤x + a = 0 there are many solutions... The problem is ill posed How to choose a solution ? ⇒ choose the one with larger marginRoad map 1 Linear SVM Separating hyperplanes The margin Linear SVM: the problem Linear programming SVM 0 0 0 marginMaximize our confidence = maximize the margin the decision border: ∆(v, a) = {x ∈ IRd v ⊤x + a = 0} 0 0 0 margin maximize the margin max v,a min i∈[1,n] dist(xi , ∆(v, a)) | {z } margin: m Maximize the confidence    max v,a m with min i=1,n |v ⊤xi + a| kvk ≥ m the problem is still ill posed if (v, a) is a solution, ∀ 0 < k (kv, ka) is also a solution. . .Margin and distance: details Theorem (The geometrical margin) Let x be a vector in IRd and ∆(v, a) = {s ∈ IRd v ⊤s + a = 0} an hyperplane. The distance between vector x and the hyperplane ∆(v, a)) is dist(xi , ∆(v, a)) = |v⊤x+a| kvk Let sx be the closest point to x in ∆ , sx = arg min s∈∆ kx − sk. Then x = sx + r v kvk ⇔ r v kvk = x − sx So that, taking the scalar product with vector v we have: v ⊤r v kvk = v ⊤(x − sx ) = v ⊤x − v ⊤sx = v ⊤x + a − (v ⊤sx + a) | {z } =0 = v ⊤x + a and therefore r = v⊤x + a kvk leading to: dist(xi , ∆(v, a)) = min s∈∆ kx − sk = r = |v⊤x + a| kvkGeometrical and numerical margin ∆ = {x ∈ IR2 | v ⊤x + a = 0} the decision border ∆ d(x, ∆) = |v ⊤x + a| kvk the geometrical margin d(xb, ∆) (xr, v ⊤xr + a) (xr, 0) mr d(xr, ∆) (xb, v ⊤xb + a) mb (xb, 0) m = |v ⊤x + a| the numerical marginFrom the geometrical to the numerical margin +1 ï1 ï1/|w| 1/|w| {x | wT x = 0} <ï ï marge > x w T x Valeur de la marge dans le cas monodimensionnel Maximize the (geometrical) margin    max v,a m with min i=1,n |v ⊤xi + a| kvk ≥ m if the min is greater, everybody is greater (yi ∈ {−1, 1})    max v,a m with yi(v ⊤xi + a) kvk ≥ m, i = 1, n change variable: w = v mkvk and b = a mkvk =⇒ kwk = 1 m    max w,b m with yi(w⊤xi + b) ≥ 1 ; i = 1, n and m = 1 kwk    min w,b kwk 2 with yi(w⊤xi + b) ≥ 1 i = 1, nThe canonical hyperplane ( min w,b kwk 2 with yi(w⊤xi + b) ≥ 1 i = 1, n Definition (The canonical hyperplane) An hyperplane (w, b) in IRd is said to be canonical with respect the set of vectors {xi ∈ IRd , i = 1, n} if min i=1,n |w ⊤xi + b| = 1 so that the distance min i=1,n dist(xi , ∆(w, b)) = |w⊤x + b| kwk = 1 kwk The maximal margin (=minimal norm) canonical hyperplaneRoad map 1 Linear SVM Separating hyperplanes The margin Linear SVM: the problem Linear programming SVM 0 0 0 marginLinear SVM: the problem The maximal margin (=minimal norm) canonical hyperplane 0 0 0 margin Linear SVMs are the solution of the following problem (called primal) Let {(xi , yi); i = 1 : n} be a set of labelled data with x ∈ IRd , yi ∈ {1, −1} A support vector machine (SVM) is a linear classifier associated with the following decision function: D(x) = sign w⊤x + b  where w ∈ IRd and b ∈ IR a given thought the solution of the following problem: ( min w∈IRd , b∈IR 1 2 kwk 2 with yi(w⊤xi + b) ≥ 1 , i = 1, n This is a quadratic program (QP): ( min z 1 2 z ⊤Az − d ⊤z with Bz ≤ eSupport vector machines as a QP The Standart QP formulation ( min w,b 1 2 kwk 2 with yi(w⊤xi + b) ≥ 1, i = 1, n ⇔ ( min z∈IRd+1 1 2 z ⊤Az − d ⊤z with Bz ≤ e z = (w, b) ⊤, d = (0, . . . , 0) ⊤, A =  I 0 0 0  , B = −[diag(y)X, y] and e = −(1, . . . , 1) ⊤ Solve it using a standard QP solver such as (for instance) % QUADPROG Quadratic programming . % X = QUADPROG (H ,f ,A ,b ) attempts to solve the quadratic programming problem : % % min 0.5* x ’* H*x + f ’* x subject to : A*x <= b % x % so that the solution is in the range LB <= X <= UB For more solvers (just to name a few) have a look at: plato.asu.edu/sub/nlores.html#QP-problem www.numerical.rl.ac.uk/people/nimg/qp/qp.htmlRoad map 1 Linear SVM Separating hyperplanes The margin Linear SVM: the problem Linear programming SVM 0 0 0 marginOther SVMs: Equivalence between norms L1 norm variable selection (especially with redundant noisy features) Mangassarian, 1965    max m,v,a m with yi(v ⊤xi + a) ≥ m kvk2 ≥ m 1 √ d kvk1 i = 1, n 1-norm or Linear Programming-SVM (LP SVM) ( min w,b kwk1 = Pp j=1 |wj | with yi(w ⊤xi + b) ≥ 1 ; i = 1, n Generalized SVM (Bradley and Mangasarian, 1998) ( min w,b kwk p p with yi(w ⊤xi + b) ≥ 1 ; i = 1, n p = 2: SVM, p = 1: LPSVM (also with p = ∞), p = 0: L0 SVM, p= 1 and 2: doubly regularized SVM (DrSVM)Linear support vector support (LP SVM) ( min w,b kwk1 = Pp j=1 w + j + w − j with yi(w ⊤xi + b) ≥ 1 ; i = 1, n w = w + − w − with w + ≥ 0 and w − ≥ 0 The Standart LP formulation    min x f ⊤x with Ax ≤ d and 0 ≤ x x = [w +; w −; b] f = [1 . . . 1; 0] d = −[1 . . . 1] ⊤ A = [−yiXi yiXi − yi] % linprog (f ,A ,b , Aeq , beq ,LB , UB ) % attempts to solve the linear programming problem : % min f ’* x subject to : A* x <= b % x % so that the solution is in the range LB <= X <= UBAn example of linear discrimination: SVM and LPSVM true line QP SVM LPSVM Figure: SVM and LP SVMThe linear discrimination problem from Learning with Kernels, B. Schölkopf and A. Smolla, MIT Press, 2002.Conclusion SVM = Separating hyperplane (to begin with the simpler) + Margin, Norm and statistical learning + Quadratic and Linear programming (and associated rewriting issues) + Support vectors (sparsity) SVM preforms the selection of the most relevant data pointsBibliography V. Vapnik, the generalized portrait method p 355 in Estimation of dependences based on empirical data, Springer, 1982 B. Boser, I. Guyon & V. Vapnik, A training algorithm for optimal margin classifiers. COLT, 1992 P. S. Bradley & O. L. Mangasarian. Feature selection via concave minimization and support vector machines. ICML 1998 B. Schölkopf & A. Smolla, Learning with Kernels, MIT Press, 2002 M. Mohri, A. Rostamizadeh & A. Talwalkar, Foundations of Machine Learning, MIT press 2012 http://agbs.kyb.tuebingen.mpg.de/lwk/sections/section72.pdf http://www.cs.nyu.edu/~mohri/mls/lecture_4.pdf http://en.wikipedia.org/wiki/Quadratic_programming Stéphane Canu (INSA Rouen - LITIS) March 12, 2014 25 / 25 Understanding SVM (and associated kernel machines) through the development of a Matlab toolbox Stephane Canu To cite this version: Stephane Canu. Understanding SVM (and associated kernel machines) through the development of a Matlab toolbox. Ecole d’ing´enieur. Introduction to Support Vector Machines (SVM), ´ Sao Paulo, 2014, pp.33. HAL Id: cel-01003007 https://cel.archives-ouvertes.fr/cel-01003007 Submitted on 8 Jun 2014 HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers. L’archive ouverte pluridisciplinaire HAL, est destin´ee au d´epˆot et `a la diffusion de documents scientifiques de niveau recherche, publi´es ou non, ´emanant des ´etablissements d’enseignement et de recherche fran¸cais ou ´etrangers, des laboratoires publics ou priv´es.Lecture 8: Multi Class SVM Stéphane Canu stephane.canu@litislab.eu Sao Paulo 2014 April 10, 2014Roadmap 1 Multi Class SVM 3 different strategies for multi class SVM Multi Class SVM by decomposition Multi class SVM Coupling convex hulls 1.5 1.5 1.5 1.5 1.5 1.5 2.5 2.5 2.5 −0.5 0 0.5 1 1.5 0 0.5 1 1.5 23 different strategies for multi class SVM 1 Decomposition approaches ◮ one vs all: winner takes all ◮ one vs one: ⋆ max-wins voting ⋆ pairwise coupling: use probability ◮ c SVDD 2 global approach (size c × n), ◮ formal (different variations)    min f ∈H,α0,ξ∈IRn 1 2 Xc ℓ=1 kfℓk 2 H + C p Xn i=1 Xc ℓ=1,ℓ6=yi ξ p iℓ with fyi (xi) + byi ≥ fℓ(xi) + bℓ + 2 − ξiℓ and ξiℓ ≥ 0 for i = 1, ..., n; ℓ = 1, ..., c; ℓ 6= yi non consistent estimator but practically useful ◮ structured outputs 3 A coupling formulation using the convex hulls3 different strategies for multi class SVM 1 Decomposition approaches ◮ one vs all: winner takes all ◮ one vs one: ⋆ max-wins voting ⋆ pairwise coupling: use probability – best results ◮ c SVDD 2 global approach (size c × n), ◮ formal (different variations)    min f ∈H,α0,ξ∈IRn 1 2 Xc ℓ=1 kfℓk 2 H + C p Xn i=1 Xc ℓ=1,ℓ6=yi ξ p iℓ with fyi (xi) + byi ≥ fℓ(xi) + bℓ + 2 − ξiℓ and ξiℓ ≥ 0 for i = 1, ..., n; ℓ = 1, ..., c; ℓ 6= yi non consistent estimator but practically useful ◮ structured outputs 3 A coupling formulation using the convex hullsMulticlass SVM: complexity issues n training data n = 60, 000 for MNIST c class c = 10 for MNIST approach problem size number of sub problems discrimination rejection 1 vs. all n c ++ - 1 vs. 1 2n c c(c−1) 2 ++ - c SVDD n c c - ++ all together n × c 1 ++ - coupling CH n 1 + +Roadmap 1 Multi Class SVM 3 different strategies for multi class SVM Multi Class SVM by decomposition Multi class SVM Coupling convex hulls 1.5 1.5 1.5 1.5 1.5 1.5 2.5 2.5 2.5 −0.5 0 0.5 1 1.5 0 0.5 1 1.5 2Multi Class SVM by decomposition One-Against-All Methods → winner-takes-all strategy One-vs-One: pairwise methods → max-wins voting → directed acyclic graph (DAG) → error-correcting codes → post process probabilities Hierarchical binary tree for multi-class SVM http://courses.media.mit.edu/2006fall/ mas622j/Projects/aisen-project/SVM and probabilities (Platt, 1999) The decision function of the SVM is: sign f (x) + b  log IP(Y = 1|x) IP(Y = −1|x) should have (almost) the same sign as f (x) + b log IP(Y = 1|x) IP(Y = −1|x) = a1(f (x) + b) + a2 IP(Y = 1|x) = 1 − 1 1 + expa1(f (x)+b)+a2 a1 et a2 estimated using maximum likelihood on new data max a1,a2 L with L = Yn i=1 IP(Y = 1|xi) yi + (1 − IP(Y = 1|xi))(1−yi ) and log L = Pn i=1 yi log(IP(Y = 1|xi)) + (1 − yi)log(1 − IP(Y = 1|xi)) = Pn i=1 yi log IP(Y =1|xi ) 1−IP(Y =1|xi )  + log(1 − IP(Y = 1|xi)) = Pn i=1 yi a1(f (xi) + b) + a2  − log(1 + expa1(f (xi )+b)+a2 ) = Pn i=1 yi a ⊤zi  − log(1 + expa ⊤zi) Newton iterations: a new ← a old − H −1∇logLSVM and probabilities (Platt, 1999) max a∈IR2 log L = Xn i=1 yi a ⊤zi  − log(1 + expa ⊤zi) Newton iterations a new ← a old − H −1∇logL ∇logL = Xn i=1 yi zi − expa ⊤z 1 + expa⊤z zi = Xn i=1 yi − IP(Y = 1|xi)  zi = Z ⊤(y − p) H = − Xn i=1 zi z ⊤ i IP(Y = 1|xi) 1 − IP(Y = 1|xi)  = −Z ⊤WZ Newton iterations a new ← a old + (Z ⊤WZ) −1Z ⊤(y − p)SVM and probabilities: practical issues y −→ t =    1 − ε+ = n+ + 1 n+ + 2 if yi = 1 ε− = 1 n− + 2 if yi = −1 1 in: X, y, f /out: p 2 t ← 3 Z ← 4 loop until convergence 1 p ← 1 − 1 1+expa⊤z 2 W ← diag p(1 − p)  3 a new ← a old + (Z ⊤WZ) −1Z ⊤(t − p)SVM and probabilities: pairwise coupling From pairwise probabilities IP(cℓ , cj) to class probabilities pℓ = IP(cℓ |x) min p Xc ℓ=1 X ℓ−1 j=1 IP(cℓ , cj) 2 (pℓ − pj) 2  Q e e ⊤ 0  p µ  =  0 1  with Qℓj =  IP(cℓ , cj) 2 P ℓ 6= j i IP(cℓ , ci) 2 ℓ = j The global procedure : 1 (Xa, ya, Xt, yt) ← split(X, y) 2 (Xℓ, yℓ, Xp, yp) ← split(Xa, ya) 3 loop for all pairs (ci , cj) of classes 1 modeli,j ← train_SVM(Xℓ, yℓ,(ci , cj)) 2 IP(ci , cj) ← estimate_proba(Xp, yp, model) % Platt estimate 4 p ← post_process(Xt, yt,IP) % Pairwise Coupling Wu, Lin & Weng, 2004, Duan & Keerti, 05SVM and probabilities Some facts SVM is universally consistent (converges towards the Bayes risk) SVM asymptotically implements the bayes rule but theoretically: no consistency towards conditional probabilities (due to the nature of sparsity) to estimate conditional probabilities on an interval (typically[ 1 2 − η, 1 2 + η]) to sparseness in this interval (all data points have to be support vectors) Bartlett & Tewari, JMLR, 07SVM and probabilities (2/2) An alternative approach g(x) − ε −(x) ≤ IP(Y = 1|x) ≤ g(x) + ε +(x) with g(x) = 1 1+4−f (x)−α0 non parametric functions ε − and ε + have to verify: g(x) + ε +(x) = exp−a1(1−f (x)−α0)++a2 1 − g(x) − ε −(x) = exp−a1(1+f (x)+α0)++a2 with a1 = log 2 and a2 = 0 Grandvalet et al., 07Roadmap 1 Multi Class SVM 3 different strategies for multi class SVM Multi Class SVM by decomposition Multi class SVM Coupling convex hulls 1.5 1.5 1.5 1.5 1.5 1.5 2.5 2.5 2.5 −0.5 0 0.5 1 1.5 0 0.5 1 1.5 2Multi class SVM: the decision function One hyperplane by class fℓ(x) = w ⊤ ℓ x + bℓ ℓ = 1, c Winner takes all decision function D(x) = Argmax ℓ=1,c w ⊤ 1 x + b1, w ⊤ 2 x + b2, . . . , w ⊤ ℓ x + bℓ , . . . , w ⊤ c x + bc  We can revisit the 2 classes case in this setting c × (d + 1) unknown variables (wℓ, bℓ); ℓ = 1, cMulti class SVM: the optimization problem The margin in the multidimensional case m = min ℓ6=yi v ⊤ yi xi − ayi − v ⊤ ℓ xi + aℓ  = v ⊤ yi xi + ayi − max ℓ6=yi v ⊤ ℓ xi + aℓ  The maximal margin multiclass SVM    max vℓ,aℓ m with v ⊤ yi xi + ayi − v ⊤ ℓ xi − aℓ ≥ m for i = 1, n; ℓ = 1, c; ℓ 6= yi and 1 2 Xc ℓ=1 kvℓk 2 = 1 The multiclass SVM    min wℓ,bℓ 1 2 Xc ℓ=1 kwℓk 2 with x ⊤ i (wyi − wℓ) + byi − bℓ ≥ 1 for i = 1, n; ℓ = 1, c; ℓ 6= yiMulti class SVM: KKT and dual form: The 3 classes case    min wℓ,bℓ 1 2 X 3 ℓ=1 kwℓk 2 with w⊤ yi xi + byi ≥ w⊤ ℓ xi + bℓ + 1 for i = 1, n; ℓ = 1, 3; ℓ 6= yi    min wℓ,bℓ 1 2 kw1k 2 + 1 2 kw2k 2 + 1 2 kw3k 2 with w⊤ 1 xi + b1 ≥ w⊤ 2 xi + b2 + 1 for i such that yi = 1 w⊤ 1 xi + b1 ≥ w⊤ 3 xi + b3 + 1 for i such that yi = 1 w⊤ 2 xi + b2 ≥ w⊤ 1 xi + b1 + 1 for i such that yi = 2 w⊤ 2 xi + b2 ≥ w⊤ 3 xi + b3 + 1 for i such that yi = 2 w⊤ 3 xi + b3 ≥ w⊤ 1 xi + b1 + 1 for i such that yi = 3 w⊤ 3 xi + b3 ≥ w⊤ 2 xi + b2 + 1 for i such that yi = 3 L = 1 2 (kw1k 2 + kw2k 2 + kw3k 2 ) −α ⊤ 12(X1(w1 − w2) + b1 − b2 − 1) −α ⊤ 13(X1(w1 − w3) + b1 − b3 − 1) −α ⊤ 21(X2(w2 − w1) + b2 − b1 − 1) −α ⊤ 23(X2(w2 − w3) + b2 − b3 − 1) −α ⊤ 31(X3(w3 − w1) + b3 − b1 − 1) −α ⊤ 32(X3(w3 − w2) + b3 − b2 − 1)Multi class SVM: KKT and dual form: The 3 classes case L = 1 2 kwk 2 − α ⊤(XMw + Ab − 1) with w =   w1 w2 w3   ∈ IR3d M = M ⊗ I =   I −I 0 I 0 −I −I I 0 0 I −I −I 0 I 0 −I I   a 6d × 3d matrix where I the identity matrix and X =   X1 0 0 0 0 0 0 X1 0 0 0 0 0 0 X2 0 0 0 0 0 0 X2 0 0 0 0 0 0 X3 0 0 0 0 0 0 X3   a 2n × 6d matrix with input data X =   X1 X2 X3   n × dMulti class SVM: KKT and dual form: The 3 classes case KKT Stationality conditions = ∇wL = w − M⊤X ⊤α ∇bL = A ⊤α The dual min α∈IR2n 1 2 α ⊤Gα − e ⊤α with Ab = 0 and 0 ≤ α With G = XMM⊤X ⊤ = X (M ⊗ I)(M ⊗ I) ⊤X ⊤ = X (MM⊤ ⊗ I)X ⊤ = (MM⊤ ⊗ I). × XX ⊤ = (MM⊤ ⊗ I). × 1I K 1I⊤ and M =   1 −1 0 1 0 −1 −1 1 0 0 1 −1 −1 0 1 0 −1 1  Multi class SVM and slack variables (2 variants) A slack for all (Vapnik & Blanz, Weston & Watkins 1998)    min wℓ,bℓ,ξ∈IRcn 1 2 Xc ℓ=1 kwℓk 2 + C Xn i=1 Xc ℓ=1,ℓ6=yi ξiℓ with w⊤ yi xi + byi − w⊤ ℓ xi − bℓ ≥ 1 − ξiℓ and ξiℓ ≥ 0 for i = 1, n; ℓ = 1, c; ℓ 6= yi The dual min α∈IR2n 1 2 α ⊤Gα − e ⊤α with Ab = 0 and 0 ≤ α ≤ C Max error, a slack per training data (Cramer and Singer, 2001)    min wℓ,bℓ,ξ∈IRn 1 2 Xc ℓ=1 kwℓk 2 + C Xn i=1 ξi with (wyi − wℓ) ⊤xi ≥ 1 − ξi for i = 1, n; ℓ = 1, c; ℓ 6= yi X i=1 and ξi ≥ 0 for i = 1, nMulti class SVM and Kernels    min f ∈H,α0,ξ∈IRcn 1 2 Xc ℓ=1 kfℓk 2 H + C Xn i=1 Xc ℓ=1,ℓ6=yi ξiℓ with fyi (xi) + byi − fℓ(xi) − bℓ ≥ 1 − ξiℓ Xn i=1 and ξiℓ ≥ 0 for i = 1, n; ℓ = 1, c; ℓ 6= yi The dual min α∈IR2n 1 2 α ⊤Gα − e ⊤α with Ab = 0 and 0 ≤ α≤ C where G is the multi class kernel matrixOther Multi class SVM Lee, Lin & Wahba, 2004    min f ∈H λ 2 Xc ℓ=1 kfℓk 2 H + 1 n Xn i=1 Xc ℓ=1,ℓ6=yi (fℓ(xi) + 1 c − 1 )+ with Xc ℓ=1 fℓ(x) = 0 ∀x Structured outputs = Cramer and Singer, 2001 MSVMpack : A Multi-Class Support Vector Machine Package Fabien Lauer & Yann GuermeurRoadmap 1 Multi Class SVM 3 different strategies for multi class SVM Multi Class SVM by decomposition Multi class SVM Coupling convex hulls 1.5 1.5 1.5 1.5 1.5 1.5 2.5 2.5 2.5 −0.5 0 0.5 1 1.5 0 0.5 1 1.5 2One more way to derivate SVM Minimizing the distance between the convex hulls    min α ku − vk 2 with u(x) = X {i|yi =1} αi(x ⊤ i x), v(x) = X {i|yi =−1} αi(x ⊤ i x) and X {i|yi =1} αi = 1, X {i|yi =−1} αi = 1, 0 ≤ αi i = 1, nThe multi class case    min α Xc ℓ=1 Xc ℓ ′=1 kuℓ − uℓ ′k 2 with uℓ(x) = X {i|yi =ℓ} αi,ℓ(x ⊤ i x), ℓ = 1, c and X {i|yi =ℓ} αi,ℓ = 1, 0 ≤ αi,ℓ i = 1, n; ℓ = 1, cBibliography Estimating probabilities ◮ Platt, J. (2000). Probabilistic outputs for support vector machines and comparison to regularized likelihood methods. In Advances in large margin classifiers. MIT Press. ◮ T. Lin, C.-J. Lin, R.C. Weng, A note on Platt’s probabilistic outputs for support vector machines, Mach. Learn. 68 (2007) 267–276 ◮ http://www.cs.cornell.edu/courses/cs678/2007sp/platt.pdf Multiclass SVM ◮ K.-B. Duan & S. Keerthi (2005). "Which Is the Best Multiclass SVM Method? An Empirical Study". ◮ T.-F. Wu, C.-J. Lin, R.C. Weng, Probability estimates for multi-class classification by pairwise coupling, JMLR. 5 (2004) 975–1005. ◮ K. Crammer & Y. Singer (2001). "On the Algorithmic Implementation of Multiclass Kernel-based Vector Machines". JMLR 2: 265–292. ◮ Lee, Y.; Lin, Y.; and Wahba, G. (2001). "Multicategory Support Vector Machines". Computing Science and Statistics 33. ◮ http://www.loria.fr/~guermeur/NN2008_M_SVM_YG.pdf ◮ http://jmlr.org/papers/volume12/lauer11a/lauer11a.pdf Stéphane Canu (INSA Rouen - LITIS) April 10, 2014 25 / 25 https://hal.inria.fr/cel-01082588v2/document Tutoriel Android - TP de prise en main Dima Rodriguez To cite this version: Dima Rodriguez. Tutoriel Android - TP de prise en main. Ecole d’ing´enieur. France. 2014, ´ pp.51. HAL Id: cel-01082588 https://hal.archives-ouvertes.fr/cel-01082588v2 Submitted on 26 Nov 2014 HAL is a multi-disciplinary open access archive for the deposit and dissemination of scientific research documents, whether they are published or not. The documents may come from teaching and research institutions in France or abroad, or from public or private research centers. L’archive ouverte pluridisciplinaire HAL, est destin´ee au d´epˆot et `a la diffusion de documents scientifiques de niveau recherche, publi´es ou non, ´emanant des ´etablissements d’enseignement et de recherche fran¸cais ou ´etrangers, des laboratoires publics ou priv´es.Tutoriel Android TM TP de prise en main Dima RodriguezPolytech’ Paris Sud Tutoriel AndroidTM Dima Rodriguez Novembre 2014 TP de prise en mainTable des matières Préambule 4 1 Installation de l’IDE 5 2 Configuration de l’IDE 6 Installation des paquets supplémentaires et des mises à jours . . . . . . 6 Configuration d’un émulateur . . . . . . . . . . . . . . . . . . . . . . . 6 3 Notre première application Android 10 Création d’un projet et d’une application “Hello World” . . . . . . . . . 10 Exécution de l’application . . . . . . . . . . . . . . . . . . . . . . . . . 11 Se repérer dans le projet . . . . . . . . . . . . . . . . . . . . . . . . . 14 Modification de l’interface utilisateur . . . . . . . . . . . . . . . . . . . 16 Répondre aux évènements . . . . . . . . . . . . . . . . . . . . . . . . . 21 Créer et lancer une autre activité . . . . . . . . . . . . . . . . . . . . . 22 Créer des animations . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 Créer un View personnalisé pour gérer un jeu . . . . . . . . . . . . . . 32 Temporisation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 Rajouter un bouton sur la barre d’action . . . . . . . . . . . . . . . . . 40 Lancement d’une autre application . . . . . . . . . . . . . . . . . . . . 41 Changement de langue . . . . . . . . . . . . . . . . . . . . . . . . . . 43 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 Annexes 46 Explication du code généré par défaut pour la classe Principale . . . . . 46 Cycle de vie d’une activité . . . . . . . . . . . . . . . . . . . . . . . . 49 2Table des figures 2.1 SDK Manager . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 Android Virtual Device Manager . . . . . . . . . . . . . . . . . . 8 2.3 Création d’un appareil virtuel . . . . . . . . . . . . . . . . . . . . 9 3.1 Création d’un projet . . . . . . . . . . . . . . . . . . . . . . . . . 12 3.2 Créer une activité . . . . . . . . . . . . . . . . . . . . . . . . . . 12 3.3 Nouvelle activité . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3.4 Exécution de l’application . . . . . . . . . . . . . . . . . . . . . . 13 3.5 Aperçu de l’interface Eclipse . . . . . . . . . . . . . . . . . . . 14 3.6 Hiérarchie de LinearLayout . . . . . . . . . . . . . . . . . . . . . 17 3.7 Premier test de l’application modifiée . . . . . . . . . . . . . . . . 20 3.8 Champ de saisie et bouton . . . . . . . . . . . . . . . . . . . . . 21 3.9 Création d’une nouvelle activité . . . . . . . . . . . . . . . . . . . 23 3.10 Nouveau xml pour définir une animation . . . . . . . . . . . . . . 28 3.11 Animation en LinearLayout . . . . . . . . . . . . . . . . . . . . . 30 3.12 Animation en RelativeLayout . . . . . . . . . . . . . . . . . . . . 31 3.13 Création de la classe MonViewPerso . . . . . . . . . . . . . . . . 33 3.14 Ajout d’un bouton pour lancer le jeu . . . . . . . . . . . . . . . . 36 3.15 Activité avec vue personnalisée . . . . . . . . . . . . . . . . . . . 39 3.16 Barre d’action . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 3.17 Cycle de vie d’une activité . . . . . . . . . . . . . . . . . . . . . 50 3Préambule Le système d’exploitation Android est actuellement l’OS le plus utilisé dans le monde faisant tourner des smartphones, tablettes, montres connectées, liseuses électroniques, télévisions interactives, et bien d’autres. C’est un système, open source qui utilise le noyau Linux. Il a été créée par Android, Inc. qui fut rachetée par Google en 2005. Le développement d’applications pour Android s’effectue en Java en utilisant des bibliothèques spécifiques. Le but de ce tutoriel est de vous familiariser avec l’esprit de développement Android et ses bibliothèques. Nous introduirons les concepts de bases de création d’application en mettant en œuvre quelques fonctionnalités simples. Ce tutoriel n’est en aucun cas exhaustive, le potentiel des applications Android est beaucoup plus ample, les exemples cités dans ce document ne devront pas brider votre imagination ni votre curiosité. Sur le site officiel pour les développeurs Android vous trouverez la documentation des classes, des tutoriels ainsi que les lignes directrices pour préparer une distribution Google Play. Un lexique à la fin de ce document définit quelques mot du vocabulaire Android utilisé dans ce tutoriel. 41 Installation de l’IDE Dans cette section nous allons décrire la procédure d’installation d’un environnement de développement Android. Attention : Il faut exécuter les étapes dans l’ordre cité ci-dessous. a. Téléchargez le JDK7 (Java Development Kit) que vous pouvez trouver sur le site d’Oracle 1 . b. Désinstallez des éventuelles versions antérieures du JDK c. Installez le nouveau JDK d. Téléchargez le paquet ADT (Android Developer Tools). Il contient le SDK (Software Development Kit) Android et une version d’Eclipse avec ADT intégré. e. Pour installer l’IDE, il faut juste placer le dossier téléchargé dans le répertoire où vous avez l’habitude d’installer vos programmes (ou directement sur votre partition principale) et le dé-zipper. Vous pouvez également lui changer de nom si vous souhaitez, mais veillez à ne pas mettre des espaces ou des accents quand vous le renommez. f. Dans le dossier dé-zippé vous trouverez un exécutable Eclipse que vous pouvez désormais lancer pour commencer la configuration de votre environnement. i Au moment de l’écriture de ce document, Eclipse est le seul IDE (Integrated Development Environment) officiellement supporté. Un nouvel environnement, Android Studio, est en cours de développement mais est encore en version bêta pas très stable. Si vous souhaitez utiliser une version d’Eclipse que vous avez déjà sur votre machine il faudrait prendre le SDK et un plugin ADT et configurer Eclipse pour son utilisation. 1. Ce tutoriel a été réalisé avec JDK7u60 52 Configuration de l’IDE Installation des paquets supplémentaires et des mises à jours a. Lancez Eclipse b. On commencera par s’assurer que l’environnement installé est à jour. Dans le menu Help sélectionnez Check for Updates et installez les mises à jour le cas échéant. c. Pour vérifier la version du SDK installé, allez dans le menu Window > Android SDK Manager et lancez le gestionnaire du SDK. Dans le gestionnaire (fig.2.1) vous verrez la version du SDK installé (avec les mises jour disponibles) et aussi la version de l’API (Application Programming Interface) installée et la version du OS pour laquelle elle vous permettra de développer. Installez les paquets proposés par défaut. i Si vous voulez développer pour des versions Android plus anciennes il faut installer les versions API correspondantes. Configuration d’un émulateur Un émulateur permet de reproduire le comportement d’un appareil réel d’une façon virtuelle. L’utilisation d’un émulateur nous évite d’avoir à charger à chaque fois l’application dans un appareil pour la tester. On pourra ainsi lancer l’application dans l’IDE et elle s’exécutera sur un appareil virtuel appelé Android Virtual Device AVD qui émule le comportement d’un téléphone, une tablette ou autre. Eclipse ne propose pas d’émulateur par défaut, avant de commencer à créer notre application il faut en configurer un. 6Tutoriel Android 7 Figure 2.1 – SDK Manager Dans cet exemple, il existe une mise à jour disponible pour le SDK. L’API installée est la version 20 qui permet un développement pour Android 4.4, mais il existe une API plus récente pour Android 5.0. Polytech’ Paris Sud Dima RodriguezTutoriel Android 8 Figure 2.2 – Android Virtual Device Manager Allez dans le menu Window > Android Virtual Device Manager, une fois le gestionnaire ouvert cliquez sur le bouton Create (fig. 2.2). Une fenêtre de configuration s’affiche (fig. 2.3a). On propose de configurer un émulateur Nexus One avec les paramètres indiqués (fig.2.3b). Notez qu’à la création de l’appareil sa résolution vous est signalée. Dans cet exemple l’appareil a une résolution 480x800 qui correspond à hdpi (high density dots per inch). Ceci est important à noter pour l’intégration d’images dans l’application. i Notez que pour certains émulateurs proposés le processeur n’est pas installé par défaut, pour pouvoir les créer il faut installer un processeur adapté dans le SDK Manager. Polytech’ Paris Sud Dima RodriguezTutoriel Android 9 (a) Fenêtre de création AVD (b) Création d’un appareil Nexus One Figure 2.3 – Création d’un appareil virtuel Polytech’ Paris Sud Dima Rodriguez3 Notre première application Android Création d’un projet et d’une application “Hello World” a. Dans le menu File > New, sélectionnez Android Application Project , et renseignez les informations comme dans la figure 3.1 Application name : c’est le nom qui va apparaitre dans la liste des applications sur l’appareil et dans le Play Store. Project name : c’est le nom utilisé par Eclipse (typiquement le même que celui de l’application). Package name : il est utilisé comme identifiant de l’application, il permet de considérer différentes versions d’une application comme étant une même application. Minimum required SDK : c’est la version Android la plus ancienne sur laquelle l’application peut tourner. Il faut éviter de remonter trop en arrière ça réduirait les fonctionnalités que vous pourriez donner à votre application. Target SDK : c’est la version pour laquelle l’application est développée et testée. Typiquement la dernière version API que vous avez installée. 1 Compile with : c’est la version d’API à utiliser pour la compilation. Typiquement la dernière version du SDK installée. Theme : c’est l’apparence par défaut qu’aura votre application. 1. Ce tutoriel a été réalisé avec la version 4.4.2 10Tutoriel Android 11 b. Cliquez sur Next et laissez les choix par défaut. Vous pouvez éventuellement modifier l’emplacement de votre projet en décochant Create Project in Workspace et parcourir le disque pour sélectionner un autre dossier. c. Cliquez sur Next. La fenêtre suivante vous propose de définir une icône pour votre application. Nous laisserons l’icône proposée par défaut. Vous pourrez ultérieurement créer votre propre icône pour vos applications. Remarquez que l’image doit être proposée avec différentes résolutions pour s’adapter aux différents appareils. d. Cliquez sur Next. Nous arrivons à la création d’une activité (un écran avec une interface graphique). Sélectionnez Blank Activity (fig. 3.2) et cliquez Next. e. Selon la version de l’ADT que vous avez, vous verrez soit la fenêtre de la figure 3.3a ou celle de la figure 3.3b. La dernière version impose l’utilisation de fragments. Chaque activité dispose d’un layout qui définit la façon dont les composants seront disposés sur l’écran. Une activité peut être divisée en portions (ou fragments) chacune ayant son propre layout. La notion de fragment a été introduite pour favoriser la ré-utilisabilité de morceaux d’activité (un fragment peut être définit une fois et réutilisé dans plusieurs activités). Renseignez les champs comme indiqué dans la figure. f. Cliquez sur Finish, le projet est crée. ! Si vous créez un fragment ce sera le fichier fragment_principale.xml que vous devriez modifier dans la suite du tutoriel sinon vous modi- fierez le fichier activite_principale.xml. Exécution de l’application Sur l’émulateur Appuyez sur le bouton d’exécution (fig.3.4 ) et sélectionnez Android Application dans la fenêtre qui s’affiche. L’émulateur se lance, ça peut prendre quelques minutes soyez patients. Rassurez-vous, vous n’aurez pas à le relancer à chaque fois que vous compilez votre projet, laissez-le ouvert et à chaque fois que vous compilez et relancez votre application, elle sera rechargée dans l’émulateur en cours. Polytech’ Paris Sud Dima RodriguezTutoriel Android 12 Figure 3.1 – Création d’un projet Figure 3.2 – Créer une activité Polytech’ Paris Sud Dima RodriguezTutoriel Android 13 (a) Création d’activité sans fragment (b) Création d’activité avec fragment Figure 3.3 – Nouvelle activité Figure 3.4 – Exécution de l’application Polytech’ Paris Sud Dima RodriguezTutoriel Android 14 Explorateur Palette des composants graphiques Navigateur des fichiers ouverts Liste des composants de l'activité Propritétés du composant selectionné Navigation entre vue graphique et xml Output Aperçu de l'activité Debug et Execution Figure 3.5 – Aperçu de l’interface Eclipse Sur un appareil réel Connectez l’appareil par câble USB à l’ordinateur et installez le pilote si nécessaire. Activez l’option de débogage USB sur votre appareil (en général sous Settings > Applications > Development). Lancez l’application depuis Eclipse comme précédemment. Eclipse charge l’application sur votre appareil et la lance. i Une fois que votre application est compilée, un fichier MonAppli.apk est créé dans le dossier bin de votre répertoire de travail. C’est l’exé- cutable de votre application. C’est ce fichier que vous devez déployer pour distribuer votre application. Le contenu de ce fichier peut être inspecté à l’aide de n’importe quel logiciel standard de compression/- décompression de fichiers. Se repérer dans le projet La figure 3.5 montre les principaux éléments de l’interface Eclipse. Tout projet Android doit respecter une hiérarchie bien précise qui permettra au compilateur de retrouver les différents éléments et ressources lors de la génération de l’application. Cette hiérarchie favorise la modularité des applications Android. A la création du projet, Eclipse crée automatiquement des dossiers pour contenir Polytech’ Paris Sud Dima RodriguezTutoriel Android 15 les fichiers de code Java, les fichiers XML, et les fichiers multimédias. L’explorateur de projet vous permettra de naviguer dans ces dossiers. Les dossiers que nous utiliserons le plus sont src et res. Le premier contient le code Java qui définit le comportement de l’application et le second comporte des sous dossiers où sont stockés les ressources qui définissent l’interface de l’application (l’apparence). i La séparation entre fonctionnalité et apparence est un point essentiel de la philosophie Android. Le code de la classe principale de l’application (Principale.java) est situé dans le sous dossier polytech.android.monappli de src. Vous trouverez en annexe une brève explication du code qui y est généré par défaut. C’est dans le dossier src que seront enregistrées toutes les classes que nous allons créer dans ce projet. Par ailleurs, tout ce qui touche à l’interface utilisateur sera intégré dans les sous dossiers de res, dont voici une brève description : layout regroupe les fichiers XML qui définissent la disposition des composants sur l’écran. Il contient déjà, dès la création du projet, le layout de l’activité principale que nous avons créée. drawable-**** contient tout élément qui peut être dessiné sur l’écran : images (en PNG de préférence), formes, animations, transitions, icône, etc.. Cinq dossiers drawable permettent aux développeurs de proposer des éléments graphiques pour tout genre d’appareil Android en fonction de sa résolution. En populant correctement ces dossiers on peut ainsi créer des applications avec une interface qui s’adapte à chaque résolution d’écran avec un seul fichier .apk. ldpi low-resolution dots per inch. Pour des images destinées à des écrans de basse résolution (~120dpi) mdpi pour des écrans de moyenne resolution (~160dpi) hdpi pour des écrans de haute résolution (~240dpi) xhdpi pour des écrans ayant une extra haute résolution (~320dpi) xxhdpi pour des écrans ayant une extra extra haute résolution (~480dpi). menu contient les fichiers XML définissant les menus Polytech’ Paris Sud Dima RodriguezTutoriel Android 16 values contient les fichiers XML qui définissent des valeurs constantes (des chaines de caractères, des dimensions, des couleurs, des styles etc.) Dans le dossier gen vous verrez du code java généré automatiquement par Eclipse. Nous nous intéresserons particulièrement au fichier R.java dans le package polytech.android.monappli. Ce fichier définit une classe R dans laquelle sont définis les identifiants des ressources de l’application. A chaque fois que vous rajouterez une ressource à votre application un identifiant sera généré automatiquement dans cette classe vous permettant par la suite de pouvoir le référencer pour l’utiliser dans votre code 2 . Vous trouverez également sur la racine du projet un fichier nommé AndroidManifest.xml. Ce fichier est obligatoire dans tout projet Android, et doit toujours avoir ce même nom. Ce fichier permet au système de reconnaitre l’application. Modification de l’interface utilisateur Pour l’instant notre application ne fait qu’afficher un message sur l’écran, dans cette section nous allons modifier l’interface pour y mettre un champ de saisie et un bouton. Une interface utilisateur est en général constituée de ce qu’on appelle des ViewGroups qui contiennent des objets de type View ainsi que d’autres ViewGroups. Un View est un composant, tel un bouton ou un champ de texte, et les ViewGroups sont des conteneurs qui définissent une disposition des composants (Views) qui y sont placés. ViewGroup définit la classe de base des différents layouts. Comprendre le layout La disposition de notre interface est définie dans le fichier fragment_principale.xml situé dans le dossier layout de res. (ou bien le fichier activite_principale.xml si vous n’avez pas définit de fragment à la création de votre projet). Ouvrez ce fichier. 2. A l’intérieur de classe R sont définies plusieurs classes, dites nichées, telles que string, drawable, layout, menu, id, etc. Une classe nichée est membre de la classe qui la contient. On a recours à ce genre de classe en général lorsqu’on veut définir une classe qui n’est utilisée qu’à l’intérieur d’une autre classe. Si on la déclare privée elle ne sera visible qu’a l’intérieur de la classe qui l’a définie. Par ailleurs cette dernière peut également accéder aux attributs privés de la classe nichée. C’est une façon d’améliorer la lisibilité du code en regroupant les fonctionnalités qui vont ensemble. Dans notre cas toutes les classes nichées dans R sont publiques, donc accessibles depuis l’extérieur, mais comme elles sont membres de la classe R, pour y accéder, il faut passer par R. On utilisera des notations telles que R.string puisque ces classes sont statiques. Polytech’ Paris Sud Dima RodriguezTutoriel Android 17 La première balise que vous retrouverez est qui définit le type du conteneur qui compose l’interface, il impose la façon dont les composants seront disposés. Plusieurs types de conteneurs existent, les plus communs sont RelativeLayout, LinearLayout, TableLayout, GridView, ListView. L’utilisation d’un RelativeLayout, par exemple, implique que les composants seront placés selon des positions relatives les uns par rapport aux autres. Un LinearLayout implique une disposition linéaire verticale ou horizontale, un GridView permet la disposition des éléments selon une grille qui peut défiler, etc. A l’intérieur de la balise vous verrez un ensemble d’attributs définis selon le format plateforme:caractéristique=”valeur” Par exemple le premier attribut xmlns:android précise où sont définis les balises Android utilisées dans ce fichier. La balise , fille de la balise , définit un composant texte qui sera placé sur le layout. En effet, c’est sur ce composant là qu’on écrit le “Hello World” qu’affiche notre application. Cette chaine de caractère est définie par l’attribut android:text. La notation "@string/hello_world" fait référence à une chaine de caractère qui s’appelle hello_world et qui est définie dans le fichier strings.xml (dans le dossier values). Modifier le type de layout Nous allons maintenant modifier le type du layout pour le transformer en LinearLayout. La figure 3.6 trace la dérivation de la classe LinearLayout. Nous rajouterons ensuite nos composants sur ce layout dans une disposition linéaire. Figure 3.6 – Hiérarchie de LinearLayout Les layouts sont des ViewGroup qui sont eux mêmes des View [1] Dans le fichier fragment_principale.xml Polytech’ Paris Sud Dima RodriguezTutoriel Android 18 . supprimez l’élément . remplacez l’élément par . rajoutez l’attribut android:orientation et mettre sa valeur à “horizontal” Le code dans le fichier devient ainsi Rajouter d’un champ de saisie . Rajoutez un élément dans le tel que Nous avons ainsi placé un champ de saisie avec les attributs suivants : android :id permet de donner un identifiant unique à ce View qu’on utilisera pour référencer cet objet à l’intérieur de notre code. Le symbol @ est nécessaire pour faire référence à un objet ressource à partir d’un fichier XML. id est le type de ressource et chp_saisie est le nom qu’on donne à notre ressource. Le symbole + est utilisé pour définir un ID pour la première fois. Il indique aux outils du SDK qu’il faudrait générer un ID dans le fichier R.java pour référencer cet objet. Un attribut public static final chp_saisie sera défini dans la classe id.Le symbole + ne doit être utilisé qu’une seule fois au moment où on déclare la ressource pour la première fois. Par la suite si on veut faire référence à cet élément, à partir d’un XML, il suffira d’écrire @id/chp_saisie. Polytech’ Paris Sud Dima RodriguezTutoriel Android 19 android :layout_width permet de spécifier la largeur de élément. “wrap_content” signifie que le View doit être aussi large que nécessaire pour s’adapter à la taille de son contenu. Si en revanche on précise “match_parent” comme on l’avait fait pour le LinearLayout, dans ce cas le EditText occuperait toute la largeur de l’écran puisque sa largeur sera celle de son parent c-à-d le LinearLayout android :layout_height idem que pour le layout_width mais pour la hauteur android :hint précise le texte par défaut à afficher dans le champ de saisie quand il est vide. Nous aurions pu préciser directement la chaine de caractère ici codée en dur, mais on préfère utiliser plutôt une ressource qu’on définira dans strings.xml . Noter que l’utilisation de + ici n’est pas nécessaire parce qu’on fait référence à une ressource concrète (qu’on définira dans le fichier xml) et non pas à un identifiant que le SDK doit créer dans la classe R. i Privilégiez toujours l’utilisation des ressources strings plutôt que des chaines de caractères codées en dur. Cela permet de regrouper tout le texte de votre interface dans un seul endroit pour simplifier la recherche et la mise à jour du texte, de plus ceci est indispensable pour que votre application puisse être multilingue. l’IDE vous affichera un avertissement en cas de non respect de cette recommandation. Après la modification du code que nous venons de faire, quand vous sauvegarderez le fichier, un message d’erreur vous indiquera que l’identifiant str_chp_saisie n’est pas connu. Nous allons donc le définir. . Ouvrez le fichier strings.xml qui se trouve dans res>values . Rajoutez une nouvelle string nommée str_chp_saisie et dont la valeur est “Entrer un texte” . Vous pouvez éventuellement supprimer la ligne qui définit “hello_world” Votre fichier strings.xml ressemblera donc à ceci MonAppli Entrer un texte Polytech’ Paris Sud Dima RodriguezTutoriel Android 20 Figure 3.7 – Premier test de l’application modifiée Settings . Une fois que vos modifications sont sauvegardées vous remarquerez la création de deux attributs dans le fichier R.java. • Un attribut constant nommé chp_saisie dans la classe id. C’est un numéro unique qui identifie l’élément EditText que nous venons de rajouter. Cet identifiant nous permettra de manipuler l’élément à partir du code. • Un attribut constant nommé str_chp_saisie dans la classe string. Il fait référence à la chaine de caractère et nous permettra de l’utiliser dans le code. Lancez l’application, l’émulateur affichera un écran tel que dans la figure 3.7. Tapez un texte et remarquez comment la taille du champ de saisie s’adapte à la longueur du texte. Polytech’ Paris Sud Dima RodriguezTutoriel Android 21 (a) Disposition par défaut (b) Le EditText a un poids de 1 Figure 3.8 – Champ de saisie et bouton Rajouter un bouton . Dans le fichier strings.xml rajoutez une chaine de caractère qui s’appelle "btn_envoyer" et qui vaut Envoi. . Dans le fichier du layout rajoutez un élément