Dialogue homme-machine Conception et enjeux Coll. Informatique
Auteur : LANDRAGIN Frédéric
Directeur de Collection : POMEROL Jean-Charles
Avant-propos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
PREMIÈRE PARTIE. REPÈRES HISTORIQUES ET MÉTHODOLOGIQUES ... 17
Chapitre 1. Un bilan de l’évolution des recherches et des systèmes . . . . . 19
1.1. Quelques repères historiques essentiels . . . . . . . . . . . . . . . . . . 21
1.1.1. Premières motivations, premiers systèmes écrits . . . . . . . . . . 21
1.1.2. Premiers systèmes oraux et multimodaux . . . . . . . . . . . . . . 26
1.1.3. Systèmes actuels : multiplicité des domaines et des techniques . . 29
1.2. Une liste des capacités possibles d’un système actuel . . . . . . . . . . 31
1.2.1. Les dispositifs de capture et leur exploitation . . . . . . . . . . . . 31
1.2.2. Les capacités d’analyse et de raisonnement . . . . . . . . . . . . . 34
1.2.3. Les types de réaction du système et leur manifestation . . . . . . . 35
1.3. Les enjeux actuels . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
1.3.1. Adapter et intégrer des théories existantes . . . . . . . . . . . . . . 37
1.3.2. Diversifier les capacités des systèmes . . . . . . . . . . . . . . . . 39
1.3.3. Rationaliser la conception . . . . . . . . . . . . . . . . . . . . . . . 40
1.3.4. Faciliter le développement informatique . . . . . . . . . . . . . . . 40
1.4. Bilan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
Chapitre 2. Les disciplines du dialogue homme-machine . . . . . . . . . . . 43
2.1. Aspects cognitifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
2.1.1. Perception, attention, mémoire . . . . . . . . . . . . . . . . . . . . 46
2.1.2. Représentation, raisonnement . . . . . . . . . . . . . . . . . . . . . 48
2.1.3. Apprentissage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
2.2. Aspects linguistiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
2.2.1. Niveaux d’analyse de la langue . . . . . . . . . . . . . . . . . . . . 53
2.2.2. Traitements automatiques . . . . . . . . . . . . . . . . . . . . . . . 56
2.3. Aspects informatiques . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
2.3.1. Structures de données, ressources électroniques . . . . . . . . . . 58
2.3.2. Interfaces homme-machine, interfaces plastiques et ergonomie . . 58
2.4. Bilan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
Chapitre 3. Les étapes de réalisation d’un système de dialogue . . . . . . . 61
3.1. Comparaison de quelques déroulements de réalisations . . . . . . . . . 62
3.1.1. Un scénario correspondant aux années 1980 . . . . . . . . . . . . 62
3.1.2. Un scénario correspondant aux années 2000 . . . . . . . . . . . . 63
3.1.3. Un scénario actuel . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.2. Description des principales étapes de réalisation . . . . . . . . . . . . . 65
3.2.1. La spécification de la tâche et des rôles du système . . . . . . . . 65
3.2.2. La spécification des phénomènes couverts . . . . . . . . . . . . . . 67
3.2.3. La réalisation d’expérimentations et les études de corpus . . . . . 68
3.2.4. La spécification des processus de traitement . . . . . . . . . . . . 71
3.2.5. L’écriture des ressources et le développement . . . . . . . . . . . . 72
3.2.6. L’évaluation et le passage à l’échelle . . . . . . . . . . . . . . . . . 73
3.3. Bilan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
Chapitre 4. Des architectures pour des systèmes réutilisables . . . . . . . . 77
4.1. Architectures run-time . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
4.1.1. Une liste de modules et de ressources . . . . . . . . . . . . . . . . 78
4.1.2. Le flux des traitements . . . . . . . . . . . . . . . . . . . . . . . . . 80
4.1.3. Le langage d’interaction entre modules . . . . . . . . . . . . . . . 82
4.2. Architectures design-time . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.2.1. Boîtes à outils et ateliers de génie logiciel . . . . . . . . . . . . . . 83
4.2.2. Middleware pour l’interaction homme-machine . . . . . . . . . . 84
4.2.3. Enjeux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
4.3. Bilan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
DEUXIÈME PARTIE. LES TRAITEMENTS DES ENTRÉES . . . . . . . . . . . 87
Chapitre 5. Analyses et représentations sémantiques . . . . . . . . . . . . . 89
5.1. La langue dans le dialogue et dans le dialogue homme-machine . . . . 90
5.1.1. Caractéristiques principales du langage naturel . . . . . . . . . . . 90
5.1.2. Langue orale et langue écrite . . . . . . . . . . . . . . . . . . . . . 93
5.1.3. Langue et dialogue spontané . . . . . . . . . . . . . . . . . . . . . 94
5.1.4. Langue et gestes conversationnels . . . . . . . . . . . . . . . . . . 95
5.2. Les traitements informatiques : du signal à la représentation du sens . . 96
5.2.1. Analyses syntaxiques . . . . . . . . . . . . . . . . . . . . . . . . . 96
5.2.2. Ressources sémantiques et conceptuelles . . . . . . . . . . . . . . 98
5.2.3. Analyses sémantiques . . . . . . . . . . . . . . . . . . . . . . . . . 99
5.3. L’enrichissement de la représentation du sens . . . . . . . . . . . . . . . 101
5.3.1. Au niveau de l’énoncé linguistique . . . . . . . . . . . . . . . . . . 101
5.3.2. Au niveau de l’énoncé multimodal . . . . . . . . . . . . . . . . . . 103
5.4. Bilan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
Chapitre 6. La résolution des références . . . . . . . . . . . . . . . . . . . . . 105
6.1. Résolution des références à des objets . . . . . . . . . . . . . . . . . . . 106
6.1.1. Le modèle des domaines de référence multimodaux . . . . . . . . 108
6.1.2. Analyse de la scène visuelle . . . . . . . . . . . . . . . . . . . . . . 109
6.1.3. Analyse des gestes de désignation . . . . . . . . . . . . . . . . . . 110
6.1.4. Résolution de la référence en fonction de la détermination . . . . 112
6.2. Résolution des références à des actions . . . . . . . . . . . . . . . . . . 114
6.2.1. Référence aux actions et sémantique verbale . . . . . . . . . . . . 114
6.2.2. Analyse de l’énoncé « mets ça ici » . . . . . . . . . . . . . . . . . . 116
6.3. Gestion des anaphores et des coréférences . . . . . . . . . . . . . . . . . 118
6.4. Bilan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
Chapitre 7. La reconnaissance des actes de dialogue . . . . . . . . . . . . . 121
7.1. Nature des actes de dialogue . . . . . . . . . . . . . . . . . . . . . . . . 122
7.1.1. Définitions et phénomènes . . . . . . . . . . . . . . . . . . . . . . 122
7.1.2. Le problème des actes indirects . . . . . . . . . . . . . . . . . . . . 124
7.1.3. Le problème des actes composites . . . . . . . . . . . . . . . . . . 125
7.2. Identification et traitement des actes de dialogue . . . . . . . . . . . . . 127
7.2.1. Classification et identification des actes . . . . . . . . . . . . . . . 127
7.2.2. Cas des actes indirects et des actes composites . . . . . . . . . . . 128
7.3. Traitement des actes de dialogue multimodaux . . . . . . . . . . . . . . 129
7.4. Bilan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
TROISIÈME PARTIE. LE COMPORTEMENT DU SYSTÈME ET SON ÉVALUATION . . . . . . .131
Chapitre 8. Quelques stratégies de dialogue . . . . . . . . . . . . . . . . . . . 133
8.1. Aspects naturels et coopératifs de la gestion du dialogue . . . . . . . . . 134
8.1.1. But commun et coopération . . . . . . . . . . . . . . . . . . . . . . 134
8.1.2. Tours de parole et aspects interactifs . . . . . . . . . . . . . . . . . 136
8.1.3. Interprétation et inférences . . . . . . . . . . . . . . . . . . . . . . 137
8.1.4. Dialogue, argumentation et cohérence . . . . . . . . . . . . . . . . 138
8.1.5. Choix d’une réponse . . . . . . . . . . . . . . . . . . . . . . . . . . 140
8.2. Aspects techniques de la gestion du dialogue . . . . . . . . . . . . . . . 141
8.2.1. Gestion et contrôle du dialogue . . . . . . . . . . . . . . . . . . . . 141
8.2.2. Modélisation de l’historique du dialogue . . . . . . . . . . . . . . 143
8.2.3. Gestion du dialogue et gestion de la multimodalité . . . . . . . . . 147
8.2.4. Un système de dialogue peut-il mentir ? . . . . . . . . . . . . . . . 149
8.3. Bilan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
Chapitre 9. La gestion de la multimodalité en sortie du système . . . . . . 153
9.1. Méthodologie pour la gestion des sorties . . . . . . . . . . . . . . . . . . 155
9.1.1. Principes généraux pour la multimodalité en sortie . . . . . . . . . 155
9.1.2. Facteurs humains pour la présentation multimédia . . . . . . . . . 156
9.2. Pragmatique pour la présentation multimédia . . . . . . . . . . . . . . . 160
9.2.1. Valeurs et forces illocutoires . . . . . . . . . . . . . . . . . . . . . 160
9.2.2. Valeurs et forces perlocutoires . . . . . . . . . . . . . . . . . . . . 160
9.3. Processus de traitement . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
9.3.1. Répartition de l’information sur les canaux de communication . . 162
9.3.2. Gestion de la redondance et de la fission multimodales . . . . . . 164
9.3.3. Génération d’expressions référentielles . . . . . . . . . . . . . . . 165
9.3.4. Valorisation d’une partie de l’information et synthèse . . . . . . . 165
9.4. Bilan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
Chapitre 10. L’évaluation de systèmes de dialogue multimodaux . . . . . . 169
10.1. Faisabilité de l’évaluation de systèmes de dialogue . . . . . . . . . . . 170
10.1.1. Quelques expériences d’évaluation . . . . . . . . . . . . . . . . . 171
10.1.2. Méthodologies pour les interfaces homme-machine . . . . . . . . 174
10.1.3. Méthodologies pour le dialogue oral . . . . . . . . . . . . . . . . 175
10.1.4. Méthodologies pour le dialogue multimodal . . . . . . . . . . . . 176
10.2. Enjeux pour l’évaluation des systèmes multimodaux . . . . . . . . . . 177
10.2.1. Evaluation globale ou évaluation segmentée ? . . . . . . . . . . . 177
10.2.2. Faut-il gérer un corpus multimodal ? . . . . . . . . . . . . . . . . 179
10.2.3. Peut-on comparer plusieurs systèmes multimodaux ? . . . . . . . 180
10.3. Eléments méthodologiques . . . . . . . . . . . . . . . . . . . . . . . . . 181
10.3.1. Expertise de l’utilisateur et complexité du système . . . . . . . . 181
10.3.2. Questionnaires pour les utilisateurs . . . . . . . . . . . . . . . . . 183
10.3.3. Extension de DQR et de DCR au dialogue multimodal . . . . . . 185
10.3.4. Vers d’autres méthodes d’évaluation . . . . . . . . . . . . . . . . 188
10.4. Bilan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
Bibliographie . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
Date de parution : 09-2013
Ouvrage de 210 p.
15.6x23.4 cm