Évaluation des systèmes de traitement de l'information (Traité des STI)

Depuis le début des années 1950, la question de l'évaluation des systèmes de traitement de l'information est au centre de préoccupations à la fois pratiques (conception, développement et amélioration de la performance des systèmes), méthodologiques (nature et pertinence des critères d'évaluation et des protocoles) et théoriques (questionnements sur la notion de pertinence, de satisfaction d'un besoin informationnel et d'usage notamment). Depuis quelques années, en raison de l'automatisation croissante des processus de traitement de l'information et de la diffusion des dispositifs techniques vers un plus large public, l'évaluation des technologies et des applications suscite un intérêt accru correspondant à l'enjeu de l'acceptabilité sociale de la technique. Dépassant le cadre de l'évaluation de la performance intrinsèque des systèmes, la question de l'évaluation déborde ainsi sur celle des usages et des comportements individuels et collectifs face à des artefacts techniques. L'objectif de cet ouvrage est de discuter les principales questions théoriques et méthodologiques sous-jacentes aux pratiques évaluatives dans les domaines du traitement du texte et de la parole. Pour illustrer ces enjeux, les auteurs présentent différents modèles d'évaluation (comme les campagnes de type TREC, MUC, DUC) en insistant sur les résultats obtenus, les limites et les perspectives d'amélioration.

Introduction -S. Chaudiron. Les systèmes de recherche d'informations. L'évaluation des systèmes de recherche d'informations textuelles -C. Fluhr. Évaluation des systèmes de recherche par le contenu visuel : pertinence et critères -N. Boujema, M. Ferecatu. L'évaluation des systèmes de Question/Réponse -B. Grau. Le traitement de l'information textuelle. L'évaluation des systèmes d'analyse morphosyntaxique et syntaxique -P. Paroubek. L'évaluation des systèmes d'analyse et de compréhension de texte -A. Nazarenko, T. Poibeau. L'évaluation d'outils d'acquisition de ressources terminologiques -W. Mustafa El Hadi,. L'évaluation des systèmes de résumé automatique -J.-L. Minel. Les systèmes de traitement de la parole. L'évaluation des systèmes de reconnaissance de parole -F. Bimbot, G. Gravier. L'évaluation des systèmes de synthèse de la parole -Ch. d'Alessandro. L'évaluation des systèmes de vérification du locuteur -I. Magrin-Chagnollaud. L'évaluation des systèmes de dialogue oral. -L. Devillers. L'approche usage dans l'évaluation. La place de l'usager dans l'évaluation des systèmes de recherche d'informations -S. Chaudiron. L'évaluation des systèmes de traduction automatique -A. Hartley, A. Popescu-Belis. Usages des moteurs de recherche -M. Ihadjadene. Les études d'usage et leur prise en compte dans le champ culturel -J. Le Marec.