L'évaluation des technologies de traitement de la langue : les campagnes Technolangue Traité IC2, série Cognition et traitement de l'information

Cet ouvrage présente les huit campagnes d'évaluation des technologies du traitement de la langue écrite et orale qui ont été organisées dans le cadre du programme Technolangue. L'évaluation des technologies assurant le traitement automatique des langues est une question déjà ancienne mais qui est plus que jamais d'actualité compte tenu de la maturité croissante des technologies, du foisonnement de l'offre industrielle et de la nécessité de procéder à des comparaisons de performances. Au-delà des résultats issus de la comparaison des technologies, l'ouvrage est l'occasion de présenter les méthodologies mises en oeuvre, d'une réflexion critique sur la définition des tâches de contrôle, la pertinence des protocoles et des métriques, et l'interprétation des résultats. Les questions juridiques, économiques et organisationnelles liées à l'organisation des campagnes sont également traitées. L'ouvrage s'adresse donc aussi bien aux scientifiques et aux développeurs qu'aux intégrateurs de ces technologies dans des applications de traitement avancé de l'information.

Préface -J. MARIANI. Introduction -S. CHAUDIRON, K. CHOUKRI. Chapitre 1. L'évaluation : fondements, processus et résultats -S. CHAUDIRON, K. CHOUKRI. Chapitre 2. La campagne d'évaluation ARCADE II -J. VÉRONIS, O. HAMON, C. AYACHE, R. BELMOUHOUB, O. KRAIF, D. LAURENT, T.M.H. NGUYEN, N. SEMMAR, F. STUCK, W. ZAGHOUANI. Chapitre 3. CESART : une campagne d'évaluation de systèmes d'acquisition de ressources terminologiques -I. TIMIMI, W. MUSTAFA EL HADI. Chapitre 4. CESTA : la campagne d'évaluation des systèmes de traduction automatique -O. HAMON, A. POPESCU-BELIS, A. HARTLEY, W. MUSTAFA EL HADI, M. RAJMAN. Chapitre 5. EASY : la campagne d'évaluation des analyseurs syntaxiques -P. PAROUBEK, I. ROBBA, A. VILNAT. Chapitre 6. EQueR : évaluation de systèmes de question-réponse -B. GRAU, A. VILNAT, C. AYACHE. Chapitre 7. Évaluation des systèmes de transcription enrichie d'émissions radiophoniques -J.-F. BONASTRE, G. GRAVIER, E. GEOFFROIS, K. CHOUKRI, D. MOSTEFA. Chapitre 8. La campagne EvaSy d'évaluation de la synthèse de la parole à partir du texte -C. D'ALESSANDRO, P. BOULA DE MAREÜIL, M.-N. GARCIA, G. BAILLY, M. MOREL, A. RAAKE, F. BÉCHET, J. VÉRONIS, R. PRUDON. Chapitre 9. MEDIA : évaluation de la compréhension dans les systèmes de dialogue -H. BONNEAU-MAYNARD, A. DENIS, F. BÉCHET, L. DEVILLERS, F. LEFÈVRE, M. QUIGNARD, S. ROSSET, J.VILLANEAU. Index.