Calcul des Chaînes de Référence dans des Textes Tout Venant
Stéphane Clavier et Michel Dupont
 ELSAP.- UPRES-A-6047
Université de Caen
14032 CAEN Cedex
Tél: 02.31.56.56.27
{clavier, dupont}@info.unicaen.fr
http://www.info.unicaen.fr/~dupont/

Résumé 
Nous présentons dans cet article la réalisation d'un logiciel d'étude sur le calcul de la référence dans des textes tout venant ainsi que les premiers résultats expérimentaux obtenus. La principale originalité de ce logiciel consiste à mettre en œuvre un mécanisme de saillance des entités fondé sur une approche cognitive que nous situerons par rapport à d’autres approches utilisées en calcul de la référence. Nous mettons en relation étroite la notion de saillance des entités avec celle d'attentes du lecteur. La donnée de l'ensemble des saillances des entités constitue ce que nous appelons un modèle rudimentaire des attentes du lecteur par opposition à ce que serait un modèle plus élaboré incluant la prise en compte des conditions d'énonciations et de certaines connaissances sur le domaine traité par le texte.
Dans le cas de textes tout venant, on ne peut disposer que d’informations d’ordre syntaxique ou relevant d’une sémantique générale, à l’exclusion de connaissances sur le domaine et sur la situation d’énonciation. L’expérimentation que nous avons menée montre en quoi une approche cognitive permet d’optimiser l’exploitation de ces informations de “ bas niveau ”. Elles sont alors traitées comme des traces de processus cognitifs et non pas seulement comme de simples critères de filtrage ou de préférence.

1. Présentation
Nous présentons dans cet article un logiciel d’étude et les premiers résultats expérimentaux que nous avons obtenus. Ce logiciel est conçu pour calculer les chaînes de référence dans des textes tout venant; c’est-à-dire que, pour chaque entité évoquée dans un texte, il doit donner la suite des différentes réalisations, qu’il s’agisse de groupes nominaux pleins ou de pronoms.
Nous commencerons par situer le problème du calcul des chaînes de référence par rapport au problème plus général du calcul de la référence (section 2). Nous montrerons que, même ainsi restreint, ce problème reste trop complexe pour qu’on puisse trouver en toutes circonstances les solutions dans des textes tout venant et qu’en conséquence on doit se contenter de trouver le plus possible de solutions. Notre objectif à terme est d’améliorer sur ce point les performances des systèmes actuels. Nous exposerons ensuite brièvement les fondements d’une approche cognitive du calcul de la référence ce qui nous amènera à introduire la notion de saillance des entités. Nous montrerons que cette notion s’applique au calcul des chaînes de référence dans les textes tout venant, en dépit du fait que, dans ce cadre, on ne peut utiliser que des connaissances de “ bas niveau ” (section 3). Nous serons ensuite amenés à comparer cette approche avec celle mise en oeuvre dans le logiciel “ Resolution of Anaphora Procedure ” dont la conception, inspirée des travaux d’Hiyan Alshawi, comporte quelques similitudes avec celle de notre propre système (section 4). Nous montrerons que la divergence entre nos deux approches porte principalement sur le calcul de la dégradation de la saillance des entités. Nous donnerons ensuite une description essentiellement conceptuelle de notre logiciel (section 5) puis nous rendrons compte des résultats expérimentaux (section 6). Nous terminerons en donnant des indications sur les perspectives ouvertes par ce travail (section 7).
2. Calcul des Chaînes de Référence
et Calcul de la Référence
Les systèmes qui utilisent les approches traditionnelles n'ont pu avoir des résultats acceptables qu’en limitant leur champ d’application à des domaines restreints. La plupart du temps “ le monde ” référencé par le discours est entièrement connu du système. Tous les “ objets ” potentiellement référenciables sont représentés dans une base de connaissance et le calcul de la référence consiste à trouver pour une réalisation “ l'objet ” correspondant dans cette base.
Pour les systèmes qui doivent, avec des ambitions plus ou moins élevées, réaliser une certaine simulation de l'activité de lecture, le calcul de la référence ne consiste plus seulement à trouver dans une base de connaissance l'entité référée. Il devient beaucoup plus complexe. Le système doit en effet construire une représentation cohérente de ce qui est décrit par le texte, simulant ainsi la construction d'une représentation mentale par un lecteur. Le calcul de la référence, appréhendé avec ce point de vue, ne se limite pas à mettre en correspondance des segments du texte avec des “ entités ”, mais il suppose aussi un calcul de l’ensemble des relations entre les entités. Il n’en demeure pas moins qu’un aspect essentiel du calcul de la référence est constitué par ce que nous appelons “ l’identification des entités ”. Il s’agit d’abord de repérer toutes les évocations d’entités même lorsqu’elles sont implicites (il faut par exemple repérer que l’entité ‘frein’ est évoquée dans la phrase “ J’ai freiné, mais mon pied a glissé sur la pédale ”). Après cela, il faut repérer si l'entité était déjà présente dans la représentation ou si, au contraire, il s'agit d'une nouvelle entité qui doit être introduite. Dans le deuxième cas, il faut souvent savoir si la nouvelle entité est liée par des relations sémantiques à des entités déjà existantes. Il faut de plus savoir à quelle “ catégorie ” appartient l’entité afin que le système crée un “ objet informatique ” appartenant à une classe pré-définie.
Il semble utopique de vouloir, dans un avenir proche, élaborer des systèmes qui construisent ainsi des représentations assez élaborées à partir de textes tout venant. L'objectif devient par contre réaliste si on se limite dans deux directions:
- d'une part en traitant des corpus homogènes pour lesquels on dispose de connaissances sur le domaine traité ;
-  d'autre part en limitant la nature de la représentation construite à ce qui est nécessaire pour les tâches qu'on assigne au système (recherche documentaire, extraction d'information... ).
Nous avons entrepris une recherche dans cette direction (voir Pied et al., 1996).
Il existe cependant une forte demande pour le traitement de textes tout venant où, sans chercher à construire une représentation élaborée de la scène décrite, un traitement simplifié serait suffisant pour certaines tâches bien identifiées (traduction automatique, indexation automatique). Ainsi, un premier objectif, moins ambitieux que de construire une représentation de la scène, serait de reconnaître toutes les expressions linguistiques qui réfèrent à une même entité et qui constituent donc ce qu’il est convenu d’appeler une chaîne de référence. Ce problème se décompose en deux sous-problèmes : la reconnaissance des groupes nominaux pleins qui référent à une même entité (reprise littérale, synonyme, hyperonyme) et la résolution des anaphores pronominales. Même ainsi restreint le problème reste d'une grande complexité. Les multiples études des linguistes montrent en particulier que la résolution des anaphores pronominales fait souvent intervenir des processus trop complexes pour qu'on prétende obtenir dans tous les cas une solution correcte pour des textes tout venant. C'est en particulier le cas pour les anaphores pronominales inférentielles dont voici quelques exemples extraits de Kleiber (1991) :
- l'anaphore lexicale : “ Paul a tué trois lions. J'en ai tué cinq ” ;
- l'anaphore générique : “ J'ai acheté une Toyota parce qu'elles sont robustes. ” ;
- l'anaphore collective : “ A Strasbourg, ils roulent comme des fous. ”.
D'autres cas difficiles sont bien identifiés comme dans l’exemple suivant où seul le sens du prédicat permet de comprendre que le pronom ne fasse pas référence à la même entité que “ l'antécédent apparent ” :
- “ La nappe était sale. Je l'ai changée puis je l'ai décorée. ” .
D'autres cas difficiles apparaissent avec les négations :
- “ Paul n'a pas épousé une suédoise. Elle est danoise. ”.
Signalons également comme difficulté le cas des référents évolutifs où la référence à une même entité est linguistiquement maintenue alors que l’entité est tellement modifiée qu’on ne pourra plus considérer qu’il s’agit du même objet:
- “ Prenez des poissons. Coupez la tête. Videz les. Mettez les à frire. (...) Mangez les. ”.
Signalons enfin le cas où, pour déterminer si les mots “ le ”, “ la ”, “ les ”, “ l’ ” sont articles ou pronoms personnels, il faut faire intervenir non seulement des informations sémantiques mais aussi des informations contextuelles:
- “ La belle ferme le voile. ”;
- “ Le pilote ferme la porte. ”;
- “ La belle brise la glace.”.
S'il n'est donc pas possible, dans un cadre où on ne dispose pas de connaissance sur le domaine et où les connaissances linguistiques mises en oeuvre restent limitées, de résoudre correctement toutes ces anaphores, il n'en demeure pas moins que des progrès sont réalisables.
C'est avec cette perpective qu'on a vu s'ouvrir au cours des dernières années tout un champ de recherche qui consiste à améliorer expérimentalement les performances d'un logiciel de résolution des anaphores en faisant varier des paramètres (voir en particulier Popescu-Belis, 1996). Ces systèmes utilisent deux méthodes de traitement :- le filtrage pour sélectionner les candidats antécédents d'un pronom anaphorique ;- un système de scores attribués aux candidats retenus pour choisir l'antécédent le plus probable.
Toute la problématique consiste à identifier les facteurs à prendre en compte (concordance en genre et en nombre, contraintes de domaine syntaxique, concordance des traits sémantiques, parallélisme des fonctions syntaxiques, récence... ), puis à choisir parmi ces facteurs ceux qui doivent intervenir comme filtres et à fixer pour les autres un nombre plus ou moins élevé de points à donner aux candidats qui répondent au critère.
Notre méthode s'inscrit, dans une certaine mesure, dans ce champ de recherche puisque nous proposons une mise au point expérimentale du logiciel et un traitement numérique. Mais nous voulons dès maintenant souligner que le traitement numérique que nous proposons pour déterminer ce que nous appelons la saillance des entités ne doit aucunement être assimilé à un calcul de score. Le concept de saillance est en effet fondé sur une approche cognitive dont nous allons maintenant exposer brièvement les fondements. Le lecteur trouvera un exposé plus détaillé dans Dupont (1996a et 1996b).
3. L’Approche Cognitive
Nous considérons que les entités référées dans le texte sont des représentations mentales et qu'elles ne doivent donc être recherchées ni dans le texte (antécédent) ni dans le contexte physique (“ objet ” de la situation d'énonciation immédiate) mais dans les attentes du lecteur. Ce sont des entités mentales qui sont plus ou moins saillantes.
Chaque marqueur utilisé pour faire référence à une entité est situé à un niveau et avec une amplitude déterminés sur une échelle d'accessibilité. Nous nous inspirons ici essentiellement de la théorie de l'accessibilité de Mira Ariel (1990). Cela donne des indications sur la saillance de l'entité recherchée. Ainsi les pronoms personnels à la troisième personne étant considérés comme des marqueurs de haute accessibilité, font référence en principe à des entités fortement saillantes et exceptionnellement à des entités moyennement saillantes (anaphores inférentielles).
La saillance des entités évolue au fil du texte. Initialement, toutes les entités ont une saillance faible sauf celles qui sont affectées par la situation immédiate d'énonciation. A chaque évocation d'une entité, non seulement sa propre saillance se trouve majorée mais aussi celles des entités qui lui sont liées par une relation sémantique. D'autres facteurs interviennent dans le calcul des saillances : la dégradation, la persistance et certaines caractéristiques morphologiques et syntaxiques de la dernière réalisation de l'entité (fonction grammaticale, distance syntaxique, tournures syntaxiques particulières, nature du marqueur).
Les attentes du lecteur sont ainsi construites à partir des marques linguistiques choisies par le scripteur. Au cours de l'interprétation, le lecteur construit à la fois du “ sens ” (des représentations mentales) et de nouvelles attentes.
Nous proposons donc comme solution incontournable au regard de cette approche la gestion d'un Modèle des Attentes du Lecteur où la saillance est représentée par un nombre associé aux représentations informatiques des entités mentales. C'est cette approche que nous mettons en oeuvre aussi bien pour le projet de compréhension automatique de corpus homogènes que pour le traitement des textes tout venant.
Toutefois, pour le calcul des chaînes de référence dans les textes tout venant, on ne peut pas tenir compte de la situation d'énonciation immédiate, des entités évoquées implicitement et des connaissances sur le domaine traité par le texte. Nous proposons cependant de gérer une structure de donnée, apparentée à un Modèle des Attentes du Lecteur, que nous appelons donc un Modèle Rudimentaire des Attentes du Lecteur.
Pour le traitement des textes tout venant, on ne peut en effet utiliser que des connaissances syntaxiques et certaines  connaissances sémantiques très générales. Cela peut sembler constituer des connaissances de “ bas niveau ” qui ne sont utilisables que comme contraintes de filtrage ou de préférence. Or, avec notre approche, les marques les plus formelles sont considérées comme participant pleinement à un processus cognitif puisque, d’une part, elles contribuent à donner plus ou moins de saillance aux entités et que, d’autre part, ce sont aussi des marques formelles qui indiquent à quel niveau de saillance les entités doivent être cherchées. L’idée majeure que nous voulons valider avec le logiciel décrit dans cet article est qu’il est possible, avec cette approche, d’améliorer les résultats obtenus sur des textes tout venant avec les approches plus traditionnelles.
L'algorithme que nous exposerons plus loin effectue alternativement la mise à jour du Modèle Rudimentaire des Attentes du Lecteur et le calcul de la référence proprement dit. Puisqu'il n'est pas possible, comme nous l'avons déjà montré, de résoudre correctement toutes les anaphores pronominales, nous proposons pour la deuxième étape un traitement numérique par score. C'est en effet la solution qui nous paraît la meilleure pour optimiser expérimentalement notre logiciel puisqu’il est facile de modifier le nombre de points affecté à chaque critère. Nous séparons cependant ces deux traitements numériques qu’il convient de distinguer : calcul de saillance et calcul de score. Précisons également que, pour le système de compréhension automatique de corpus homogènes, le calcul de la référence proprement dit sera traité avec un système de règles et, par conséquent, seul le calcul des saillances fera intervenir un traitement numérique.
4. Comparaison avec l'Approche d’Alshawi
Nous devons comparer notre approche avec celle mise en oeuvre dans le système de résolution des anaphores pronominales RAP (The Resolution Anaphora Procedure, Lappin, Leass, 1994) puisque celui-ci est également prévu pour traiter les textes tout venant et que, de plus,  il utilise, comme le nôtre,  à la fois un calcul de saillance et un calcul de score.
Nos approches ont donc beaucoup de points communs mais nous divergeons sur un point qui nous paraît essentiel: le procédé de dégradation des saillances. Ce système est en effet fondé sur les travaux de Hiyan Alshawi (1987), qui propose  d'appliquer des fonctions de dégradation distinctes pour chacun des facteurs qui interviennent dans le calcul de la saillance des entités. La dégradation globale de la saillance des entités est ainsi la somme des dégradations appliquées à chaque facteur. Or, cela ne nous paraît pas fondé cognitivement. A notre sens la saillance doit se dégrader globalement. 
Pour exposer notre point de vue sur cette question nous devons commencer par faire un rappel concernant la théorie de l’accessibilité. A l'instar de Mira Ariel, nous pensons que l'approche standard qui vise à différencier les marqueurs par la situation “ géographique ” de l'entité référée perd sa pertinence au profit de la distinction entre marqueurs de haute, de moyenne ou de faible accessibilité.
Dans l'approche standard, on est en effet amené à distinguer trois cas:
- “ l’objet ” référencé est un mot du texte quand on a une expression anaphorique ;
- c’est un objet de la situation d'énonciation quand on a une expression déictique ;
- il se trouve dans la connaissance encyclopédique du lecteur pour les autres expressions.
Nous avons vu qu'avec notre approche, au moment du calcul de la référence proprement dit, cette “ situation géographique ” n'est plus prise en considération, car l'entité est dans tous les cas recherchée dans la mémoire du lecteur à un niveau de saillance qui est donné par la classe d'accessibilité du marqueur. Le traitement est alors le même quels que soient les facteurs qui ont contribué à donner la saillance à l’entité, qu’ils soient liés au contexte physique ou au contexte linguistique.
Pour la même raison, la dégradation de la saillance doit être indépendante des facteurs qui l’ont affectée. Il en résulte notamment que l’ordre donné sur les entités par la relation “ être plus saillant que ” ne doit pas être modifié si on considère des entités dont seule la dégradation modifie la saillance (pas d'évocation dans le texte et pas de modification du contexte perceptif). Or, on peut, pour souligner le caractère pervers d’une dégradation différenciée facteur par facteur, remarquer qu’avec un tel traitement cet ordre pourrait se trouver modifié.
5. Conception du Logiciel
5.1 Spécification et Limitations
Nous avons vu que le but de ce logiciel d'étude est principalement d'offrir un outil qui permette d’évaluer expérimentalement l'hypothèse selon laquelle l'adjonction d'un mécanisme de saillance des entités permet d'accroître les performances d'un système ne disposant que de connaissances de “ bas niveau ”. Ce logiciel permet par ailleurs d’évaluer l’importance relative des différents facteurs pris en compte en faisant varier la valeur des paramètres qui leur sont attribués. Nous nous sommes donc attachés à pouvoir disposer de différentes options de calcul afin de réaliser des comparaisons. La conception et la réalisation du logiciel ainsi que l'étude expérimentale menée nous ont en outre permis de nous confronter aux différents problèmes qui seront rencontrés dans la conception d'un système plus ambitieux.
Le système prend en entrée l'analyse syntaxique d'un texte et fournit en sortie un étiquetage des chaînes de référence calculées dans ce texte. Nous avons dû, pour cette version amorce, accepter les limitations suivantes :
- le calcul se fonde uniquement sur les informations syntaxiques ;
- nous ne traitons que les groupes nominaux pleins et les pronoms personnels à la troisième personne (il, elle, ils, elles, le, la, l', les, lui, leur, eux) ;
- un groupe nominal introduit une nouvelle entité s’il est indéfini ou s’il est défini et qu'on n'a pas pu déterminer de co-référence antérieure ;
- nous considérons qu’un pronom a toujours un antécédent (placé avant le pronom) sauf s'il est identifié comme impersonnel (pas de cataphore).
Ce logiciel a été développé avec le langage CLOS (Common Lisp Object System) et fait donc largement usage du paradigme de programmation par objet. Nous donnerons ici une description essentiellement conceptuelle avec successivement des indications sur la représentation du texte, puis sur la représentation des entités et enfin sur les mécanismes de calcul.
5.2 La Représentation du Texte
Le texte analysé est stocké dans une structure de données qui en permet une “ lecture ” à la fois en tant que “ texte ” (i.e. suite de chaînes de caractères) et en tant que structure syntaxique. Pour ce deuxième aspect, on utilise en entrée une analyse syntaxique en grammaire de dépendances, inspirée de la théorie de J. Vergne (Giguet, Vergne 1997).
Nous nous sommes parfois autorisés à corriger les sorties de l’analyseur de Jacques Vergne qui nous ont servi. Nous sommes conscients que cela peut présenter un certain risque de subjectivité. Cependant on comprendra mieux les mécanismes avec une analyse acceptable que s'il y a des erreurs et, d’autre part, puisque le but essentiel est de comparer des calculs avec et sans saillance, l'important est de conserver la même analyse quelles que soient les options de calcul que l'on emploie.
5.3 La Représentation des Entités
Les entités identifiées sont stockées dans une "mémoire". On a en effet un objet MEMOIRE constitué d’une liste d’objets ENTITE. Ces entités disposent d'une saillance. Elles s'identifient aux chaînes de référence calculées (une entité = une chaîne). C'est une représentation extrêmement rudimentaire d'un point de vue cognitif mais elle a l’avantage de pouvoir être conservée lorsqu'on fait un calcul “ classique ” sans saillance.
5.4 Les Mécanismes de Calcul
Nous allons détailler trois aspects importants des mécanismes de calcul : l’algorithme général de “ lecture ” du texte et de construction des entités , le mécanisme de calcul de saillance des entités et le procédé simplifié de calcul de la référence proprement dit.
L’algorithme de “ lecture ” simule une lecture séquentielle du texte analysé. Au cours de ce parcours, on s’arrête sur les éléments considérés comme effectuant une référence: les groupes nominaux pleins et les pronoms retenus. Pour chacun de ces éléments, il faut déterminer s'il s'agit d'une référence à une nouvelle entité ou à une entité déjà introduite. Dans le premier cas une nouvelle entité est construite dans le système et, dans le second, on détermine, grâce aux règles de calcul de la référence, quelle est l'entité référée. On poursuit ensuite le traitement sur le marqueur référentiel suivant.
Le mécanisme de calcul des saillances des entités consiste, d’une part, à attribuer, pour chaque réalisation, des poids qui dépendent de certains facteurs (fonction syntaxique, emphase... ) et, d’autre part, à appliquer une fonction de majoration lorsque l’entité était déjà présente pour tenir compte de la persistance de l’entité. Par ailleurs, en fin de phrase, une fonction de dégradation est appliquée aux entités existantes qui n’ont pas été évoquées dans la phrase. Nous expliquerons plus en  détail comment ces calculs sont effectués dans la section suivante en même temps que nous indiquerons quels sont les paramètres et les fonctions qui ont été choisis en cours d’expérimentation.
Le calcul de la référence proprement dit sur les groupes nominaux pleins est assez sommaire puisque nous ne disposons d’aucune information sémantique. Lorsque la séquence nominale est indéfinie, on considère qu’elle introduit une nouvelle entité. S’il s’agit d’une séquence nominale définie, on peut de façon optionnelle tenter de la rattacher à une entité précédemment introduite par un substantif homographe (en cas d’échec, on considère que c’est une nouvelle entité).
Pour le calcul de la  référence effectuée par les pronoms, les critères pris en compte sont les suivants :
- accord en genre, nombre et personne par rapport à la dernière évocation de l’entité ;
- règles de portée du pronom (type “ liage ”) ;
- parallélisme de fonction avec la dernière évocation de l’entité ;
- récence de la dernière évocation;
- saillance.
Ces différents critères sont exprimés et combinés numériquement à l’exception du critère de récence qui intervient en dernier ressort pour départager des candidats ayant obtenu le même score. Nous verrons par ailleurs que, pour les besoins de l’expérimentation, certains critères sont optionnels. 
6. Expérimentation
Nous avons utilisé ce logiciel pour traiter deux corpus correspondant à des types d’écrits différents: un texte narratif extrait d’un roman (corpus A: 301 mots) et un fragment d’exposé extrait d’un ouvrage de sociologie (corpus B: 238 mots).
Nous allons d’abord exposer comment nous avons choisi les paramètres et les fonctions numériques puis nous donnerons les résultats précis obtenus sur les deux corpus.
6.1 Paramètres et Fonctions
La mise au point fine d’une batterie de paramètres (poids et points) pour des facteurs nombreux sur des corpus longs nécessiterait la mise en oeuvre de techniques élaborées. On pourrait par exemple concevoir des mécanismes parcourant automatiquement le domaine des paramètres pour établir les zones offrant les meilleurs résultats. Le nombre de facteurs que nous avons pris en considération étant assez réduit et les corpus relativement cours, le réglage des paramètres et des fonctions a été fait dès le début des manipulations sur la première partie du corpus A (165 mots).
Nous commencerons par donner des indications sur les poids donnés pour chacun des facteurs qui interviennent dans le calcul des saillances. Nous indiquerons ensuite comment ont été fixées les fonctions de majoration et de dégradation des saillances. Enfin, nous indiquerons comment sont distribués les points pour le calcul des scores.
Les poids donnés à chaque facteur intervenant dans le calcul des  saillances sont ordonnés selon l’importance accordée a priori aux fonctions syntaxiques. On a l’ordre suivant:
 sujet > complément d’objet > autre complément verbal
On donne le même poids pour un complément du nom que pour les compléments verbaux non-objet. Un poids particulier intervient pour les groupes mis en emphase par des expressions comme “ voilà (...) qui ” (Exemple: “ Voilà des manières d’agir qui ... ”), alors qu’ils ne sont pas sujets syntaxiques. Le tableau ci-dessous donne la liste des poids accordés à chaque facteur.

	dans une
principale	dans une
subordonnée	
GN sujet	1000	800	
GN objet ou pronom complément	800	600	
GN complément verbal non objet	600	400	
GN complément du nom	600	400	
GN mis en emphase	1000		

Tableau 1 : Poids accordés aux facteurs qui interviennent dans le calcul de la saillance.

Le calcul des saillances fait intervenir, en plus de ces facteurs, des fonctions de majoration et de dégradation. La fonction de majoration s’applique lors de la mise à jour de la saillance de l’entité; c’est-à-dire immédiatement après que l’entité référée ait été identifiée. Elle consiste à comparer la saillance avant la mise à jour avec la saillance obtenue avec les poids du tableau ci-dessus. Si la saillance précédente est la plus élevée, elle est conservée sinon on prend le total des nouveaux poids majoré de 1/10ème de la saillance précédente. Dans le cas de l’évocation d’une nouvelle entité, la saillance est uniquement donnée par les poids du tableau. La dégradation, quant à elle, s’applique, à chaque fin de phrase, aux entités qui n’ont pas été évoquées dans la phrase traitée. Elle consiste à décrémenter de 100 le poids de la saillance tant qu’elle est positive.
Voyons maintenant avec le tableau ci-après le nombre de points accordés à chaque facteur intervenant dans le calcul des scores. On voit sur ce tableau que nous avons donné une valeur importante à la correspondance en genre, nombre et personne. En fait, les points attribués pour ces facteurs sont tels qu’ils agissent comme des filtres. Le traitement numérique laisse néanmoins la possibilité pour de futures versions de prendre en compte des situations où le filtrage conduirait à des erreurs comme dans l’exemple suivant: “ le premier ministre (...). Elle (...) ”. On peut en effet penser qu’en combinant ces facteurs avec d’autres facteurs intégrant des connaissances de niveau supérieur, la fonction de combinaison réduirait l’influence du facteur de correspondance en genre pour certains types d’entités. Les points pour la compatibilité syntaxique sont donnés quand le candidat comme antécédent pour un pronom respecte certaines règles de portée. On remarque par ailleurs que nous avons choisi de donner peu de points pour le parallélisme des fonctions syntaxiques. On verra en effet en examinant les statistiques que ce critère n’améliore pas toujours les résultats. La saillance intervient dans le calcul des scores en donnant un nombre de points égal au poids de la saillance. Les paramètres (poids et points) choisis montrent que la saillance est considérée comme un facteur relativement important. Rappelons par ailleurs que la récence intervient pour départager des candidats qui ont le même total de points.

Compatibilité en genre	1000	
Compatibilité en nombre	1000	
Compatibilité en personne	1000	
Compatibilité syntaxique	1000	
Parallélisme des fonctions
syntaxiques	Dans une principale
100	Dans une subordonnée
75	
Récence	La récence intervient pour départager des candidats.	
Saillance	Poids de la saillance	

Tableau 2 : Points accordés à chaque facteur pour le calcul de score.
6.2 Résultats
Nous allons pouvoir maintenant examiner les résultats obtenus. Nous avons fait fonctionner notre logiciel avec les trois options suivantes:
- identification des homographes: oui/non ;
- parallélisme des fonctions syntaxiques: paramètre à 0 ou a 75 et 100 ;
- saillance: oui/non.
Avec ces trois options, nous obtenons huit combinaisons qui ont toutes été testées sur les deux corpus. Le tableau ci-dessous donne les résultats obtenus ainsi avec les seize passages.
Nous allons commencer par définir et commenter les trois taux d’erreur qui apparaissent dans ce tableau avant de discuter de ces résultats.
Taux général d'erreur = (nombre total d'erreurs/nombre de séquences traitées)100. On définit l’erreur comme  la présence d’un marqueur (groupe nominal ou pronom personnel) dans une chaîne de référence calculée par le système alors qu’il n’a pas été caractérisé “ à la main ” comme étant co-référent à son prédécesseur dans cette chaîne. Il s'agit donc d'une erreur d'antécédent immédiat (bien que notre système soit dans l'esprit un calculateur de chaînes de référence et non un calculateur d'antécédent). Le taux général d’erreur n'est pas toujours le plus pertinent pour voir les performances du logiciel. En effet il prend en compte les reprises par les homographes (ou les erreurs engendrées par la prise en compte de ceux-ci), ainsi que les séquences “ isolées ” formant à elles seules une chaîne. Il est donc sensible à la façon dont est structuré le texte et, les séquences “ isolées ” étant les plus nombreuses, ce taux a tendance à “ écraser ” l'erreur.
Taux d'erreur sur l'antécédent immédiat des pronoms = (nombre d'erreurs sur des pronoms/nombre de pronoms traités)100. Par rapport aux limites du système et aux buts de l'expérimentation, c'est le taux le plus caractéristique : c'est dans l'intégration des pronoms que la saillance entre en ligne de compte, lorsqu'on l'emploie.
Taux de fragmentation = (fragmentation/nombre de chaînes “ réelles ”)100. La fragmentation est la différence entre le nombre de chaînes “ réelles ” et le nombre de chaînes calculées (la fragmentation peut être positive ou négative). Le taux de fragmentation permet de se rendre compte du rôle de l'identification des homographes, mais il n'apporte aucune information sur le rôle de la saillance, puisque la fragmentation ne change pas selon qu’on utilise ou non la saillance.

	Identification des 	Parallélisme syntaxique	Taux d'erreur général		Taux d'erreur sur l’antécédent immédiat des pronoms		Taux 
de 	
	homographes		Sans 
Saillance	Avec 
Saillance	Sans Saillance	Avec saillance	fragmentation	
	NON	NON	15,9%	2,27%	70%	10%		
corpus 	NON	OUI	11,36%	3,4%	50%	15%	+33,33%	
A	OUI	NON	17,04%	3,4%	70%	10%		
	OUI	OUI	12,5%	4,54%	50%	15%	+5,88%	
	NON	NON	8%	6%	36,36%	27,27%		
corpus 	NON	OUI	12%	6%	54,54%	27,27%	0%	
B	OUI	NON	12%	10%	36,36%	27,27%		
	OUI	OUI	16%	10%	54,54%	27,27%	-5,12%	

Tableau 3 : Résultats statistiques des 16 passages du logiciel sur les corpus.

6.3. Discussion
Rappelons d’abord que le but essentiel de l’expérimentation était d’évaluer l’impact de la saillance dans les performances d’un calcul des chaînes de références ne faisant intervenir que des connaissances de “ bas niveau ”. Dans cette démarche, l’attention doit être portée sur le différentiel entre les taux d’erreur sans saillance et les taux d’erreur avec saillance.
On peut considérer que, de ce point de vue, les résultats sont encourageants. En effet, on voit immédiatement dans le tableau 3 que, pour les mêmes options de calcul, l'emploi de la saillance est toujours positif. Remarquons que ce n'est pas le cas du parallélisme syntaxique ou de l'identification des homographes. On remarque également que pour ces deux autres options, les comportements des corpus A et B diffèrent grandement, puisque le parallélisme syntaxique est positif pour le A et négatif pour le B et il en est de même pour l'influence de l'identification des homographes sur le taux de fragmentation (en valeur absolue). On voit donc que ces critères ont des influences nettement différentes sur les deux corpus alors que l'impact de la saillance reste positif dans tous les cas. Il y a donc là un indice qui permet de penser qu’il s’agit bien d'un phénomène profond et général.
Bien sûr, ce succès doit être nuancé par le fait que nous avons travaillé sur un corpus réduit. Il faudrait, pour confirmer les conclusions, étendre l'expérimentation. On a le sentiment qu’une extension à de plus grands corpus nous amènerait à faire évoluer le réglage des paramètres et ainsi à préciser les connaissances sur les mécanismes mis en jeu mais ne remettrait pas en cause le fait que la saillance permet effectivement d'optimiser un calcul de référence sur critères syntaxiques.
Avant même de passer à d'autres corpus, l'étude des erreurs restantes sur nos deux textes nous indique des directions dans lesquelles on pourrait encore tenter d'améliorer les performances. Citons deux points qui nous sont apparus. Dans l'état actuel, un pronom reprenant un procès (“ il lui avait dit de le faire ”) est systématiquement intégré dans une chaîne de référence à une entité. L'identification des verbes qui peuvent intervenir ainsi dans la reprise d'un procès permettrait d'éviter ce genre d'erreur. Il faudrait soit introduire des entités de type procès pour donner une référence à certains verbes ou parties d’énoncés soit ne pas donner du tout de référence aux pronoms qui reprennent ainsi un procès plutôt que d’introduire des erreurs. La prise en compte plus fine des mécanismes d'emphase et de mise en relief permettrait également un calcul de la saillance sans doute plus proche de ce qu'elle est pour le lecteur humain.
7. Perspectives
On a présenté ici un logiciel d’étude assez rudimentaire. Il est évident que nous devons entre autres choses consolider notre système et étendre ses capacités. Cela nécessitera à terme l’utilisation d’une analyse syntaxico-sémantique (analyse des relations actantielles) fiable, robuste et adaptée aux besoins du calcul de la référence. L’utilisation de classes sémantiques générales pourrait également être envisagée, tant pour le calcul de la saillance que pour le calcul de la référence.
Le développement d’un système globalement fiable de calcul des chaînes de référence dans des textes tout venant ne présente pas qu’un intérêt théorique. Plusieurs applications sont en effet directement envisageables. On peut penser en particulier à l’amélioration des systèmes de traduction assistée par ordinateur. Un autre point auquel nous souhaiterions nous consacrer davantage concerne les systèmes d’indexation documentaire. Nous projetons d’étudier le lien entre la pertinence d’un terme d’indexation et la longueur de la chaîne de référence dans laquelle il apparaît.
Par ailleurs, les résultats obtenus sur des textes tout venant sont a fortiori exploitables sur des corpus homogènes. Bien que les connaissances sur le domaine dont on peut alors disposer permettent d’envisager l’élaboration d’un Modèle des Attentes du Lecteur plus fin, la prise en compte des marques formelles se fera de façon sensiblement analogue.
Remerciements
Les travaux actuels de Stéphane Clavier s’inscrivent dans le projet Archivage et Documentation Intelligents financé par la C.A.F. de Quimper et développé au niveau industriel au sein de la société Gestinfor.
Références
Alshawi, H. (1987). Memory and context for language interpretation. Cambridge University Press, Cambridge.
Ariel, M. (1990). Accessing noun-phrase antecedents. Routledge, London.
Dupont, M. (1996a). Le modèle des attentes du lecteur, in Actes de ILN'96, Nantes, 1996
Dupont, M. (1996b). Le modèle des attentes du lecteur dans le calcul de la référence, in Actes de RECITAL'96, Courcelle, 1996
Kleiber, G. (1991). Anaphore-deïxis: où en sommes nous? in L'information Grammaticale 51:3-16
Lappin, S. Leass, H.J. (1994). An algorithm for pronominal anaphora resolution. Computational Linguisitics 20(4):535-561.
Pied, F. Poirier, C. Enjalbert, P. Victorri, B. (1996). From Language to Model, in Actes de ECAI'96 (12th European Conference on Artificial Intelligence).
Popescu-Belis (1996). Spécification d'un carnet d'esquisse à partir de l'étude d'un agent. in Actes de RECITAL'96, Courcelle, 1996
Giguet, E. Vergne, J. (1997). From Part of Speech Tagging to Memory-based Deep Syntactic Analysis Esquisse. Les cahiers du GREYC, 1997:3.