Invitées par l'article d'Olivier André et provoquées par la reproduction de l'article du Figaro de juillet 98 dans le précédent bulletin (p.15), les lignes ci-après cherchent à faire (provisoirement) le point sur le système de traduction automatique SYSTRAN. A la suite de quelques essais déplorables, je m'en étais désintéressé, mais les articles précités m'ont incité à reprendre mes essais de façon systématique afin d'étoffer mon argumentation. Celle-ci se fonde uniquement sur l'analyse des essais mentionnés, car les bases linguistiques et informatiques sur lesquelles il a été créé, présentées de façon fort convaincante dans le fichier http://www.systransoft.com/howworks.html, sont loin de présenter des résultats aussi convaincants. Si, dans son état actuel, ce système n'est pas prêt d'avoir notre peau, reste à savoir quelle part de notre marché il sera capable de subtiliser.

Outre des exemples ponctuels qui seront cités au fil de l'argumentation, le texte suivant m'a permis de dégager trois caractéristiques plaidant en défaveur du système, à savoir : 1) sa sensibilité à l'orthographe, 2) son mauvais découpage syntaxique (parsing) et 3) son ignorance de la spécificité des langues. Comme je n'ai pas trouvé au système d'autre point positif que celui que sa rapidité (à condition que le serveur ne soit pas trop surchargé, évidemment), je ne me sens pas en mesure de vanter ses qualités, si elles existent, et serais heureux de recevoir des échos de mes collègues à cet égard.

Proposé aux bons offices du SYSTRAN (adresse ouaibe http://babelfish.altavista.digital.com/ cgi-bin/translate? - que l'on peut aussi obtenir à partir du site systransoft.com précité), le texte ci-dessous a été extrait d'un projet de publication d'une organisation spécialisée de l'ONU. S'il peut paraître "technique" à première lecture, c'est à dessein : je n'ai pas cherché à mettre le SYSTRAN en défaut sur des questions de vocabulaire, mais de syntaxe. En vérité, aucun des termes de ce texte ne pose de problème de "traduction technique", puisqu'ils sont, à peu de chose près, semblables en anglais et en français. C'est donc un texte quasi idéal pour un test de traduction : pas d'interprétation hilarante jouant sur les connotations, mais uniquement un essai de rendu syntaxique. Voici donc le texte :

Et sa traduction SYSTRAN :

1. Sensibilité à l'orthographe

Le texte proposé devait, comme le veut l'ONU, être écrit en anglais britannique. C'est-à-dire que, à l'exception des terminaisons tolérées -ization au lieu de -isation, les rédacteurs doivent donner colour-, labour, etc, plutôt que color-, labor, etc. Or le SYSTRAN ne reconnaît que les formes américaines de la graphie anglo-saxonne. Il a donc pris colourimetric pour un terme inconnu et l'a reproduit tel quel (c'est effectivement une des particularités du système que de reproduire l'original en plein texte s'il ne possède pas d'équivalent dans sa banque de données). Quand j'ai, par curiosité, modifié l'orthographe du terme en colorimetric (voir la 2ème partie après [...]), j'ai obtenu une traduction correcte du point de vue de la forme ET de l'accord (colorimétriques), mais la syntaxe n'en a pas été adaptée pour autant.

Pour une raison rédactionnelle ou erreur dactylographique quelconque, le texte donne oxygen-deficiency avec un trait d'union qui n'a lieu d'être ni en anglais britannique ni en américain. Or le système prend ce trait d'union pour argent comptant lorsqu'il produit l'oxygène-insuffisance. Après que j'ai supprimé le trait d'union intempestif, le système m'a donné : l'insuffisance de l'oxygène, qui est certes meilleur, mais qui ne justifie pas la présence de l'article défini avant oxygène. Les syntagmes "oxygen concentration" au début du texte et "oxygen deficiency" sont rigoureusement identiques du point de vue syntaxique. Il faut donc croire que le système établit en quelque sorte une relation - de mauvais aloi mais "intelligente" - entre l'oxygène dont on a déjà parlé dans oxygen concentration et celui dont on parle dans oxygen deficiency. Or il n'en est rien. La puissance d'analyse du système est bien loin de telles subtilités. Pour vérification, j'ai entré successivement sur le site Altavista les termes "oxygen deficiency/ depletion/ supply/ attack/ love/ etc." hors contexte, et tous ces termes ont été traduits littéralement, suivis de "de l'oxygène". Ce qui tend à prouver que "oxygen" placé avant un nom est systématiquement traduit par "de l'oxygène". Sauf, bizarrement, dans "oxygen concentration" et dans "oxygen content = contenu d'oxygène" (plutôt que "teneur en oxygène"). Si, pour la beauté du geste, on essaie "oxygen input" et "oxygen output", on a respectivement "l'oxygène entrent" (sic) et "l'oxygène sorti", mais "oxygen input/output = entrée-sortie de l'oxygène". Comme quoi la barre oblique peut avoir son signifiant propre. Passons sur la logique qui sous-tend les règles linguistiques attribuées aux signes typographiques, mais entre "their oxygen needs = leur oxygène a besoin" et "their oxygen need = leur besoin de l'oxygène", on peut se permettre de dépasser le stade de la pure orthographe pour aborder celui de la syntaxe.

2. Mauvais découpage syntaxique

Le gros problème (en traduction) des syntagmes anglais à trois termes génétiquement liés (c'est-à-dire de savoir si, par exemple, l'adjectif du début modifie les deux autres ou seulement le premier, si ces deux autres sont indépendants ou forment un complément de nom, etc) est traité selon un cadre systématique rigide ne tenant pas compte, quoi qu'en dise le site ouaibe, des rapports sémantiques entre termes. Exemple : combustible gas levels et combustible gas detectors sont traités comme le seraient significant gas levels et electronic gas detectors, c'est-à-dire que le système assume que l'adjectif qualifie le dernier terme et non le second, comme c'est le cas ici. J'ai fait d'autres essais systématiques afin de vérifier la chose et me contente d'en reproduire une partie ci-dessous. La plupart confirment mon analyse, à part les exemples ayant trait aux enseignants, qui tendent à prouver que la base de donnée du système comporte des "blocs" de traduction toute faite dans le domaine de l'enseignement, comme on peut en trouver dans n'importe quel dictionnaire bilingue, mais que toute autre association de termes est à la merci de la systématisation bornée de l'outil.

toxic waste dumping = vider toxique de perte

Exaspéré, je me suis dit qu'il valait peut-être mieux entrer des phrases en bonne et due forme plutôt que des syntagmes isolés. Poursuivant ma lancée, j'ai donc essayé :

When it came to toxic waste dumping, all the parties disagreed. = Quand il est venu à la perte toxique vidant, toutes les parties étaient en désaccord.

Où l'on note une nette amélioration du rendu syntaxique par rapport à "vider toxique de perte". Cherchant toujours à obtenir "déchets" pour "waste", j'ai fait plusieurs autres essais, mais en vain. Me rappelant soudain que "waste" était non comptable, je me suis dit qu'il était peut-être étiqueté par le système comme devant avoir un verbe au pluriel, à l'instar de "police", bien que ce ne fût pas la règle dans ce cas. J'ai donc entré :

Industrial waste have become a major environmental problem. = La perte industrielle sont devenues un problème écologique important.

Bon. Puis j'ai vu dans un dictionnaire que waste, en ce sens, pouvait prendre un "s" en américain. Ce devait être ça, le "glitch"! Hélas, j'ai obtenu Les pertes industrielles...

Que la composition de tels syntagmes à trois termes se complique n'intimide pas du tout le systématique traducteur. Dans such as colorimetric tubes, photoionisation and flame ionisation detectors, "detectors" est pris comme facteur commun de tout ce qui le précède depuis "such as", alors qu'il ne régit que "photoionisation et flame ionisation", le "colorimetric tubes" étant un détecteur en soi. La traduction de ce même syntagme montre que le rapport entre termes anglais juxtaposés est systématiquement compris comme un génitif ("of") et ne fait pas la distinction entre la qualité ou l'objet ("de") et la fonction ("à"), d'où "détecteur de..." au lieu de "...à photoionisation/à ionisation de flamme".

Lorsque les trois termes de tels syntagmes ne sont plus constitués d'un adjectif et de deux noms mais de trois noms, le systématique traducteur ne se pose plus de questions : c'est tout génitif! Autrement dit, la liaison entre les termes est systématiquement assimilée à une ellipse de "of" et rendue en conséquence par "de", avec inversion obligée des termes : trace gas analysers = analyseurs de gaz de trace. Par curiosité, bien que ce ne soit pas mon propos, j'ai exploré la version français-anglais du système en lui demandant de traduire détecteurs de gaz à l'état de traces. J'ai obtenu gas-detectors to the state of traces. Pour confirmation, j'ai proposé la chose sous forme de phrase : Ils ont mis en place des détecteurs de gaz à l'état de traces. Et j'ai eu : They installed gas-detectors at the state of traces. Mise à part la bizarrerie de la traduction, ce changement intempestif de préposition "to/at" prouve que le système n'est pas dépourvu de fantaisie. Ce qui est grave si l'on imagine qu'il suffit de repérer ses seuls "systématismes" pour en corriger rapidement les erreurs.

Il n'est sans doute pas utile d'affirmer ici que cette question des prépositions est une des bêtes noires de la traduction anglais-français (on pourrait par exemple admettre comme preuve de cela les très longs articles des dictionnaires bilingues consacrés aux prépositions : pas un n'échappe à la solution d'une multitude d'exemples qui prouvent l'impossibilité d'une traduction générique), mais on peut se demander comment elle a été traitée par les concepteurs du SYSTRAN. Savoir cela permettrait peut-être de connaître les rouages du système, et par là, les écueils sur lesquels il butte invariablement, comme, dans le texte proposé, pour calibrated to a specific substance = calibrés à une substance spécifique et The air is pumped through a glass tube = L'air est pompé par un tube de verre. Dans le premier exemple, il semble que "to" soit traduit aussi systématiquement que dans "travelling to Paris" (ie, to = à, indication de mouvement). Dans le second, "par" est également tiré d'une analyse fondée sur le mouvement (to go through a town = passer par une ville plutôt qu'à travers). Or "par", à la suite d'un passif comme "is pumped" implique que le nom qui suit est l'agent du verbe. En l'occurrence, ce serait le tube de verre qui pompe l'air, alors que l'air ne fait que passer à travers. Si cette erreur d'interprétation peut être aisément corrigée par un réviseur attentif, elle peut passer inaperçue dans d'autres contextes. Bref, ce n'est pas seulement "là où l'on attend l'erreur" que le réviseur doit être vigilant, mais dans les moindres détails de tout le texte. Dans ces conditions, la question se pose aussitôt de savoir quel gain de temps permet un tel outil. Je n'y répondrai pas ici car je n'ai pas échantillonné suffisamment de types de textes pour juger l'ensemble du système de façon approfondie. Si cette question de temps est typique d'un traducteur professionnel, il en est une autre qu'il a moins tendance à se poser, à savoir : dans quelle mesure le système peut-il aider quelqu'un qui, justement, ne connaît pas ou connaît mal la langue d'arrivée? Par exemple, un élève devant faire un devoir de classe ou un commerçant ne comprenant pas un mode d'emploi et ne sachant pas qu'il existe des spécialistes de la traduction (ou le sachant mais frisant la crise cardiaque devant nos tarifs et sachant qu'il existe un logiciel gratuit à portée de main). N'étant pas journaliste, je n'ose non plus répondre à cette question, qui demanderait enquêtes et statistiques.

3. Spécificité des langues

Dans le texte proposé, on a by undergoing a change of colour. Syntaxiquement, la traduction est acceptable. Mais, s'il est évident que le simple libellé en changeant de couleur viendrait plus naturellement à l'esprit d'un francophone - surtout qu'il ne s'agit pas vraiment de "subir" un changement - j'ai fait d'autres essais avec cet ennuyeux terme de "undergo", en tirant mes exemples des dictionnaires bilingues courants (Robert-Collins, Larousse, Oxford-Hachette) :

she underwent a major heart operation = elle a subi une exécution importante de coeur

Là, très intrigué par le traitement de "operation", j'ai abandonné l'ennuyeux "undergo = subir" et ai vainement essayé d'obtenir "opération":

they can't even perform the basic mathematical operations = ils ne peuvent pas même exécuter de base mathématiques les exécutions

Sachant que, quel que soit le contexte, "undergo = subir", "operation = exécution", "fail = tomber en panne" et "waste = perte/de rebut", faisons encore un petit bout d'essai avec "cry" et "suggest" :

he suggested that there might be a bug in the program = il a proposé qu'il pourrait y a une anomalie dans le programme - passons sur le "y a" pour louer le fait que le calque "suggest = suggérer" a été évité (quoique j'eusse préféré "a laissé entendre"), mais :

"There might be a bug in the program" he suggested = "Il pourrait y a une anomalie dans le programme" qu'il a suggéré.

Comme quoi la syntaxe a des effets pernicieux sur la sémantique.

Effets qu'on n'oserait imaginer, même dans un cerveau de traducteur en mal de calques pour se faire rire la bouche. Reprenant les questions d'orthographe mentionnées plus haut, j'ai fait des essais avec les noms propres. Dans l'article cité par Olivier André, on parle de Monica Lewinski. Si son nom est reproduit correctement (c'est-à-dire tel quel), c'est qu'il n'est pas "traduisible" par le système; en d'autres termes, qu'il n'est pas constitué de noms communs entrés dans sa base de données. En effet, le système ne reconnaît pas les majuscules en milieu de phrase comme signes caractéristiques des noms propres, mais, fait étonnant, il est sensible aux "titres" (les Mr/Mrs/etc). Qu'on en juge :

he took her half-slip off = il a pris son demi-glissant hors fonction

Où l'on découvre que "off" isolé est systématiquement rendu par "hors fonction". Pour le reste, je baisse les bras. Tout de même intrigué que le système ne reconnaisse pas le très commun, bien que familier, "bra", alors que l'article du Figaro laissait entendre que "le logiciel comprend mieux l'argot que les gallicismes", je ne me suis pas privé de faire des essais en ce sens. D'anglais en français, on a vu ce que ça donne. De français en anglais, cherchant à obtenir "up yours", j'ai entré "va te faire foutre" puis, plus modérément, "va te faire voir". Dans les deux cas, j'ai obtenu à l'écran une page spéciale ainsi libellée :

<server error 100>

An unknown error occurred during translation

Refusant de croire que le système était capable de reconnaître les expressions triviales et d'en rougir au point de se bloquer, j'y suis carrément allé - qu'on excuse cet essai purement scientifique - d'un "va te faire enculer" et ai reçu "will make you enculer". A tout hasard, pour m'assurer de la syntaxe, j'ai entré la vieille expression "Va te faire tâter chez les Grecs!" et ai obtenu "Will make you touch among Greeks!" (à ce propos, erreur amusante mais qui en dit long sur le logiciel du système et qui intéressera peut-être les informaticiens-linguistes, j'ai oublié, en entrant la phrase, que le site s'ouvrait par défaut sur le module de traduction anglais-français et que j'aurais d'abord dû appeler le module français-anglais. Prenant donc le texte pour de l'anglais, le système l'a consciencieusement "traduit" en français, ce qui a donné "Les Grecs de chez de tâter de faire de te de la Virginie!"). Abandonnant mes prétentions à l'argotisme et aux expressions idiomatiques, je me suis contenté d'un très simple "I had a dream". Je ne sais pas si Luther-King s'est retourné dans sa tombe, mais le système lui a fait dire "j'ai eu un rêveur". Tous mes essais avec "a dream" se sont traduits par "un rêveur". Si "dream" tout seul et "dreams" m'ont donné "rêve" et "rêves", je n'ai pas poursuivi la recherche, estimant que tous ces petits exemples fastidieux suffisaient à former mon point de vue sur le système.

En effet, si de telles banalités peuvent produire de telles monstruosités, quelle crédibilité peut-on accorder au système dans son ensemble? Il fait totalement fi des rapports sémantiques, il n'analyse que très superficiellement le problème des rapports syntaxiques et en particulier celui des prépositions, et il paraît étroitement dépendant d'artifices typographiques tels que les majuscules et les traits d'union. En d'autres termes, il ne s'agit pas d'un système "expert", c'est-à-dire pourvu d'une intelligence artificielle lui permettant de reconnaître les divergences par rapport à une norme et de "passer dessus", mais d'un simple dictionnaire - qui plus est incomplet - géré par un logiciel structuraliste de bas étage qui semble se limiter à associer les étiquettes marquant chaque entrée du dictionnaire selon un processus trop simple pour rendre compte de la créativité d'une langue, comme pourrait le faire un système fondé sur la linguistique transformationnelle. Évidemment, appliquer celle-ci à un système informatique exigerait un programme énorme et très touffu qui allongerait considérablement le temps de traduction, mais tiendrait compte des structures sous-jacentes et des compatibilités sémantiques entre termes et entre formes de termes. La rapidité du SYSTRAN et ses inconséquences sont sans doute liées au fait qu'il est vraisemblablement fondé sur une analyse structurale du texte, c'est-à-dire un découpage rapide des phrases en petits groupes de termes traduits en bloc sans approfondissement des relations entre blocs.

Sans vouloir me vanter, comme dirait Philippe Meyer, je suis parvenu à ces conclusions avant d'avoir consulté le fichier SYSTRAN's MT ARCHITECTURE (dont j'ai inséré après coup l'adresse au début de cet article - MT = machine translation), où il est dit : "SYSTRAN's methodology is a sentence by sentence approach, concentrating first on individual words and their dictionary data, then on the parse of the sentence unit, followed by the translation of the parsed sentence" (c'est moi qui souligne). Bien sûr, il convient de nuancer ses critiques. Si en soulignant, j'exprime une critique indirecte de la méthode consistant à consulter d'abord le dictionnaire puis à effectuer le découpage syntaxique de la phrase, il faut dire qu'il ne s'agit pas d'un travail de potache qui se jette sur le dictionnaire bilingue dès le premier mot du titre avant d'avoir compris de quoi parlait le texte. Il faut savoir ce qu'ils entendent par "dictionnaire". Il y en a deux de base : un "dictionnaire élémentaire" (stem dictionary) où, comme je l'avais subodoré, les mots sont entrés isolément avec des étiquettes (codes) indiquant leurs fonctions possibles des points de vue syntaxique et sémantique (c'est sans doute là que le bât blesse); et un "dictionnaire d'expressions" où sont rassemblés des syntagmes entiers (sans doute du genre "Mr + noun" ou "primary school teacher" vus plus haut - où le bât, encore moins mal dégrossi, blesse encore plus ). Ensuite, deux logiciels viennent traiter les mots repérés dans le texte. L'un, succinctement défini (system software), semble responsable de la reconnaissance orthographique - on a constaté ses prouesses. L'autre, de loin le plus important (linguistic software), traite à lui seul du découpage sémantique (le paragraphe au sujet de cette fonction ["parser", responsable de l'analyse syntaxique et sémantique de la langue source] noie le vouloir-faire et le pouvoir-faire dans un bain confus de considérations sur le déterminisme), du passage d'une langue à l'autre ("transfer module", responsable des équivalences sémantiques entre langues) et de la mise en forme du produit fini en langue cible ("synthesis module", responsable de la syntaxe et de l'ordre des mots).

Pour intéressant qu'il soit à première vue, cet article tend plutôt à vanter la marchandise qu'il n'en révèle les rouages et procédures qui éclaireraient un(e) professionnel(le) des langues. Mais je suis peut-être un peu trop curieux de technique. Savoir "comment ça marche" explique peut-être pourquoi ça marche mal au niveau de la traduction professionnelle, mais est sans doute moins préoccupant que de savoir "pourquoi ça marche" auprès d'utilisateurs peu scrupuleux (en admettant que ça marche vraiment, mais je n'ai pas de statistiques pour m'en assurer). La gratuité et la rapidité du système sont sans doute les premières raisons qu'on puisse avancer. Les secondes sont que des produits mal finis mais grosso modo compréhensibles suffisent aux besoins de tels utilisateurs, plus pressés, dans le cadre de leur commerce/industrie, d'avoir une idée approximative sur le sujet, que de discutailler de sa forme et de son style. En d'autres termes, si l'utilisation du SYSTRAN est impensable au niveau des textes de conventions internationales ou autres morceaux juridiques où chaque virgule a son importance, il est tout à fait compréhensible que des hommes ou femmes d'affaires, toujours pressé(e)s, se contentent d'une traduction minable qui leur donnent l'essentiel du contenu à défaut de la forme.

L'ennui, c'est que cet "essentiel" n'est pas non plus à l'abri d'erreurs. Autre ennui, les sociétés produisant ces systèmes de traduction automatique ont, par rapport aux traducteurs professionnels, même en associations, de gros moyens pour se faire de la publicité, voire l'introduire dans des revues comme SVM. Faudrait-il donc que notre profession fasse de la contre-publicité en citant sur des pages ouaibe quelques "perles" du type de celles que j'ai relevées ici? Et aussi, évidemment, de la publicité positive, voire agressive, pour le travail bien fait. Ou faudrait-il faire appel à l'État pour imposer lois et règlements? Mais l'État, même providence, ne peut rien contre le ouaibe et les publicités de ses moteurs de recherche. Quand bien même il le pourrait en France, ça ne protégerait qu'une bien maigre partie du marché de la traduction professionnelle mondiale, désormais lancée sur les "autoroutes de l'information". Le fait que celles-ci soient totalement dénuées de statut juridique présente l'avantage qu'on peut y conduire n'importe comment et y faire toutes les queues de poisson imaginables. Quand les donneurs d'ouvrage en auront marre, ne sachant plus distinguer les as du volant des chauffards (traducteurs à la petite semaine), ils finiront peut-être par se méfier de cette jungle éthérée et reviendront sur le plancher des vaches. En attendant, il faut veiller à ne pas se laisser mettre sur une voie de garage. Appuyons d'abord sur le champignon - il en sortira peut-être du jus.

Le SYSTRAN aux prises avec lui-même