Revue Méthodal

Le positionnement en chinois langue étrangère dans le supérieur : le test SELF (Système d’Évaluation en Langues à visée Formative)

Rui YAN, LIDILEM, Université Grenoble Alpes, France
Mariarosaria GIANNINOTO, Université Grenoble Alpes, France

---

---

---

1. Introduction

Le présent article se propose d’aborder la question de l’évaluation des compétences en chinois langue étrangère des apprenants du secteur Lansad (Langues pour spécialistes d’autres disciplines) en présentant les travaux menés dans le cadre du projet Innovalangues [1]. Ce projet, qui se propose de contribuer à l’amélioration des pratiques d’apprentissage des langues dans l’enseignement supérieur, prévoit notamment la création d’un « éco-système numérique » [2], ouvert et libre de droits, « dédié à la formation des langues, répondant […] à la demande des publics de formation initiale et continue » [3]. Plusieurs outils innovants y seront intégrés dont le « Système d’Évaluation en Langues à visée Formative » (désormais SELF). Ce test disponible pour six langues cibles (italien, anglais, chinois, espagnol, japonais et français) est conçu comme un outil de positionnement, permettant d’orienter les apprenants vers des groupes de niveaux mais aussi comme un dispositif d’évaluation formative, permettant de mesurer les progrès et d’identifier les difficultés des apprenants, dans les trois compétences ciblées (compréhension de l’oral, compréhension de l’écrit, expression écrite courte). Ce dispositif prépare ainsi « une pédagogie par groupes de niveaux et par compétences dissociées » [4]. Dans le cas du chinois ou mandarin [5], ce dispositif, bien qu’utilisable pour d’autres publics, a été à l’origine conçu pour les apprenants du secteur Lansad, un public de non-spécialistes de cette langue, composé en grande majorité par des francophones. Pour répondre aux exigences de ce public qui apprend la langue pour des raisons pragmatiques (mobilité dans le cadre des études, certification, projet professionnel), la priorité a été donnée aux compétences de l’oral et aux enjeux communicationnels. Toutefois, l’élaboration du test d’évaluation a aussi présupposé une prise en compte des spécificités de la langue et de l’écriture chinoises et des difficultés qu’elles peuvent présenter pour les locuteurs d’une langue distante.
Compte tenu de ces éléments, notre équipe [6] a été confrontée aux questions suivantes : dans le contexte du secteur Lansad, comment orienter les apprenants vers des groupes-classes et formations ciblés, organisés selon les niveaux du CECRL et répondant à leurs besoins ? Quelles compétences évaluer et comment les évaluer ? Et quelles sont les spécificités à prendre en compte pour l’évaluation en chinois langue étrangère par rapport à l’évaluation dans les langues européennes ?
Nous nous focaliserons tout d’abord sur la question de l’évaluation des compétences en chinois langue étrangère (ci-après CLE) en présentant les descripteurs et les tests de niveaux pour le CLE sur lesquels nous nous sommes fondés pour élaborer les référentiels internes utilisés dans l’élaboration du test. Puis, nous expliciterons les choix méthodologiques de notre équipe avant d’aborder quelques exemples concrets.

2. Référentiels et tests de niveaux en chinois langue étrangère

Le CECRL exerce une influence importante sur l’apprentissage, l’enseignement et l’évaluation du chinois non seulement en Europe, mais aussi dans des pays asiatiques, et en Chine. Son utilisation dans l’enseignement/apprentissage du chinois en Europe a fait l’objet de réflexions, notamment dans le cadre du projet European Benchmarking Chinese Language (EBCL) [7]. Ce projet mené conjointement par quatre partenaires universitaires européens [8], se proposait « to create a benchmark framework for Chinese, based upon the Common European Framework of Reference (CEFR), for people in Europe who learn Chinese either as part of their lifelong learning pursuit, or for professional purpose or as part of the school activities, as a common portable framework of standards » [9]. Les documents conçus dans le cadre du projet EBCL prennent en compte les spécificités de cette langue par rapport aux langues indo-européennes (notamment le système d’écriture) et proposent ainsi une adaptation du CECRL à l’apprentissage de la langue chinoise par les apprenants européens, fournissant une description détaillée des compétences pour les niveaux A1 et A2.
Si ces documents ont constitué une référence essentielle dans notre travail pour ces niveaux, l’absence de descriptifs pour les niveaux supérieurs a représenté une limite importante.
En ce qui concerne les tests certificatifs de chinois, nous pouvons mentionner deux tests conçus spécifiquement pour cette langue et à vocation internationale, le HSK (Hànyǔ shuǐpíng kǎoshì 汉语水平考试 « Test de niveau de chinois ») [10] et le TOCFL (Test of Chinese as a Foreign Language « Test de chinois langue étrangère », en chinois 華語文能力測驗) [11], ainsi que également la déclinaison pour le chinois du DCL (Diplôme de compétence en langue) [12], certification française qui s’inscrit dans une démarche communic’actionnelle (Bourguignon, 2006). Ces certifications prennent en compte les niveaux du CECRL : si le DCL est ancré dans le cadre, les HSK et le TOCFL proposent des correspondances entre leurs niveaux et les niveaux du CECRL.
Toutefois, l’équivalence entre les six niveaux du HSK et les niveaux du CECRL a été mise en question par les chercheurs (Wang, 2017), dans la mesure où « vocabulary size (cíhuìliàng 詞彙量) is a main criterion of distinguishing HSK levels » (Klöter, 2017, p. 418). Par ailleurs, les écarts entre les niveaux définis par les tests HSK et TOCFL sont considérables : les descripteurs HSK prévoient la connaissance de 150 mots pour le premier niveau (qui devrait en principe correspondre au niveau A1 du CECRL), tandis que la connaissance d’au moins 500 mots est requise pour le premier niveau du TOCFL.
En dépit de ces limites et incohérences, nous avons choisi de prendre en compte ces tests afin de disposer d’une vision d’ensemble des descripteurs disponibles pour le CLE : nous avons ainsi sélectionné certains éléments des référentiels HSK qui pouvaient correspondre aux descripteurs du projet EBCL ou plus généralement du cadre.
Notons également qu’outre les référentiels et les tests existants pour le CLE, nous avons aussi pris en compte les programmes officiels de l’enseignement secondaire [13] français, car une proportion importante des apprenants ciblés étudie le mandarin dans le secondaire. Il nous a donc semblé pertinent de prendre en compte les acquis généralement attendus des apprenants ayant étudié le chinois au lycée. De même que le projet EBCL, ces programmes tiennent compte des niveaux du CECRL : par exemple, les niveaux visés sont A2-B1 pour la langue vivante (ci-après LV) 3, B1-B2 pour LV2 et B2 pour la LV1 [14].
L’analyse et la comparaison des référentiels et des tests existants nous ont amenés à concevoir les référentiels internes, qui ont constitué la base commune pour l’élaboration du test SELF Mandarin ainsi que pour les parcours d’apprentissage en ligne [15]. Ces référentiels ont été modifiés et sont encore modifiables en fonction des retours sur expérience des concepteurs des tâches du test, des retours des apprenants et des utilisateurs, ainsi qu’en fonction des résultats des analyses psychométriques réalisées à la suite de l’expérimentation du test.
Dans l’élaboration de ces référentiels, nous avons essayé de maintenir un équilibre entre la prise en compte des spécificités du chinois et l’exigence de cohérence interlinguistique au sein du projet.
Nous avons ainsi fait le choix d’un référentiel articulé en sept volets. Nous avons tout d’abord distingué compétences de l’écrit et de l’oral, en créant deux macro-catégories (écrit/oral), conformément au principe adopté de désynchronisation des compétences pour le chinois langue étrangère (cf. infra). Nous avons ensuite adapté les catégories choisies par les autres équipes du projet : les situations de communication (macro-actes de parole et types de discours), les compétences fonctionnelles (micro-actes de parole), les capacités (compétences de réception ou de production visées), les genres textuels (supports de textes et registres), les champs sémantiques, les listes de caractères et de mots (il s’agit là d’un point spécifique pour l’évaluation des compétences de l’écrit, cf. infra), les points morphosyntaxiques.
Nous présenterons maintenant les approches et les choix méthodologiques qui ont orienté notre travail de conception du test.

3. La conception du test SELF mandarin

3.1. Le test autocorrectif SELF Mandarin

Le test SELF est un test automatique, adaptatif, de courte durée (60 minutes, inscription et tutoriel compris), qui permet d’évaluer son niveau et de mesurer ses progrès, compétence par compétence. Le test n’attribue pas de score mais des préconisations de niveau dans trois compétences (compréhension orale, compréhension écrite, expression écrite courte), ce qui reflète l’importance reconnue à une pédagogie par compétence dans le cadre du projet Innovalangues (Masperi 2016). Le test aboutit ainsi à des propositions d’orientation vers des groupes de niveaux (établis selon les niveaux du CECRL) et/ou des parcours d’apprentissage et de remédiation, également structurés par niveaux.
Ce test est conçu pour répondre au besoin institutionnel de positionner et d’orienter un grand nombre d’étudiants en langues chaque année. Sa déclinaison pour le chinois a été déployée de façon expérimentale depuis la rentrée 2017 à l’Université Grenoble Alpes (pour les niveaux A1-B1).
Le test SELF est constitué d’une série de tâches, visant trois compétences (compréhension orale, compréhension écrite, expression écrite). La tâche d’évaluation indique « ce qu’un candidat doit faire pour accomplir une partie du test », ce qui « suppose plus de complexité qu’une réponse à un seul item discret » (ALTE, 2011, p. 82). Chaque tâche est composée de trois parties : un contexte, un texte et un ou plusieurs items correspondants (des exercices liés au texte). Le contexte qui précède chaque texte correspond à une brève mise en situation (Cervini et Jouannaud, 2015) et constitue une aide et une préparation à l’écoute ou à la lecture. Trois typologies de « contextes » sont utilisées dans le test SELF : le premier type de contexte, désigné par l’intitulé « type d’échange », donne des indications sur le « rapport social et sociolinguistique entre les participants » et donc « des indications sur le registre » (p. ex. : « conversation entre amis ») (Cervini et Jouannaud, 2015) ; le deuxième est le « lieu » (physique ou fictif) et fournit des indications sur le domaine d’activité ; le troisième le genre textuel (p. ex. : « conférence », « offre d’emploi »).
En ce qui concerne le texte, c’est-à-dire la ressource ou le document qui constitue l’input des items, le niveau est déterminé en fonction des descripteurs EBCL et HSK pour les items de compréhension orale et en fonction des listes de caractères et de mots existantes pour le CLE pour les items évaluant les compétences de l’écrit [16]. La durée des documents audiovisuels et le débit d’élocution sont aussi différents selon les niveaux.
En ce qui concerne les items, il faut tout d’abord préciser qu’un texte (une ressource) peut être l’input d’un ou de plusieurs items.
Plusieurs critères ont été pris en compte dans la rédaction des items : les focus langagiers (communicatif, morphosyntaxique et lexical), la nature de la compréhension (compréhension globale, compréhension détaillée, inférence) et les typologies d’exercices (vrai/faux, question à réponse unique/multiple, exercices d’appariement, cf. infra). La rédaction des questions pour chaque item a été réalisée en fonction de ces trois critères. Les différents types de compréhension dans chaque tâche permettent d’évaluer toutes les compétences nécessaires à la maîtrise d’une langue, à savoir la compétence linguistique, la compétence sociolinguistique, la compétence socioculturelle, la compétence référentielle et la compétence stratégique (Bergeron, Desmarais et Duquette, 1984).

3.2. Désynchronisation des compétences de l’écrit et de l’oral

L’apprentissage des compétences de l’écrit représente un enjeu important dans la didactique du CLE, notamment en raison des difficultés de mémorisation et de reconnaissance des caractères chinois.
Ainsi, afin de ne pas entraver l’apprentissage de la langue chinoise du fait de la complexité graphique de l’écrit (Drocourt, 2015), de nombreux chercheurs et didacticiens (en particulier Hoa, 1999 ; Kubler, 2011a, 2011b ; Drocourt, 2015 ; Allanic, 2015) ont proposé de séparer ou de désynchroniser l’enseignement de l’oral et l’enseignement de l’écrit. Selon ce principe, les apprenants ne sont pas amenés à apprendre à écrire tout ce qu’ils apprennent à dire, ce qui permet de libérer les compétences orales des contraintes de l’écrit (Drocourt, 2015) [17].
Des études récentes ont en effet souligné que les compétences de l’oral sont généralement négligées en raison du temps consacré à l’apprentissage des caractères et de l’écrit (Guo et Nissen, 2015, p. 75). C’est la raison pour laquelle, une place importante est accordée dans le test SELF à l’évaluation de la compréhension de l’oral, qui « représente une difficulté majeure » et sous-estimée pour les apprenants de mandarin (ibid.).
Concernant l’évaluation des compétences de compréhension écrite, notamment pour les premiers niveaux (A1 et A2), nous avons pris en compte des listes de caractères et mots (les listes sont associées aux seuils progressifs à atteindre pour chaque niveau) proposées par les référentiels mentionnés plus haut (EBCL, HSK ainsi que les programmes officiels de l’enseignement secondaire). En effet, les caractères présents dans les items de compréhension écrite représentent un défi considérable pour les apprenants de ces niveaux.
Par contre, les concepteurs du test n’ont pas pris en compte de listes de caractères (ou de mots) dans l’élaboration des tâches de compréhension orale. Ainsi, dans le test SELF, de nombreux items sont consacrés à l’évaluation de la compréhension orale et ces items se caractérisent par une densité lexicale élevée.

3.3. Le concept d’« authenticité » et les ressources authentiques

La plupart des tâches d’évaluation SELF sont élaborées à partir de ressources authentiques. Nous employons ici l’expression « documents authentiques » pour désigner des supports écrits et audiovisuels qui n’ont pas été conçus à des fins pédagogiques (Nunan, 1988). Le fait qu’il est important d’exposer les apprenants à des ressources authentiques est amplement souligné dans la littérature : le recours à des documents authentiques permet de réduire le décalage entre langue « authentique » et « langue des méthodes » (Gilmore, 2007). Par ailleurs, pouvoir se mesurer à des ressources authentiques est un facteur de motivation en soi pour les apprenants (Kilickaya, 2004) et contribue à améliorer la compétence d’inférence (Gillmore, 2007).
De plus, dans le cas du test SELF, l’utilisation des textes authentiques est importante pour « la validité faciale du test (c’est-à-dire la façon dont le test est reçu et considéré comme un "bon" test par ses utilisateurs) » (Cervini et Jouannaud, 2015).
Toutefois, des documents créés ad hoc ont aussi été utilisés dans le test, notamment lorsque nous n’avons pas pu identifier de ressources authentiques pour certains genres textuels (par exemple, l’entretien d’embauche) ou lorsque nous nous sommes trouvés dans l’impossibilité d’obtenir les droits d’auteur pour certains documents authentiques. Dans ce type de cas, nous nous sommes alors efforcés d’élaborer des textes et de construire des ressources proches de ceux que l’on peut trouver dans des contextes communicatifs réels.

3.4. Entrée par genre textuel et types de discours

Le choix des ressources authentiques nous a amenées à prendre en compte les genres textuels et les types de discours de manière prioritaire. Nous rejoignons ici le point de vue de Cervini et Jouannaud (2015), selon lesquelles, il est important de mener des réflexions autour des types et des genres textuels dans leurs contextes d’usage afin de déterminer le degré d’authenticité situationnelle de la tâche d’évaluation. Par ailleurs, Beacco (2013) a souligné que l’enseignement/apprentissage basé sur les genres textuels permet de passer de la pédagogie centrée sur la phrase à celle centrée sur le texte [18], permettant ainsi de travailler à partir de « discours situés et pas seulement sur des énoncés isolés » (Roulet, 2001).
Cette approche par genre textuel et type de discours (Bronckart, 2008) a été adoptée par l’ensemble des équipes du projet.
Les critères de choix des textes et des ressources authentiques relèvent de trois sphères : didactique, langagière, socioculturelle. La première sphère renvoie aux ressources classées selon les niveaux du CECRL qui « suggère pour chaque niveau et pour chaque compétence des genres textuels à exploiter » (Cervini et Jouannaud, 2015). En deuxième lieu, la sphère langagière se rapporte à la fonction du genre qui « détermine une organisation et un enchaînement particuliers de séquences discursives, et sollicite / engendre des objectifs langagiers qui s’expriment par des aspects fonctionnels et des choix morphosyntaxiques et lexicaux » (ibid.). De ce fait, dans notre test, de courtes conversations sont fréquemment proposées pour un niveau débutant tandis que des interviews ou des reportages sont souvent réservés à un niveau avancé. Enfin, la sphère socioculturelle concerne « la pertinence communicative, pragmatique et culturelle du sujet traité ou véhiculé par le texte (ayant son schéma interactionnel), et donc de façon indirecte, sa cohérence avec le principe d’authenticité » (ibid.). Ainsi, des genres actuels tels que chat, forum, SMS, blog, ressortissant « de la communication médiatisée par ordinateur ou sur dispositif mobile, synchrone ou asynchrone » ont été largement intégrés (Cervini et Jouannaud 2015 ; Pistolesi, 2004).
Dans les paragraphes qui suivent, nous présenterons des exemples concrets pour illustrer notre méthodologie.

4. Exemples de tâches d’évaluation

4.1. Compréhension orale

Nous introduisons tout d’abord un exemple de tâche de compréhension de l’oral, conformément à l’organisation du test SELF qui s’ouvre avec des tâches évaluant cette compétence.
L’encadré n°1 présente une annonce qu’on peut entendre à la gare. Il s’agit d’un texte informatif authentique visant à évaluer la compétence sociolinguistique, où l’apprenant doit interpréter la situation de communication et les règles de cohérence et de cohésion propres à ce type de discours. Ce texte comprend des mots d’un registre soutenu (comme lǚkè 旅客 « passager », hòuchēshì 候车室 « salle d’attente », hézuò 合作 « coopération, collaboration »). Toutefois, l’item vise une compréhension globale du message, et mobilise les capacités d’inférence de l’apprenant : la présence de mots inconnus n’empêchera donc pas de répondre à la question. Ce choix rejoint l’objectif du projet qui vise à cibler un « construit » de compétence langagière de type communicatif (Masperi et Quintin, 2014).
Si l’on compare l’encadré n°1 à l’encadré n°2, nous pouvons remarquer que les deux textes partagent certaines caractéristiques : dans les deux cas, il s’agit de textes authentiques, appartenant au genre textuel « annonce publique par haut-parleur » et au type de discours informatif. Cependant, les deux tâches correspondent à différents niveaux, car les items visent différentes compétences. Dans la tâche de niveau A2, l’item vise la compréhension globale tandis que les items de niveau B1 évaluent la compétence lexicale pour une compréhension détaillée des informations.
Il est important de souligner que dans les tâches de compréhension orale, l’utilisation de l’oral est exclusive (pour le « contexte », le texte et les items) suivant le principe de la dissociation des compétences. Dans ces tâches, l’apprenant est mis dans une position d’auditeur qui est « sollicité pour activer des opérations cognitives variées » (Cervini et Jouannaud, 2015) : compréhension globale, inférence, compréhension des informations détaillées.

Encadré 1 – Exemple d’une tâche de compréhension orale de niveau A2

Encadré 2 – Exemple d’une tâche de compréhension orale de niveau B1

4.2. Compréhension écrite

Prenons à présent un exemple de tâche visant à évaluer la compréhension écrite au niveau A1 (voir l’encadré n°3). Cette tâche présente l’interface en ligne pour ouvrir un nouveau compte mail. Nous avons proposé ici un contexte qui introduit le genre textuel.

Encadré n°3 – Exemple d’une tâche de compréhension écrite de niveau A1

Les mots présents dans ce formulaire se rapportent au thème « informations personnelles » figurant dans notre référentiel de niveau A1 (xìng míng 姓名 « nom et prénom »，guójiā 国家 « pays »，chūshēng rìqí 出生日期 « date de naissance »，xìngbié 性别 « sexe »). Lors du choix de la ressource, nous avons pris en compte la liste des caractères/mots recommandés pour le niveau A1, ce qui explique le nombre restreint de mots présents dans le texte. Toutefois, il est important de souligner que ces listes ont une valeur purement indicative, étant utilisées pour guider les concepteurs dans le choix des documents et l’élaboration des items du test, et que les caractères et les mots absents des listes n’étaient ainsi pas systématiquement exclus. Au contraire, nous avons accepté un éventail de caractères plus large que celui proposé dans les listes mentionnées afin de pouvoir utiliser des documents authentiques.
Dans la tâche présentée dans l’encadré n°3, la capture d’écran de l’interface aide l’apprenant à repérer les informations dans un texte dont il ne connaît qu’une partie des mots et des caractères, mobilisant des connaissances et les stratégies semblables à celles qu’il utiliserait dans la vie réelle. Nous avons souvent eu recours à des supports visuels (affiches, captures d’écran, photos) dans les tâches des niveaux A1 et A2, choisis parmi les documents authentiques ou associés à ces derniers, afin de rendre des ressources authentiques plus accessibles aux apprenants de ces niveaux, malgré les difficultés liées à la reconnaissance des caractères.

4.3 Expression écrite courte

Notre troisième exemple porte sur l’évaluation de la compétence d’expression écrite, les tâches d’ « expression écrite courte » correspondant à la dernière partie du test. Dans la tâche ci-dessous nous proposons un item basé sur un texte relevant d’un genre « actuel », le « message sur un réseau social », intéressant sur le plan socioculturel. Ce genre d’input est cohérent avec notre approche communicative puisque l’apprenant est placé dans une situation à laquelle il peut être confronté dans la vie réelle (faire connaissance sur les réseaux sociaux).
Notons par ailleurs que les typologies d’exercices pour l’expression écrite courte sont partiellement différentes de celles des deux autres compétences : question à réponse unique, liste de mots, choix multiples et question à réponse ouverte courte. Nous avons essayé d’équilibrer les typologies d’exercices dans notre test.

Encadré n°4 – Exemple d’une tâche d’expression écrite courte de niveau B1

5. Conclusion

Dans la conception du test SELF Mandarin, notre équipe a essayé de concilier la prise en compte des spécificités du chinois avec l’exigence d’une « cohérence inter linguistique au sein d’une offre de formation multilingue » du projet Innovalangues [19].
Nous avons essayé d’adapter les approches et démarches communes à toutes les équipes du projet Innovalangues (perspective actionnelle, soutien à la pédagogie par groupe de niveaux et par compétence, interface avec les ressources didactisées et les parcours proposés sur la plateforme ENPA) aux exigences de notre public d’apprenants et aux caractéristiques d’une langue distante à l’écriture non alphabétique.
Une grande importance a été accordée aux genres textuels et aux types de discours dans le choix des ressources et l’élaboration des activités, généralement construites à partir de documents authentiques, l’approche par genre et la centralité des ressources authentiques faisant partie des choix méthodologiques du projet.
Toutefois, dans la sélection des ressources et dans l’élaboration des tâches nous avons également essayé de prendre en compte les spécificités de la langue et de la didactique chinoises, en suivant le principe de la désynchronisation des compétences de l’écrit et de l’oral.
Les retours des apprenants, des enseignants et des tuteurs sur l’utilisation du test seront essentiels pour évaluer l’efficacité de ce dispositif et l’améliorer.