Accueil du site >Blog  >La politique des faits  >De l’importance d’avoir un bon prof
La politique des faits

On ne peut pas tout faire dire ni aux faits ni aux règles de la logique ! Ces deux évidences semblent souvent perdues dans les méandres du débat politique belge où le fact-checking et le travail d’analyse scientifique ne font que des apparitions timides et espacées.

L’objectif de ce blog est simple : débusquer les affirmations sans preuve, les constats erronés et les erreurs de raisonnement en tous genres afin de rappeler, à droite comme à gauche, l’implacable verdict des faits et la rigueur de la logique. Tout ceci ne faisant bien évidemment pas obstacle à d’occasionnels billets d’humeur...

Pour être informé des nouvelles publications, abonnez-vous au flux RSS ou suivez-nous sur Facebook.

Les contributions des auteurs de ce blog n’engagent que chacun d’eux individuellement.


pub
6.03.2014

De l’importance d’avoir un bon prof

imprimer
envoyer
16767
16774
commenter (2)

Que vaut un bon prof ? Pour les instituteurs du primaire : environ 180,000€ par enseignant et par an (soit plusieurs fois leur salaire) ! C’est en tout cas le résultat (présenté de manière un peu provocante) d’un monumental projet de recherche qui fournit la première estimation rigoureuse de l’effet des enseignants sur la carrière future de leurs élèves. En passant, cette étude montre la voie vers une mesure de la qualité de notre enseignement qui permettrait (enfin) de procéder à une évaluation sérieuse de nos politiques éducatives.

Par Frédéric Panier

Quelle est la valeur d’un bon prof ? Dans sa forme la plus générale, il est évidemment impossible de répondre à cette question. Les bénéfices de l’enseignement sont en effet multiples et divers, se traduisant souvent en des effets qui ne peuvent être quantifiés. Comme le rappellent, à raison, les opposants à la marchandisation de l’enseignement, on ne peut réduire la contribution des enseignants aux compétences professionnelles - monnayables sur le marché de l’emploi - qu’ils transmettent à leurs élèves.

Ceci ne doit cependant pas nous empêcher de nous interroger sur l’aspect proprement économique de l’enseignement : si l’enseignement ne se réduit pas à cette dimension, il ne s’en déduit pas que celle-ci lui soit totalement étrangère. Dans quelle mesure l’enseignement peut-il contribuer au développement économique ? Y-a-t-il de grandes différences individuelles dans la qualité des enseignants (en clair, y-a-t-il de bons et de mauvais profs) ? Si tel est le cas, dans quelle mesure un bon prof contribue-t-il à augmenter les revenus futurs de ses élèves ? Comment peut-on aider un enseignant à s’améliorer ? Autant de questions essentielles pour la détermination des politiques éducatives et pour lesquelles les preuves rigoureuses demeurent extrêmement rares.

Dans un monumental projet de recherche, Raj Chetty [1], John Friedman et Jonah Rockoff viennent d’apporter une contribution majeure dans ce domaine. La recherche précédente avait fait face à plusieurs problèmes particulièrement épineux. Ce projet de recherche les contourne avec brio pour étudier, de manière convaincante, l’impact de la qualité des enseignants (dans ce cas, les instituteurs du primaire) sur la carrière future de leurs élèves.

Mesurer la qualité de l’enseignement

Etudier cette question implique, premièrement, de mesurer de manière systématique la qualité de chaque enseignant. Une telle mesure systématique est désormais à portée de main dans les (nombreux pays) qui évaluent annuellement les progrès de leurs élèves au moyen de tests standardisés, tests dont les résultats individuels sont ensuite conservés dans une base de données. S’ils sont bien évidemment imparfaits (et font légitimement l’objet de critiques), ces tests standardisés fournissent en tout cas une mesure uniforme et comparable des savoirs des élèves, ouvrant la porte à une mesure objective (même si imparfaite et incomplète) de la qualité des enseignants.

Pour évaluer la qualité des enseignants, Chetty, Friedman et Rockoff utilisent donc les résultats aux examens standardisés de plus d’un million d’enfants inscrits dans les écoles de la ville de New-York. Ils disposent des résultats pour tous les élèves de la ville depuis plus de 20 ans ! New-York fut en effet une pionnière dans l’adoption des tests standardisés, tests dont les résultats ont été conservés jusqu’à aujourd’hui ! L’Etat de New-York a également conservé la composition de chaque classe et l’identité de son enseignant titulaire, permettant donc de savoir quel élève a eu quel prof chaque année.

Un sérieux problème se pose cependant : la qualité d’un enseignant ne peut être mesurée en prenant simplement la moyenne des résultats scolaires de ses élèves (ce qui semble pourtant, de prime abord, la mesure la plus naturelle) ! Une telle mesure risque fort d’être biaisée car, par exemple, les résultats d’une école composée d’enfants issus des classes supérieures seront généralement plus élevés que ceux d’une école défavorisée, et cela indépendamment de la qualité des enseignants… On risque donc de confondre les bons enseignants avec les enseignants qui ont juste la chance d’avoir de bons élèves...

Une bonne mesure de la qualité d’un enseignant doit donc tenir compte des performances de base des élèves afin de ne pas confondre la contribution propre de l’enseignant avec le fait que ses élèves sont simplement plus doués (sans qu’il n’y soit pour rien)… Le travail de Chetty, Friedman et Rockoff adresse magistralement cette question en montrant que ce problème peut être résolu en se concentrant sur une autre mesure : la Valeur Ajoutée (VA) de l’enseignant [2].

Plutôt que de prendre la moyenne des résultats des élèves, la VA mesure la différence entre les résultats des élèves cette année et les résultats de ces mêmes élèves l’année scolaire précédente (quand ils avaient un autre prof). Ainsi, la valeur ajoutée d’un enseignant de 6ème primaire est mesurée en prenant la différence entre le résultat de ses élèves en fin de 6ème et le résultat de ces mêmes élèves en fin de 5ème. Un bon enseignant est donc quelqu’un qui augmente les résultats de ses élèves par rapport à l’année scolaire précédente. Un mauvais prof est quelqu’un qui, en moyenne, les fait diminuer (ou moins augmenter).

Dans la première partie de leur projet, Chetty, Friedman et Rockoff dépensent une énergie considérable à démontrer que cette mesure permet effectivement d’isoler la contribution spécifique de l’enseignant des autres facteurs (pour autant qu’on corrige la valeur ajoutée en tenant compte d’un petit nombre de variables, telles que les résultats scolaires des élèves l’année précédente [3]).

Par exemple, les chercheurs étudient l’évolution des résultats scolaires quand un très bon enseignant (un enseignant à très haute valeur ajoutée) change d’école : si la valeur ajoutée mesure bien la qualité de l’enseignant, on devrait observer une augmentation subite des résultats scolaires de la nouvelle école l’année où l’enseignant commence à y travailler.

Comme le montre le graphe suivant, c’est tout à fait le cas : on voit que les résultats scolaires de la nouvelle école augmentent subitement l’année de l’arrivée du bon enseignant et ce, uniquement dans l’année scolaire où le nouveau prof enseigne. Ainsi, par exemple, quand un prof à haute valeur ajoutée commence à enseigner en 6ème primaire dans une école, on constate que, dans cette école, les résultats scolaires augmentent pour la 6ème uniquement (et pas la 5ème).

Cet exemple (et plusieurs autres dans l’étude [4] ) démontre donc que, utilisée correctement, la « valeur ajoutée » mesure bien la qualité des enseignants (et pas le fait que leurs élèves soient, en moyenne, plus ou moins doués). C’est la première contribution de l’étude.

Tous les profs ne se valent pas

Même si cela est moins neuf, l’étude confirme qu’il y a bien des différences importantes dans la qualité du travail fourni par les enseignants. En d’autres termes, il y a bien des bons et des mauvais profs : certains profs contribuent chaque année à faire augmenter les résultats de leurs élèves (ils ont une haute valeur ajoutée) alors que d’autres profs ne semblent pas leur apprendre grand chose (leur valeur ajoutée est basse voire négative)...

En outre, les différences entre enseignants ne sont pas uniquement l’effet d’un petit nombre de très mauvais ou très bons enseignants (alors que le reste des enseignants auraient des performances similaires). La distribution de la Valeur Ajoutée des enseignants ressemble plutôt à un continuum (techniquement, la distribution de la Valeur Ajoutée des enseignants ressemblent fort à une variable normale).

Si cela confirme ce que beaucoup pensaient déjà, on possède désormais une mesure rigoureuse qui peut être utilisée pour évaluer les facteurs qui influencent la qualité du travail des enseignants et, plus important encore, quelles politiques peuvent être mise en œuvre pour améliorer cette qualité ! Un champ de recherche fructueux s’offre donc a nous pour améliorer notre système d’enseignement (pour autant, bien sûr, que les autorités publiques mettent en place un système de tests standardisés et une base de données pour les conserver).

Certes, l’utilisation des tests standardisés comme mesure de la qualité de l’enseignement n’est pas sans problèmes. Leur principale limite est bien évidemment que les savoirs (et les valeurs) transmis par l’enseignement ne se résument pas à la transmission des seules compétences académiques (mais également à la transmission d’autres savoirs, de normes de comportement et de valeurs que ne mesurent pas les tests standardisés). Une deuxième limite est que, même dans les matières purement académiques, les tests standardisés ne sont qu’une mesure imparfaite des connaissances de l’élève. Une troisième limite est qu’il est possible que les enseignants puissent falsifier (directement ou indirectement) les résultats de leurs élèves si leur carrière ou leur rémunération en dépendent (dans les pays où cela se fait, de nombreux cas de tricherie par les enseignants ont été avérés).

Cependant, ces imperfections n’impliquent pas qu’il faille jeter le bébé avec l’eau du bain : comme le démontre l’étude de Chetty, Friedman et Rockoff, les tests standardisés ont une véritable utilité et offrent une opportunité exceptionnelle pour améliorer notre enseignement. Après tout, le fait qu’un médicament (dont l’efficacité a été démontrée) n’aboutisse pas à un taux de guérison de 100% ne nous a jamais conduit, en soi, à renoncer à son utilisation. Les imperfections des tests standardisés n’enlèvent donc rien à leur utilité potentielle pour évaluer le succès de nos politiques éducatives [5].

20 ans plus tard

Dans la deuxième partie de leur étude, Chetty, Friedman et Rockoff s’attaquent a une question nettement plus difficile : quel est l’impact d’un bon ou d’un mauvais prof sur la carrière future de ses élèves ?

Répondre à cette question est un défi majeur car il faut connaître, pour chaque individu, la valeur ajoutée de ses enseignants quand il était à l’école mais aussi suivre son parcours professionnel après l’école. S’agissant d’enseignants du primaire, il faut attendre près de 20 ans (voire plus) avant de pouvoir mesurer la carrière professionnelle des anciens élèves. Il faut donc disposer d’une base de données de résultats scolaires il y a plus de 20 ans pour un groupe d’élèves donné ET une base de données suivant la carrière professionnelle de ces mêmes élèves 20 ans plus tard.

C’est ici que Chetty, Friedman et Rockoff réalisent un tour de force tout a fait inédit en rassemblant des données exceptionnelles. D’une part, comme on l’a vu plus haut, ils disposent des résultats scolaires pour la ville de New-York depuis plus de 20 ans. D’autre part, ils ont accès aux déclarations fiscales complètes de tous les citoyens américains depuis plus d’une décennie (soit plus de 300 millions de personnes) ! En utilisant des informations telles que le prénom, le nom et la date de naissance des élèves, ils sont capables de relier les résultats scolaires de plus de 90% des élèves New-Yorkais du début des années 90 avec leur déclaration d’impôt actuelle (soit quand les anciens élèves approchent la trentaine).

Ceci leur permet d’étudier si les élèves qui sont passés entre les mains d’un bon prof ont, en moyenne, une carrière plus fructueuse par la suite. C’est la troisième contribution majeure de cette étude et les résultats sont pour le moins impressionnants.

Les élèves qui ont eu, durant une seule année scolaire, un bon prof ont en effet de plus fortes chances d’aller à (et de terminer) l’université. Leurs revenus professionnels sont aussi plus élevés (comme le montre le graphe suivant) et ils épargnent une plus grande part de leurs revenus ! Avoir un meilleur enseignant - ne fut-ce que pour une seule année - se traduit donc par une série d’effets positifs qui se font sentir durant le reste de la vie des élèves et ces effets peuvent être mesurés, dans les données fiscales, plusieurs décennies plus tard...

En termes d’ordres de grandeur, les chercheurs fournissent un exemple frappant en comparant le revenu des élèves ayant un instituteur moyen (un instituteur dont la valeur ajoutée est égale à la moyenne) avec les élèves ayant un très mauvais enseignant (un instituteur qui fait partie des 5% des enseignants avec la plus basse valeur ajoutée). En extrapolant leurs résultats sur toute la carrière [6], ils calculent que, sur une seule année, un instituteur moyen augmente le revenu total de ses élèves sur toute leur vie d’approximativement $250,000 au total (soit plus de 180,000€), comparés à ses collègues les moins performants !

Soulignons, si besoin en est, que cette somme est très largement supérieure au salaire annuel de nos enseignants (dont la contribution nette à notre société semble donc être tout simplement gigantesque).

La batterie de tests réalisés pour cette seconde partie du projet est cependant un peu moins importante [7] et il faudra donc plus de travail avant d’aboutir à des conclusions fermes. Il n’en reste pas moins que ce résultat est impressionnant et apporte ce qui est, à ma connaissance, la première évaluation convaincante de l’effet de la qualité de l’enseignement sur les trajectoires professionnelles des élèves. Une fois n’est pas coutume, les discours consensuels sur l’importance de l’enseignement (et, plus particulièrement, des enseignants) pour notre développement économique semble entièrement confirmés.

La bonne nouvelle est que le travail de Chetty, Friedman et Rockoff démontre également qu’il existe une mesure objective permettant d’évaluer la réussite (ou l’échec) de nos politiques publiques, afin de nous guider vers une amélioration progressive de notre enseignement. Encore faudrait-il, pour y parvenir, que la Communauté française se décide à mettre en place les outils nécessaires pour procéder à de telles évaluations… Comme on le verra dans un poste ultérieur, il ne semble cependant pas que cela figurera au programme d’un seul de nos partis politiques pour les élections de mai prochain…

PS : pour aller plus loin, si vous lisez l’anglais, je vous conseille l’article de vulgarisation de educationnext.org (avec plusieurs commentaires critiques).

[1] Le même Raj Chetty dont l’étude sur l’épargne-pension a fait l’objet d’un post précédent. Point de favoritisme dans son apparition répétée : Raj Chetty est, de l’avis général, l’économiste le plus productif du moment...

[2] Chetty et ses co-auteurs n’ont pas inventé cette mesure qui est largement utilisée depuis de nombreuses années. La contribution de leur étude est de démontrer dans quelles conditions cette mesure constitue une estimation valide de la qualité de l’enseignement.

[3] Ceci est assez intuitif : le principal problème de la “valeur ajoutée” pour mesurer la performance des enseignants est que les élèves ne sont pas assignés aléatoirement aux enseignants mais sont au contraire triés en fonction de leurs capacités. Ainsi, on constate que les élèves plus « doués » sont généralement assignés aux professeurs les plus performants (ce qui n’est d’ailleurs pas forcément très malin). En tenant compte du résultat scolaire des élèves dans l’année qui précède (et de quelques autres variables), on peut cependant tenir compte de cet élément et isoler la contribution spécifique de l’enseignant.

[4] Ainsi, les chercheurs montrent que la valeur ajoutée de chaque enseignant n’est pas corrélée avec l’origine socio-économique de ses élèves (pour autant qu’on contrôle pour les résultats scolaires antérieurs de l’élève et un petit nombre d’autres variables). Ceci veut dire que la valeur ajoutée semble bien isoler la contribution spécifique de l’enseignant (et pas seulement le fait que ses élèves sont plus ou moins favorisés).

[5] Je suis par contre nettement moins convaincu (à ce stade) par les politiques visant à orienter la rémunération ou la carrière individuelle des enseignants sur base de leur valeur ajoutée. Si l’utilité de la valeur ajouté comme mesure d’évaluation des politiques publiques me semble indéniable, son utilisation comme outil d’incitant financier individuel est associée à de nombreux effets pervers potentiels (en incitant, par exemple, les enseignants à maximiser à tout prix les résultats aux tests standardisés, indépendamment du savoir véritablement transmis à leurs élèves).

[6] N’observant les anciens élèves que jusqu’à 28 ans, les auteurs font l’hypothèse que l’effet observé persiste durant le reste de la carrière, ce qui semble raisonnable car on voit mal pourquoi il disparaitrait par la suite alors même qu’il apparait déjà près de 20 après la sortie du primaire (les données disponibles semblent même indiquer qu’il a plutôt tendance à croître avec le temps)

[7] Ces résultats contrôlent cependant aussi pour l’origine sociale des parents ainsi que les résultats scolaires de l’enfant dans l’année qui précède celle où il a la chance d’avoir un enseignant à haute valeur ajoutée. La conclusion des auteurs ne peut donc être simplement le résultat d’une attribution des élèves plus doués académiquement aux enseignants à haute valeur ajoutée.

imprimer
envoyer
16767
16774
commenter (2)
  • De l’importance d’avoir un bon prof Posté par Pr S. Feye, le 20 mars 2014
    Ce n’est pas de gaieté de coeur que j’ai fondé, il y a 20 ans déjà une école indépendante non subsidiée et très critiquée, mais non soumise au décret "inscriptions" ! En effet, j’ai été (...)
    Lire la suite
  • De l’importance d’avoir un bon prof Posté par Sylvie Van der Linden, le 10 mars 2014
    Même si la question est élitiste, elle me semble intéressante ! Même si les limites des tests standardisés pour mesurer de telles complexités sont connues, cela pourrait valoir le (...)
    Lire la suite

Ce forum est modéré a priori : votre contribution n'apparaîtra qu'après avoir été validée par un administrateur du site.

Ce forum est modéré a priori : votre contribution n'apparaîtra qu'après avoir été validée par un administrateur du site.

Un message, un commentaire ?
  • (Pour créer des paragraphes, laissez simplement des lignes vides.)

Qui êtes-vous ?