Overblog Suivre ce blog
Editer l'article Administration Créer mon blog

Présentation

  • : La vie au labo
  • La vie au labo
  • : Les pensées - j'ose le mot- diverses d'un jeune scientifique ayant obtenu un poste académique à l'Université, après presque trois années en post-doctorat dont deux au fin fond du Massachusetts. Ca parle de science (un peu) mais surtout du "petit monde" de la science. Et aussi, entre autres, de bouffe, de littérature, de musique, d'actualité, etc. Et de ma vie, pas moins intéressante que celle d'un autre.
  • Contact

Profil

  • mixlamalice
  • Misanthrope optionnellement misogyne et Esprit Universel.

Recherche

25 mai 2013 6 25 /05 /mai /2013 16:21

Récemment, j'ai participé à un comité de sélection (il y a quelques années appelé commission de spécialistes) pour le recrutement d'un maître de conférences. 

Après réflexion, je pense (mais je peux me tromper) qu'il s'est passé quelque chose de suffisamment intéressant pour être raconté et discuté, pas dans le détail mais d'un point de vue général.

Précisons que je ne travaillerai pas avec le recruté, que je n'avais rencontré qu'un seul des auditionnés auparavant, que le profil n'était pas vraiment sur mon domaine de recherche, et que je pense donc avoir été un observateur relativement neutre*.

 

 

Pour commencer par la conclusion, je pense que, selon des critères purement objectifs, le deuxième aurait dû être classé premier**. Pourtant, il n'y a pas eu de "magouilles" ni quoi que ce soit de contestable dans la façon dont l'audition et la discussion se sont déroulées: le classé premier a été très clairement désigné par la commission (presque 90% des voix), et le PV approuvé à l'unanimité.

Mais même après mûre réflexion, je reste persuadé qu'il y a eu ce jour là une sorte d'"auto-emballement" assez difficile à expliquer, ce que je vais néanmoins essayer de faire dans la suite.

 

Contexte: 7 candidats à passer. Pas de candidat qui sur le papier se détache trois rangs au-dessus des autres. Pas de candidat local non plus, ni même de "poulain déclaré" en ce qui concerne l'équipe ou des membres de la commission: le seul ancien thésard d'un des membres (influent) de la commission n'est pas venu car classé premier ailleurs. Autant que je sache, il n'y a pas de "political agenda" dans le cadre de ce recrutement, bref, les choses sont aussi neutres qu'elles peuvent l'être.

 

Deux candidats font une mauvaise voire très mauvaise planche, ce qui règle rapidement leur cas vu que leur dossier n'était pas a priori dans le haut de la pile. Deux candidats se sont défendus honorablement, mais pour plusieurs raisons pas très importantes ici, sont assez vite éliminés (ils seront malgré tout classés) de la course au Graal***.

 

Bref, 3 candidats semblent au dessus du lot et c'est sur eux que les longues discussions vont porter; en fait, la lutte pour la première place se limite même vite à 2 candidat. Et assez rapidement je comprends que c'est autour d'un candidat que tout tourne.

Tous les points faibles de son dossier sont minimisés quand ils ne sont pas tournés en avantages; tous les points forts des (et surtout d'un) concurrents sont sous-estimés.

Assez vite, le vote -indicatif- montre que ce candidat se détache très largement, et que finalement la deuxième place est contre toute attente celle qui sera serrée.

 

Or, si je compare selon les critères objectifs que je peux imaginer:

- adéquation avec le profil recherche: aucun des candidats ne possédait tous les mots clefs initialement souhaités, mais les deuxième et troisieme étaient au moins des expérimentateurs comme stipulé dans le profil de poste. Le premier a, en thèse, fait avant tout du numérique. Dans la commission, certains en étaient à ressortir son CV de bac à bac+5 pour justifier que oui, il était expérimentateur.

- adéquation avec le profil enseignement: plus difficile à trancher, mais les enseignements demandés seront a priori en lien avec le profil recherche. Le troisième semblait de ce point de vue un peu léger. Les deux premiers avaient une solide expérience, mais le fait que le premier ait "fait l'effort de chercher des enseignements alors que ce n'était pas prévu dans son contrat" a été jugé remarquable par la commission.

- nombre de publis: le deuxième en a beaucoup plus. J'ai entendu "oui, mais il en a peu en premier nom" (en fait le même nombre que le nombre total de celui qui sera classé premier) et "dans son groupe, ça publie à tour de bras de toute façon" (je sais que ça existe, mais le reprocher à un candidat est un peu limite: il n'est pas reponsable des politiques de publications de ses chefs...) 

- expérience post-doctorale: le premier et le troisième ont fini leur thèse en décembre dernier. Dans ce cas, on dit "prometteur" si on veut classer le candidat, et "manque d'expérience" sinon**. Le deuxième a 18 mois de post-doc dans les pattes, avec me semble-t-il un papier sur le sujet. Le premier est même resté dans son labo de thèse pour son post-doc, "red flag" assez fréquent dans les commissions mais ici passé sous silence...

- expérience internationale: le deuxième en a une (étranger, il a fait son M2 en Erasmus, sa thèse dans son pays chez un cador mondial, son post-doc en France; il parle un français parfait). Le troisième a fait sa thèse en cotutelle à l'étranger, y passant 2 ans (bel esprit d'initiative car on peut supposer que cela a surtout dépendu de lui). Le premier n'est pas sorti du pays.

- qualité de l'audition: autant que je puisse juger, ce fut une bonne planche dans les 3 cas. Bon sens du timing, projet d'intégration montrant qu'ils avaient fait leurs "homeworks" (tous avaient contacté l'équipe d'accueil et étaient venu visiter), des qualités pédagogiques dans la façon de présenter et du recul scientifique dans la façon de répondre aux questions. Le troisième a paru paradoxalement à la fois un peu timide et un peu "survendeur" de ses qualités humaines; on a reproché au deuxième d'avoir trop vulgarisé sa présentation. Etonnamment rien de tel n'a été dit sur le premier qui nous a pourtant fait un slide sur ses stages d'avant M2, et qui selon moi nous en a tellement peu dit que la moitié des questions ont porté sur ses activités extracurriculaires (liées à la valorisation scientifique certes, mais tout de même). 

Voila pour ce que je peux imaginer comme critères objectifs, peut-être en oubliè-je?

 

 

Si j'essaye maintenant d'expliquer la décision, je dirais que le premier a, pour des raisons qui m'ont échappé, fait une impression exceptionnelle sur 3 ou 4 personnes à l'audition, et n'a vraiment déplu à personne. Les premiers commentaires ont donc été extrêmement élogieux et ont je pense vite conquis 5 ou 6 autres membres à l'origine bien disposés mais plus neutres.

Le deuxième a plu à beaucoup de monde également, mais n'a pas trouvé de "fans" disposés à chanter ses louanges, alors qu'une ou deux personnes ont, dès le court debriefing entre deux candidatures, souligné des choses qui ne les avaient pas convaincus.

Le troisième a laissé les gens plus circonspects, mais finalement, ayant moins polarisé que le deuxième, il a failli lui passer devant au dernier moment...

Bref, mon interprétation de cette journée est qu'il y a eu une sorte d'effet de groupe basé sur une impression somme toute assez subjective, mais qu'on a fini par "rationaliser" quitte à interpréter (ou surinterpréter) la réalité de manière discutable. Et sur l'influence, même inconsciente, de quelques leaders. 

Je pense que pour étudier la dynamique de groupe, une commission de spécialistes devrait être un bon système modèle... Et plus précisément, quand on aime à réfléchir sur le fonctionnement humain du monde de l'ESR, une journée de commission, c'est toujours de la "food for thought".

 

 

ce qui ne veut pas dire froid, malgré le ton laconique de cet article: les activités de recrutement (thèse, post-doc, MCF...) me font toujours beaucoup souffrir. J'ai l'impression d'avoir un pouvoir absolument illégitime sur la vie de personnes souvent de qualité.

 

** c'est un avis qui peut-être n'est pas pertinent, mais for the sake of the argument faisons comme si c'était vrai

 

*** Je ne sais pas si c'est une tendance lourde ou une succession de hasards, mais depuis un an je vois dans mes sections CNU beaucoup de recrutés à thèse + 6 ou 12 mois, ce qui semblait inconcevable il y a encore 4-5 ans quand je soutenais ma thèse... 

 

Addendum du 26 mai: merci à A. Lavigne en commentaire de m'avoir souligné que j'étais so 2002 en parlant de commission de spécialistes alors qu'on doit dire comité de sélection depuis au moins 5 ans (avec les nouvelles règles concernant le nombre d'extérieurs notamment). J'ai donc changé mon titre d'article...    

Partager cet article

Repost 0
Published by mixlamalice - dans La recherche
commenter cet article

commentaires

Chercheuse internationale 12/06/2013 13:41


Bonjour,
les effets de groupe s'expliquent surtout, à mon avis de candidate, à la fois au CNRS ET à l'Université, par l'absence complète de grille d'évaluation permettant de comparer les candidats. Au
CNRS, il n'y a pas de rapport demandé, sinon pour les seuls candidats admissibles; en fac, il s'agit de savoir si 1° le.a candidat.e colle au profil 2°? rien n'est clair. Les debriefing officieux
présentés aux candidats sont simplement ahurissants - puisqu'en général, ils objectivent la prestation du.de la candidat.e - excellente présentation,
réponses intéressantes aux questions - mais cette évaluation a une importance très secondaire dans les lignes de délibération qui suivent.
Il serait très facile de préparer en interne l'ensemble des critères qui permettrait de comparer l'incomparable - à savoir des personnalités et des parcours très différents -, d'expliciter les
modalités de la délibération (voire de les partager avec les candidats). Ce fut le cas pour le seul (très gros) programme de recherche que j'ai décroché: 5 rapports externes très détaillés, avec
un 20aine de questions qui permettent d'évaluer le candidat (la 1e étant "y a-t-il conflit d'intérêts?"; des questions sur l'intérêt scientifique du projet, l'adéquation du projet avec l'équipe
d'accueil, le parcours, la capacité à mener le projet présenté à bien) - et une audition, où était présent un administratif de l''organisme de recherche; 2 évaluateurs (le 3e étant sorti de la
salle parce qu'il me connaissait). A y réfléchir - ceci explique cela: que j'ai obtenu un programme de recherche très prestigieux; et que je n'ai jamais été classée, après 27 candidatures (CNRS +
fac), à l'exception de 2 fois, à des positions qui ne m'auraient jamais permis de décrocher le poste.
Remettons l'expérience en perspective: s'agit-il d'hommes ou de femmes qui ont été auditionné.e.s? J'ai comme idée que "le candidat qui a
"paru paradoxalement à la fois un peu timide et un peu "survendeur" de ses qualités humaines" - est une femme. Je ne laisserai personne dire qu'il n'y a pas d'évaluation différentielle dans ce
cas.

mixlamalice 12/06/2013 19:21



La conversation se poursuit ailleurs: http://academia.hypotheses.org/849#comments.


Concernant les "grilles d'évaluation", je pense aussi que c'est compliqué, car comme dit un commentateur là-bas il y a des choses difficilement quantifiables et/ou des choses très "dans le
détail" qui peuvent être importantes finalement et rentreraient difficilement là-dedans.


Ces grilles, elles existent d'ailleurs dans certains comités au moins pour l'épreuve d'admissibilité (qui sera convoqué à l'audition). Cela permet aux rapporteurs d'avoir un canevas équivalent et
d'évaluer "objectivement" autant que possible en tout cas la partie "dossier papier". La partie "audition" est la aussi pour laisser une part au "subjectif"...


 


Je tiens encore à répéter que je ne veux pas qu'on interprète mon post comme "les auditions c'est déjà écrit" "on recrute des charlots par piston" etc. Le candidat recruté ici et c'est vrai en
général dans mon domaine est quelqu'un je pense très valable, qui n'a bénéficié d'aucun soutien en amont, que je sache. Je m'interroge plutôt sur le concept du "coup de coeur" comme dit par
quelqu'un d'autre...


Il est possible que dans d'autres domaines, l'impact de l'"oral" soit plus minime toutefois (comme chez JF visiblement)...


 


Sinon, pour la question du sexe: tous les candidats auditionnés étaient des hommes (bon, je suis conscience que comme argument de défense, on fait mieux... mais sur ce poste dans une matière
historiquement assez masculine, il y a eu 10% de candidats femmes au total).



JF 27/05/2013 16:04


Commentaire un brin cynique (ou désabusé ?) : pour être recruté dans une université française, autre que dans les gros labos à très forte dynamique recherche, il y a une règle principale : il ne
faut pas faire peur aux gens.


Or, de quoi les gens en poste ont-ils peur ? Qui'on change leurs petites habitudes, et/ou qu'on les force à se remettre en question.


Donc les vrais critères de recrutement (et ton message le montre bien) sont plutôt:


- Candidat local ou paralocal (on le connaît, il a passé du temps chez nous, on l'aime bien);


- Canddiat qui n'est pas trop brillant, et en aucun cas meilleur que les membres de la commission;


- Candidat qui ne montre pas de volonté trop forte de développer ses propres thèmes de recherche, mais qui va "s'intégrer dans l'équipe" -- en bon Français, faire des manips (ou des calculs) pour
les gens déjà en place, en "s'insérant dans les thématiques de l'équipe" mais surtout pas en portant de nouveaux projets (pour les gens qui sont dans des pays non-Français : oui, ça veut dire
qu'on recrute les MCf comme si ils étaient des post-docs, pas des Assistant Professors; quelqu'un avec un profil Assisant Prof est très mal barré);


- Candidat "lisse", qui ne montre pas une énergie débridée qui pourrait se traduire par une envie de changer les choses.


 


En langue de bois comissionesque, ça donne, dans l'ordre :


-"il n'a pas fait l'effort de prendre contact avec nous"


- "c'est une étoile filante, ce genre de type ne va pas rester, il partira tout de suite" ou "oui, enfin, on ne va quand même pas recruter sur le h-index, la bibliométrie c'est pas tout"


- "il n'est pas vraiment dans le profil, on ne voit pas comment il va s'intégrer"


 - "ça part un peu dans tout les sens, son projet n'est pas encore très mûr"


et le joker, utilisable dans tout les cas : "il est trop jeune"/"il n'a pas un dossier exceptionel pour son âge"/"il devrait plutôt attendre un an de plus et postuler sur un poste de prof"

mixlamalice 27/05/2013 16:16



Je nuancerais sur le recrutement d'un "super post-doc" en tout cas en ce qui concerne le poste dont je parle: équipe sans classe A, PU ou DR (donc jeune, pas forcément super installée, mais
"indépendante"). On cherche dont à recruter quelqu'un qui va s'intégrer (eg s'investir suffisamment dans l'équipe pour "installer" les thématiques en cours; donc pas quelqu'un qui va directement
faire 100% de trucs neufs, mais avec quand même une certaine latitude*).


 


Donc pour le coup, le candidat choisi n'a été ni local ni paralocal (personne dans la commission n'avait travaillé avec lui de près ou de loin), très jeune, et je pense potentiellement "meilleur"
scientifiquement que les membres actuels de l'équipe (avec un "dossier" encore "en construction"). Pas vraiment le profil type dont tu parles donc.


 


Par contre, d'accord sur les "éléments de langage": on peut assez facilement trouver une formulation très positive ou au contraire plombante pour décrire la même chose. "trop jeune" =
"prometteur"; "beaucoup de publis" = "c'est son chef qui a tout écrit et qui saucissonne les papiers" etc etc


 


* même si en pratique je pense qu'il y aura tentatives de récupération des équipes voisines, ce n'est pas initialement prévu comme ça. 



Anne Lavigne 26/05/2013 12:22


Heu, c'est bien de "comité de sélection" dont il s'agit ? pas de "commission de spécialistes" ? Je sais, je peux avoir l'air de pinailler, mais en fait non : la "commission de spécialistes"
permet un apprentissage, à la différence du comité de sélection. Les effets de dynamique de groupe sont/auraient été peut être différents, avec la répétition des réunions au cours du temps. Je
n'en sais rien, mais je m'interroge...

mixlamalice 26/05/2013 13:18



Bonjour,


 


Oui vous avez parfaitement raison, le nom a changé, a priori je suis suffisamment jeune pour n'avoir connu que les comités de sélection. Je corrige donc mon titre...


Je connais quelques labos qui essayent de garder leur "comité de sélection" d'une année sur l'autre justement pour permettre cet "apprentissage": ça ne peut marcher que si on est un suffisamment
gros labo pour avoir quasiment un poste ouvert par an, cela dit... en pratique, je ne sais pas si ça marche mieux ou pas.



postdoc 26/05/2013 10:54


@Me. Je suis très largement d'accord avec toi. J'ai des sentiments très similaires avec des gens qui passent et qui n'ont pas les meilleurs CV (pour être diplomate). Après les gens à 5 sigma
au-dessus du reste tendent à passer aussi, heureusement. Mais pour les simples humains comme nous autres c'est assez incompréhensible. Cette année  pour un concours (pas CNRS) on m'a sorti
en gros que blabla, pas assez de citations blabla. Sauf que celui qui est passé dans mon domaine a en gros mon âge, a 2 fois moins de papiers et a nettement moins de citations par papier (et pour
autant que je sache fait 0 administration contrairement à moi). Comme dit Mix, je pense qu'il y a une tentative de rationalisation des décisions. Sauf que là j'ai vraiment l'impression qu'on me
prend pour un bon gros débile profond à me sortir des âneries pareilles en s'imaginant que je vais gober ça. J'admets en concevoir un mépris profond envers certains membres de ces commissions.


 


Pour aller encore une fois dans le meme sens, j'avais un collègue dans la section CNRS et il a assisté à mon audition. Après je lui ai demandé des retours et il m'a dit qu'il était très embêté
car lui n'avait strictement rien à redire à mon audition, au contraire, mais que certains membres du jurys n'avaient pas aimé certaines de mes réponses (pas aimé quoi, mystère …). Et visiblement
même si mon dossier n'avait aucune faille d'après lui, ça a suffi à me tuer. Je pense donc qu'effectivement un dossier non catastrophique ça permet d'avoir une audition mais qu'après les cartes
sont rebattues et c'est à qui arrivera à bullshitter avec assurance pendant ¼ d'heure pour avoir un poste à vie.


 


Pour en revenir aux propos de Mix, avec le peu d'informations qu'on a à travers ce billet, avec moi le premier classé n'aurait même pas été auditionné. Je pense qu'il est simplement impossible
d'évaluer quelqu'un qui n'est pas sorti de son labo de thèse. En fait je serais contre auditionner quelqu'un à moins de thèse+2 pour cette raison (bon, avec un peu de flexibilité pour les gens
effectivement à 5 sigmas évidemment, il ne faut pas être dogmatique non plus).


 


Après je crois que je viens de voir pire. J'ai récemment été auditionné pour un poste de MdC dans une université étrangère avec un processus à l'américaine. On était 2. Sauf que je me suis
rapidement aperçu que l'autre est un proche collaborateur de 80% des membres de la commission de recrutement. En gros je pense que j'étais là pour respecter la procédure légale. Enfin, peut-être
suis-je mauvaise langue vu que je n'ai pas encore le résultat mais je serais surpris d'avoir une offre dans ces conditions. Au moins ça m'a fait un grand voyage tous frais payés. :)

mixlamalice 26/05/2013 13:35



Je vais faire une réponse groupée:


- le concept du "coup de coeur" me semble effectivement proche de la réalité, notamment par son côté "peu rationnel". Il n'y a pas besoin que le coup de coeur touche une majorité de la
commission, 3 ou 4 personnes peuvent suffire à rapidement rallier à elles les "neutres" s'il n'y a pas en face 2 ou 3 personnes qui ont eu un "anti coup de coeur". 


Je pnse que ce qui a fini par plomber le 2ème chez nous est une quasi "parité" coup de coeur/ anti coup de coeur.


 


- attention, il y a toujours des petites différences entre les auditions CNRS et MCF même si elles tendent à se réduire depuis qu'il y a une épreuve admissibilité sur dossier au CNRS. Cela dépend
des sections, mais dans celle de Priscilla par exemple, il y a eu 1/3 d'auditionnés par rapport au nombre de postulants (d'autres continuent à auditionner 90% des postulants), pas si différent
d'une audition MCF (où on tourne à 1/4 dans ma section).


Les feedbacks (ou éléments factuels) négatifs ou positifs doivent venir du (ou des) rapporteur(s) qui a a priori passé un peu de temps sur le dossier, mais l'importance que ça a dépend de
l'organisation de la commission: est-ce que le président demande aux rapporteurs un retour pour récapituler le dossier avant de discuter la personne, par exemple. Est-ce qu'on fait un bilan
candidat par candidat ou aborde directement la notion de classement etc.


 


- pour les "raisons objectives", on peut estimer qu'elles ne sont pas toujours valables, mais j'aime la cohérence, donc en commission je suis souvent le pénible qui dit "on a dit ça pour tel
candidat, on ne peut pas ne pas le dire pour un autre qui a exactement le même profil". 


Exemple par rapport à ce que vous disiez: je suis aussi partisan d'auditionner des gens qui ont au moins une expérience de post-doc "validée" (cad au moins 1 an, dans un autre labo, et avec 1
papier ou 1 conf internationale). Après, sur ce poste là, nous n'avions pas de dossiers extrêmement excitants chez les gens expérimentés, et 3 dossiers "prometteurs" selon ma terminologie (pas ou
peu de post-doc, mais très bonne thèse et bon dossier enseignement). A partir de la soit on en auditionnait aucun (avec risque de manquer de candidats intéressants le jour J) ou on les
auditionnait tous (profil très similaire). On s'est mis d'accord rapidement sur 2 à auditionner et beaucoup ne voulaient pas auditionner le  3ème, donc j'ai dit "attendez, on a aucune raison
valable de ne pas l'auditionner lui si on dit que les autres sont auditionnables", ce qui a fini par convaincre. Il faut autant que faire se peut faire preuve de cohérence "interne" dans la
décision, c'est je pense très important.


 


- pour revenir donc sur le classé premier: on a effectivement "hésité" à l'auditionner (cf ci-dessus). Peut-être que dans une autre situation il n'aurait pas eu sa chance (dans le comité de l'an
dernier, beaucoup de dossiers "expérimentés" intéressants, il serait donc peut-être passé à la trappe). Mais comme le dit Me, ensuite, les compteurs sont remis à 0 et l'audition compte souvent
(pas toujours) beaucoup...


Cela a aussi une logique: si on choisit d'auditionner le candidat, on admet implicitement qu'il a une chance. Donc on ne peut pas dire ensuite "ah oui mais il manque d'expérience" (enfin, on peut
le dire, mais on ne peut pas s'en servir comme seul argument de "discrimination": on le savait lors de l'examen du dossier).


Donc oui, on peut passer "ric-rac" l'épreuve dossier et terminer une tête devant à l'admission, et réciproquement. Le facteur "bon endroit, bon moment" n'est pas nul...


 


 


 



Me 26/05/2013 04:23


Billet tres interessant. En tant que candidats malheureux au CNRS, je me suis toujours demande comment les jurys pouvait en arriver a leur classement parfois surprenant (laureats avec 6 mois de
postdoc, affectation dans le labo de these, pas de papier 1er auteur en 5 ans de postdoc, ...)


Je me suis toujours dit que y a soit une magouille enorme, soit un effet de groupe enorme. Je pencherais plutot pour la 2eme solution. En discutant avec des gens en commission, on a vraiment
l'impression que ca marche au coup de coeur. Le candidats fait une bonne audition, repond pas trop mal au question du jurys et ca suffit le propulser bien en avant des autres. Ce qui est etonnant
est qu'il n'ai pas de feedback negatif des autres membres pour compenser cet emballement et pointer les ref flags evident. 


 


Ma theorie est que pour les processus de recrutement (a l'etranger et en france), le CV et les publications servent a etre auditionés, mais apres tout se joue a l'oral. Or en france on auditionne
quasiement tout le monde, donc le filtre du CV et publi joue tres peu, et on se retrouve a des classement qui sont sinon aléatoire, du moins surprenan