Overblog
Editer l'article Suivre ce blog Administration + Créer mon blog

Présentation

  • : La vie au labo
  • : Les pensées - j'ose le mot- diverses d'un jeune scientifique ayant obtenu un poste académique à l'Université, après presque trois années en post-doctorat dont deux au fin fond du Massachusetts. Ca parle de science (un peu) mais surtout du "petit monde" de la science. Et aussi, entre autres, de bouffe, de littérature, de musique, d'actualité, etc. Et de ma vie, pas moins intéressante que celle d'un autre.
  • Contact

Profil

  • mixlamalice
  • Misanthrope optionnellement misogyne et Esprit Universel.

Recherche

13 mars 2014 4 13 /03 /mars /2014 16:06

On a beaucoup discuté sur twitter des résultats des prépropositions ANR, sortis en début de semaine. On avait déjà bien disserté à l'époque de l'annonce des nouvelles modalités de dépôt en août septembre.

 

J'ai pris le temps de consulter les rapports d'activité depuis la création de l'agence, et de regarder l'évolution par année:

- du budget alloué aux (engagé dans les) AAP

- du nombre de projets déposés

- du nombre de projets acceptés

Pour l'année 2013, les chiffres ne sont pas encore disponibles publiquement (ils devraient l'être dans quelques mois), mais j'ai pu en voir certains par le biais d'un collègue insider (nombre de projets acceptés, et budget). Il reste deux ou trois valeurs que je n'ai pas formellement, mais qu'on m'a communiquées oralement avec l'incertitude qui va avec. Elles sont encerclées en rouge.

 

Je vous mets les graphes (moches, j'ai pas que ça à faire non plus) sans commentaires autres que, depuis 2 ans, "the rate is accelerating". Vous en faites ce que vous voulez.

Amis journalistes, si vous me lisez et que ça vous intéresse, prévénez-moi avant de vous en servir (ou à tout le moins citez-moi, même si comme me l'a dit un jour une journaliste réputée d'un quotidien tout aussi réputé, ce n'est pas votre façon de procéder). Je dis ça à tout hasard...

 

graphe-global.jpg

Graphe global, ordonnée en log

 

deposes.jpg

 

En 2014, changement en profondeur des règles avec passage à une sélection en 2 étapes, et pour la 1ère aux prépropositions de 5 pages (quand avant il n'y avait qu'une seule étape avec un document d'une quarantaine de pages)

 

acceptes.jpg

 

 

taux-d-acceptation.jpg

 

Le point 2014 sera réactualisé en juillet...

 

budget-copie-1.jpg

 

 

 

Edit: une idée dont je ne sais pas si elle est légitime, une évaluation du nombre de projets financés par rapport au budget (ce qui serait relié à un coût moyen par projet). Le chiffre est à peu près constant (2.2 + ou - 0.2 projets financés par M€, ou si vous voulez un coût moyen de projet de 450k€ - ce qui ne semble pas absurde pour un projet collaboratif typique de 3 ou 4 ans).

Le fait que ça soit constant semble indiquer que, quand le budget baisse, on ne baisse pas l'enveloppe par projet, mais le nombre de pojets, proportionnellement (ce qui est un "choix politique").

 

nb-projet-over-budget.jpg

 

Partager cet article
Repost0

commentaires

N
<br /> Sur l'enveloppe par projet (qui ne baisse pas), c'est un élément sur lequel le processus de sélection a très peu d'influence (les projets obtiennent, en gros, ce qu'ils ont demandé, et sont<br /> financés dans l'ordre des notes scientifiques obtenues, non en fonction de ce qu'ils demandent).<br /> <br /> <br /> La grille d'évaluation des projets contient une case sur l'adéquation entre le budget demandé et le travail prévu. Si le budget est sous-évalué, le projet sera rejeté. Si le budget est légèrement<br /> sur-évalué il pourra être revu à la baisse (j'avais proposé qu'on puisse aussi revoir le budget à la hausse s'il est sous-évalué, mais on m'a pas écouté). S'il est très sur-évalué, le projet sera<br /> rejeté (ne pas savoir estimer son budget fait peser un doute sur le sérieux des porteurs du projet...) <br /> <br /> <br /> Sachant qu'il faut promettre un travail sur 3-4 ans, embaucher plusieurs personnes et monter des manips, 450 k€ parait une moyenne raisonnable.<br />
Répondre
M
<br /> <br /> Merci pour les précisions. <br /> <br /> <br /> Ce dernier graphe que j'ai rajouté un peu après les autres m'est venu après une décision twitter. Il me semblait bien, de façon "intuitive", que c'était le nombre de projets financés qui évoluait<br /> comme le budget, mais quelqu'un (Enro je crois) me demandait si c'était tant une évidence que ça. A savoir que la baisse de budget pouvait, en théorie, être répercuté sur le financement "offert"<br /> par projet pour ne pas faire trop chuter le nombre de projets acceptés. Comme d'expérience, on m'avait "raboté" 10% (en 2011) sur un projet, je me suis dit qu'après tout, il était possible que<br /> cette démarche ait été généralisée...<br /> <br /> <br /> Cette discussion a eu lieu avant que je mette la main sur une partie des données 2013, qui semblaient déjà conforter la 1ère hypothèse. Je pense que ce dernier graphe ne laisse plus trop place au<br /> doute (d'autant que les valeurs qu'il donne ne semblent pas idiotes, à la grosse louche - même si les projets JC sont à moins et que certaines grosses machines avec beaucoup d'industriels à<br /> plus), ainsi que ta confirmation.<br /> <br /> <br />  <br /> <br /> <br /> Ce que tu dis concernant les sur-évaluations trop importantes va dans le sens de ce que certains gestionnaires m'ont dit (il est possible que certains projets de collègues aient été refusés pour<br /> cette raison: chez nous, on peut avoir des équipements très chers, de plus en plus durs à financer; la tentation pouvait être grande quand l'ANR avait encore pas mal de sous de tenter le bluff en<br /> en mettant un dans un projet sans que ça ne soit complètement légitime de le faire...). Pour les sous-évaluations, par contre, j'ignorais (mais je crois que j'ignorais aussi qu'on pouvait<br /> grossièrement sous-estimer son financement...).<br /> <br /> <br /> <br />
E
<br /> @jaromil : C'est exactement le genre de choses sur lesquelles devrait se baser une "evidence based science policy". Mais pour ça il faut 1/ des données et 2/ de la volonté.<br /> <br /> <br /> Pour les données on est loin du compte comme le montrait l'article de Deuxième labo (disclaimer : je suis co-auteur) : http://www.deuxieme-labo.fr/article/acces-aux-donnees-sur-la-recherche/<br /> <br /> <br /> Pour la volonté il semblerait qu'on y vient, comme le prouve le séminaire qui s’est tenu en septembre dernier au Ministère de l’enseignement supérieur et de la recherche, réunissant quelques<br /> français (l’ANR, l’OST, le ministère et deux laboratoires d’économie de l’ENSAE et de l’université de Strasbourg) et de nombreux spécialistes étrangers dont l'économiste américaine Julia Lane, à<br /> l'origine du projet STAR METRICS qui vise à donner des fondations empiriques aux politiques de recherche et d’innovation. <br />
Répondre
M
<br /> Via @Alexis_Verger sur Twitter, un lien vers le rapport du projet de loi de finances 2014 et l'analyse concernant "l'avenir de la recherche sur projets" <br /> <br /> <br /> http://www.senat.fr/rap/l13-156-322/l13-156-32215.html<br />
Répondre
M
<br /> <br /> Il semblerait d'ailleurs que suite à ce rapport, un engagement soit pris pour que le budget de l'ANR ne diminue plus les prochaines années. La justification politique étant bien entendu, "après 9<br /> ans de tatonnement, nous avons désormais atteint un optimum".<br /> <br /> <br /> <br />
P
<br /> Une petite suggestion. En parallèle tu pourrais aussi donner les chiffres pour les ERC. Il me semble que ça suit la même tendance, au moins au niveau du taux de succès qui crève le plancher<br /> d'année en année.<br /> <br /> <br />  <br /> <br /> <br /> J'avais une collègue fort expérimentée qui m'avait dit qu'en-dessous un taux de succès d'un tiers, la sélection perdait son sens et ressemblait plus au lot qu'à autre chose. Mon expérience dans<br /> un certain nombre de comités de sélection me font penser que c'est le bon ordre de grandeur.<br />
Répondre
M
<br /> <br /> Ah, je laisse d'autres se farcir les rapports d'activité ERC... (appels qui restent encore peu répandus dans ma communauté, de ce que je vois).<br /> <br /> <br /> Je croyais pourtant que les taux de succès aux ERC étaient plutôt meilleurs que ceux des ANR, notamment par une forme d'auto-censure d'une part, et de mécanisme de sanction des projets<br /> dégueulasses (1 an ou 2 d'interdiction de dépôt en dessous d'une certaine évaluation).<br /> <br /> <br /> Après, vu à quel point tout le monde est encouragé à déposer là-bas désormais malgré ces garde-fous, il est possible que le nombre de déposants augmente fortement... et à budget constant, même si<br /> le nombre d'acceptés reste constant, le taux d'acceptation baisse.<br /> <br /> <br />  <br /> <br /> <br />  <br /> <br /> <br /> Je crois qu'effectivement, il y a un certain nombre d'études qui s'intéressent à la question de l'optimisation de la sélection et montrent qu'en deça d'un certain % (j'avais en tête autour de<br /> 25%), on redevient essentiellement aléatoire...<br /> <br /> <br /> La encore, je serais intéressé si quelqu'un a une source là-dessus.<br /> <br /> <br /> <br />
J
<br /> Est-ce que tu as connaissance d'une évaluation de la pertinence des choix de l'ANR ou d'autres organismes de financement ? Avec un recul de 10 ans, ça devient envisageable.<br /> <br /> <br /> Je m'explique.<br /> <br /> <br /> Je ne parle pas seulement d'évaluer la production des projets financés à la fin (car finalement cela revient encore à évaluer les seuls chercheurs), mais d'essayer de suivre par comparaison ce<br /> que deviennent les projets non retenus.<br /> <br /> <br /> J'ai en effet dans l'idée que certains projets seront mis en oeuvre coûte que coûte avec ou sans financement ou avec des financements autres.<br /> <br /> <br /> On pourrait ainsi éventuellement voir apparaitre :<br /> <br /> <br /> 1) un taux d'abandon de projets (parce qu'impossibles à réaliser sans financement, parce que rédigés uniquement en vue de décrocher un contrat etc...)<br /> <br /> <br /> 2) les bons projets à côté desquels l'ANR est passée<br /> <br /> <br /> 3) au bout de combien de temps les bonnes "idées" encore fertiles au bout de dix ans sont effectivement financées (parce que je pense quand même que les bons projets finissent par être financés)<br /> <br /> <br /> Du point de vue du ministère on pourrait aussi être intéressé de voir quelle adéquation ou inadéquation il y a entre les grandes orientations données et les résultats concrets (alors oui, les<br /> américains ont voulu aller sur la lune et la NASA a réussi à le faire, mais tout n'est pas comme ça)<br /> <br /> <br /> Alors je sais, c'est sans doute très compliqué et peu automatisable, il y aura beaucoup d'évaporation (j'imagine une collecte de donnée essentiellement déclarative et on sait que garder la trace<br /> d'une promotion étudiants après leur formation peut relever de la gageure, alors de simples "projets" qui peuvent changer de nom au cours du temps...). D'autre part, il est difficile d'évaluer<br /> avec les mêmes critères des projets financés et réalisés avec des post-doc & thésards de ceux réalisés à "en marge" d'autres travaux.<br /> <br /> <br /> Je ne sais pas si c'est une bonne idée*, mais peut-être quelqu'un a-t-il déjà essayé de regarder tout ça.<br /> <br /> <br />  <br /> <br /> <br /> * cela pourrait avoir la forme d'études de cas rétrospectives; j'ai déjà vu ça lors de conférences où l'orateur fait remarquer de façon plus ou moins amère ou plus ou moins revancharde que son<br /> projet n'était pas (suffisament) soutenu au début... Généralement je trouve ça assez pénible, surtout venant d'un ponte qui aura finalement eu une très belle carrière.<br />
Répondre
M
<br /> <br /> Non, j'ignore si cela existe, je serais preneur aussi de telles informations, mais ça semble complexe...<br /> <br /> <br /> <br />