Or, dans le panel, ils ne sont pas seulement sollicités sur leurs spécialités, car ils sont inclus dans un débat qui aborde différents thèmes ; ainsi, ils peuvent être amenés à parler de sujets qu'ils ne maîtrisent pas. Les correspondances et notes internes ou entre services, produites au cours de l'élaboration des documents, peuvent fournir des précisions et explications sur les choix de priorité et de programmation. Dans les pays concernés, le mode de collecte proposé pour ces indicateurs est le système de monitoring du Cadre Stratégique de Lutte contre la Pauvreté (CSLP ou PRSP). Les entretiens individuels peuvent être centrés sur des catégories fines de bénéficiaires et/ou sur des questions très ciblées portant sur des hypothèses différentes. Grâce aux études sur plusieurs sites, ces chaînes de preuves peuvent être renforcées par la constatation de l'apparition simultanée d'effets sur plusieurs sites à la fois. La réalisation d'une étude de cas pilote a l'avantage de pouvoir servir d'exemple aux autres évaluateurs pour le format et le contenu du rapport. De nombreux facteurs interviennent pour orienter l'allocation des ressources, notamment les questions de sensibilité, d'acceptabilité, d'équité et d'efficacité. Les enquêtes par téléphone coûtent moins cher que l'enquête en face à face. Outil de recherche des causes d'un effet constaté, il est notamment utilisé en contrôle qualité, en diagnostic clinique et en prévention des accidents. Même bien structuré, outil subjectif. Une forme souple et ouverte d'entretiens est requise. Dans chacune des parties, il sera fait la distinction entre les données à analyser et les recommandations. il est un outil de décision participative à laquelle sont associées les principales parties prenantes du projet, dont l'identification elle-même fait l'objet de la première étape du processus. Tableau des zones d'enjeux dans le domaine des mutations. C'est précisément cette insuffisance des évaluations que prétend surmonter le diagramme des décisions. Outre les outils informatiques qu'il faut savoir manier, les concepts ainsi que les méthodes mathématiques d'agrégation des données (voir étape 8) nécessitent un savoir-faire de haut niveau pour ne pas produire des conclusions erronées ou conduire l'analyse dans la confusion. L'évaluateur devra rester attentif à collecter puis présenter dans son argumentaire les preuves qu'il apporte. Ce rapport est la seule production visible du panel, sur lequel le jugement de la partie de l'évaluation confiée au panel sera basé. Ont-elles été vérifiées auprès des auteurs et/ou contributeurs lors du test ? Les documents qui les présentent exposent en général un ensemble d'objectifs plus ou moins hiérarchisés (voir la forme complexe du diagramme des objectifs), parmi lesquels peuvent être distingués un ou (plus rarement) plusieurs objectifs globaux, des objectifs opérationnels relatifs aux projets concrets d'aide et un ensemble d'objectifs intermédiaires situés à divers niveaux. Elles sont conçues pour examiner en détail les relations de cause à effet et pour valider ou invalider un certain nombre d'hypothèses existantes avant l'étude de cas. Il est donc important de prêter une attention spéciale aux outils d'analyse et de jugement, afin d'assurer l'homogénéité de la méthode et la performance optimale des outils tout au long de la séquence. Ces entretiens conviennent particulièrement en début d'évaluation, à un niveau très global pour «défricher» le sujet. ceux qui sont prévus depuis Paris et qui sont organisés pour compléter l'apport du panel d'experts. Ces techniques souvent itératives à ce stade ont pour but de tendre vers un certain consensus. Il permet notamment de valider la pertinence de stratégie présentée dans les diagrammes des objectifs et des effets. Les évaluateurs peuvent par exemple créer des groupes comparatifs ou des groupes de réaction à des propositions. publient pour un grand nombre de pays des rapports sur l'état des droits de l'homme et les principaux problèmes rencontrés. Il s'agit avant tout d'identifier et analyser quels ont été les groupes d'acteurs sur lesquels la politique a eu un impact (positif ou négatif). de la rémunération d'intermédiaires pour faciliter l'organisation de la réunion. Les compétences des membres du panel permettaient-elles de couvrir de façon complète tous les sujets à traiter ? Les représentations graphiques de données utilisant ou non des programmes informatisés. Malgré la rigueur requise pour la mise en œuvre des études de cas, la conception de l'étude doit malgré tout, toujours laisser la possibilité à l'évaluateur d' "explorer" un domaine, si cela lui paraît justifié. La justification du choix de l'objectif global (par rejet d'autres objectifs globaux possibles) sera examinée au regard des finalités stratégiques formulées par les institutions de l'Union Européenne (Conseil, Parlement, Commission). D'après : " Cost-effectiveness analysis ", 2000, p.110. Il faut donc identifier les problèmes en tant que : Les problèmes faisant directement l'objet de l'intervention peuvent ne pas être explicitement identifiés. Elle peut aborder des sujets que l'évaluateur n'a pas prévu. S'appuyer sur des organisations spécialisées. Il en existe en français, en anglais et autres langues. Si des réajustements de budget, de délais ou de contenu de la mission s'avèrent nécessaires, c'est lui qui en débat avec le commanditaire pour trouver une solution. Les participants peuvent volontairement déformer leurs messages pour différentes raisons. L'analyse multicritère peut être considérée comme une approche subjective, Submitted by kgr, on Tue, 27/01/2015 - 22:13 Commencer par des questions faciles qui permettent de mettre en confiance le répondant. 47. La mise en œuvre d'un questionnaire fermé ou semi fermé sur un échantillon représentatif a-t-elle été justifiée par le besoin d'indicateurs statistiques ? Plusieurs phases pour structurer la grille. Ceci implique donc la sélection d'un tel " groupe " par l'équipe d'évaluation pour conduire l'analyse. Deux possibilités intéressantes lui sont offertes par cette méthode : la première est qu'il peut mettre plusieurs critères à égalité, la seconde est qu'il peut insérer plusieurs niveaux de cartes blanches entre deux critères, marquant ainsi sa différence de préférence entre les critères. D'autres interrogations peuvent surgir au cours de la phase de structuration, formulées par les principaux responsables de la mise en œuvre de la stratégie et donc davantage reliées aux difficultés rencontrées aux stades de la programmation et de la réalisation. puis de confronter les deux. d'autres preuves matérielles comme des casettes vidéo ou sonores, etc. L'équipe d'évaluation peut alors ne pas disposer d'une présentation explicite et logiquement structurée des objectifs poursuivis par le donneur et encore moins d'une analyse systématique des difficultés auxquelles ces objectifs sont censés répondre. Selon les données disponibles, la collecte et la reconstitution des données peuvent exigées des ressources importantes. Elles permettent alors de comparer les résultats de ces enquêtes dans les différentes zones étudiées. L'évaluateur pourra émettre un jugement sur la pertinence du système des problèmes présenté par le diagramme après, au besoin, consultation de spécialistes. L'intérêt de cette méthodologie est donc de fournir aux évaluateurs des informations pertinentes concernant les bases de donnes d'indicateurs. Sanitaire et social. Les besoins actuels (2004) de déplacements à Bruxelles. Place des diagrammes d'objectifs dans la conduite d'une évaluation axée sur les questions d'évaluation. PATTON M.Q., 1987: How to use qualitative methods in evaluation. L'analyse multicritère est, dans une position ex-ante, un outil d'aide à la décision. En plus de ces indicateurs, il est précisé qu'il sera important de suivre les parts de budget allouées à la santé et à l'éducation ainsi que les indicateurs macro-économiques (de source nationale ou FMI). des comptes-rendus d'activité des opérateurs et de suivi des programmes. Critères environnementaux : sensibilité à la pollution des sites de stockage, contrôle des émissions de fumées, surface nécessaire au projet, etc. Critère d’évaluation : Connaissances du contexte et des acteurs concernés par le changement climatique aux Comores. Par ailleurs, plusieurs logiciels existent pour aider à mener ces analyses comme la série des Electre, Prométhée, etc. L'apport de l'analyse culturelle et sociale peut être considéré comme transversal aux différents outils d'évaluation. L'indépendance vis-à-vis du programme à évaluer est capitale, un évaluateur ne pouvant être juge et partie. Un expert ne peut pas effectuer un nombre très important d'entretiens individuels dans une même journée. En particulier, il est important de profiter de la phase de collecte pour avancer dans l'analyse et tester auprès de certaines personnes rencontrées les interprétations alternatives possibles, pouvant expliquer une situation. l'industrie, le commerce et les services. KOTHARI U., 2000: Developing guidelines for assessing achievement in the eight focal areas of social development work and for assessing outcomes, Institute for Development Policy and Management, University of Manchester. Celles-ci peuvent toutefois être très techniques et requérir l'appui d'un spécialiste, en particulier pour connaître les limites de leur usage. Il est basé avant tout sur la typologie suivante, avec un focus particulier sur les indicateurs de résultats : Le but de la production et du suivi de ces indicateurs est double et nécessite la constitution de deux séries distinctes d'indicateurs pour respectivement : EUROSTAT dispose, pour les pays membres de l'Union européenne, de nombreuses données concernant plusieurs domaines regroupés en partie sous forme d'indicateurs et classés selon le court terme (balance des paiements, prix à la consommation, etc. Quels usages peut-on faire du diagramme des problèmes ? les technologies de l'information et télécommunications. L'analyse des problèmes dans la séquence simplifiée du cycle de la stratégie. A titre d'exemple, deux grilles sont détaillées ci-dessous, qui naturellement se rejoignent en montrant deux avis sur les qualités que doit posséder un indicateur. combien coûte l'éradication de cette pathologie pour une personne ? Les versions successives de ce document peuvent présenter les priorités et la programmation envisagées et finalement non retenues. Dans le cadre d'une analyse d'impact, le focus group est utilisé pour identifier les différents groupes d'acteurs impliqués par l'intervention, ainsi que leurs sensibilités à un problème donné. il ne peut y avoir qu'un seul objectif de premier rang ou objectif global. Il n'y a pas d'indicateur parfait, mais on sait malgré tout définir les qualités et les défauts d'un indicateur. circonscrire le sujet de l'analyse et clarifier la problématique étudiée. Pour l'essentiel, les coûts sont des coûts salariaux (coût des enquêteurs) et des coûts de transport lorsque l'enquête est conduite sur un territoire important. Des entretiens de groupe pourront également être conduits, principalement avec des bénéficiaires. Il est en effet d'usage de disposer l'ensemble des causes et celui des conséquences en prenant le problème principal comme axe virtuel, les causes étant disposées dans la partie basse du diagramme et les conséquences dans la partie haute. Pour une entreprise, cette étape est en général très claire. Les participants ne maîtrisent pas toujours la langue des évaluateurs, ni même l'anglais, langue véhiculaire internationale ; d'autre part, la richesse et la subtilité de la terminologie employée par les participants dans leur propre langue peut être elle-même objet d'analyse - toutes raisons qui militent pour s'adjoindre un interprète de qualité dans cette étape du travail. Les coûts de l'intervention ont-ils pu être évalués avec une précision suffisante ? d'autre part, au sein d'un même entretien, en reposant de façon différente certaines questions trois fois, afin de vérifier les informations et d'appréhender le degré de variations possibles des analyses et les interprétations des évènements faites par l'interlocuteur. Il en est de même du diagramme raisonné. Cela tient, par exemple, à ce que les relations entre objectifs ou effets dépendent de facteurs nombreux et parfois mal connus. Par ailleurs, Eurostat dispose de données intéressantes sur les échanges entre les pays de l'Union Européenne et le reste du monde. version 1.1, février 2001. " Submitted by kgr, on Sat, 24/01/2015 - 00:03 conserver du temps disponible pour des entretiens non prévus, mais qui s'avèrent nécessaire à la lumière du nouvel éclairage de la mission sur place, ses hypothèses de travail s'en trouvant souvent modifiées, du moins enrichies. L'élaboration de l'intervention d'un donneur dans une relation bilatérale ne découle pas forcément d'une analyse des problèmes. Le choix peut alors se porter sur quelques uns de ces cas, en les répartissant dans des catégories pertinentes à étudier (ex : les programmes menés par tel opérateur sont-ils mieux conduits que ceux menés par tel autre ?). tous les critères sont reportés sur des cartes de type cartes à jouer, il est possible de laisser des cartes blanches (sans aucune inscription de critères). Il ne doit pas négliger l'effet de distorsion des opinions personnelles provenant de l'effet de groupe (enjeu d'appartenance, de reconnaissance, effet de leadership, d'affirmation exagérée, création artificielle de conflit du fait de la confrontation des opinions, etc.). En effet d'une part d'autres interrogations peuvent surgir au cours de la phase de structuration, formulées par les principaux responsables de la mise en œuvre de la stratégie et donc davantage reliées aux problèmes rencontrés aux stades de la programmation et de la réalisation. Pour constituer ce groupe, l'équipe d'évaluation peut choisir parmi les acteurs concernés par le programme ou parmi des délégués de ces acteurs. Un autre système d'indicateurs orienté vers la mesure du développement durable au travers d'un système commun des comptes économiques et environnementaux (SEEA), peut également fournir des données pour certains pays. L'analyse est conduite sur la base d'une comparaison entre des actions classées par couple et basée sur un indice de surclassement. Une première limite est inhérente à la méthode proposée. L'enquête par questionnaire est un outil d'observation très performant, notamment pour la collecte d'informations auprès d'un grand nombre de bénéficiaires finaux. MARSDEN D., OAKLEY P., 1990: Evaluating social development projects, Oxfam, Oxford (extracts from the International Conference in Swansea about Performance Criteria in NGO Poverty Alleviation Programmes, september, 19-22, 1989). Animation et sports. Pour cela, il est très important de distinguer clairement au cours des entretiens le recueil d'informations (faits vérifiables) du recueil de points de vue, d'analyses et d'opinions, afin de les restituer tels quels dans le rapport. Il convient que les experts du panel aient autant que possible la pratique de la langue utilisée sur le territoire où se déroule l'évaluation. Durant la mission, nous conseillons également de prendre connaissances des travaux produits localement et qui ne sont pas toujours accessibles ou disponibles en Europe : La presse locale doit être également utilisée dans la démarche. effets attendus de l'aide que prévoit le document stratégique de la Commission. et aboutit à des conseils opérationnels et à des recommandations. Le guide peut être complété par des questions visant à éclairer ou préciser les réponses faites par la personne interrogée. Pour mettre en pratique les principes fondamentaux de l'analyse sociale, pour prévoir et concevoir, le sociologue ou l'anthropologue du développement dispose des connaissances nécessaires en matière d'organisation sociale et de systèmes culturels pour induire un développement moins douloureux et plus performant " (Cernea, 1995). Dans le cas des pays en développement, il peut néanmoins être intéressant d'utiliser l'enquête par questionnaire en ciblant des groupes de population pour lesquels l'évaluateur ne peut pas disposer d'informations quantitatives par d'autres moyens. Cette faiblesse prend toujours pour référence les outils statistiques habituels beaucoup plus difficiles à remettre en cause car basés sur des pratiques mathématiques incontestables. SCRIMSHAW N. & GLEASON G.R., 1992: Rapid assessment procedures : qualitative methodologies. Peut donc être, a contrario, qualifié d'illogique un lien contredit par l'expérience aussi bien des experts, que des opérateurs. Il est important de prendre le temps nécessaire pour motiver les participants et leur permettre d'arriver à la réunion, en comprenant le principe de son déroulement et en ayant réfléchi au sujet. Les entretiens avec ce type de groupes sont réalisés, soit dans d'autres zones, soit sur d'autres secteurs ou filières que ceux traités par l'étude de cas. Si, en revanche, les experts doivent réaliser une part significative de l'évaluation, il est impératif que le panel d'experts comporte, en plus des experts de la spécialité, au moins un membre ayant une grande expérience de l'évaluation en tant que telle et un socio-économiste. la place du panel dans celle-ci, et son mode de fonctionnement. L'analyse multicritère implique principalement les acteurs suivants : Selon l'ampleur et la technicité de la mission, d'autres acteurs peuvent participer à l'analyse multicritère : Les ressources financières peuvent être d'ampleur très variable. La disponibilité et l'expérience des experts qualifiés doit être particulièrement assurée pour : Etude de cas, Analyse culturelle et sociale , Panel d'experts, Focus group. une forte crédibilité des conclusions du fait de la notoriété des experts. Elles sont le cœur du questionnaire : les réponses à ces questions doivent fournir à l'étude les informations les plus importantes et les plus ciblées. Quel que soit l'usage qui en est fait, la caractéristique distinctive du focus group est de recueillir un opinion stabilisée après discussion approfondie, au lieu d'une opinion spontanée. La situation de la Tanzanie est comparée à celle d'un groupe de sept pays africains qui sont considérés comme similaires. Qu'est ce qu'un diagramme d'objectifs et un diagramme des effets? Pour les évaluations dont le champ comprend un ensemble d'objectifs et d'activités hétérogènes, notamment les évaluations géographiques, trois outils sont proposés ici, dont le premier, le diagramme des objectifs et des effets, constitue le pilier. A cet égard, il y a lieu de discerner si les changements impliqués par les stratégies de l'Union Européenne font écho à des changements survenus dans l'histoire des pays ou s'ils les ignorent. pour animer la réflexion préalable à la décision des décideurs. et les conclusions de sommets bilatéraux et multilatéraux ; les Documents de Stratégie Pays/Région (DSP et DSR) et les Programmes Indicatif National/Régional (PIN et PIR), les rapports annuels et les bilans à mi-parcours (. Si l'intervention du panel se borne aux domaines techniques de l'évaluation, l'absence d'indépendance des experts par rapport aux domaines considérés a peu de conséquences sur l'évaluation. La datation des documents a-t-elle été confirmée par les auteurs ou contributeurs ? Nombre de ces indicateurs peuvent servir à décrire un contexte ou à étayer des réponses à des questions d'évaluation. À défaut ou à côté des auteurs, toute autre personne ayant contribué à l'élaboration (rédaction, discussion) des documents peut apporter un témoignage utile. Le choix des experts est-il argumenté et pertinent ? L'évaluateur peut utiliser des techniques empiriques s'il dispose de données primaires suffisamment nombreuses et fiables. La précision des résultats quantitatifs attendus était-elle suffisante pour leur utilisation dans l'évaluation ? En règle générale ils sont réservés aux évaluations dont les termes de référence incluent explicitement l'analyse de la prise de décision (cas des évaluations thématiques sur les processus de prise de décision en particulier). Le tableau ci-dessous présente donc dans la colonne de droite une fourchette très ouverte de jours de travail. Nous proposons ici une méthode pour mener cette analyse documentaire. Proposer les sources pressenties pour collecter chaque type d'information. Une attention particulière doit donc être apportée à la préparation et à la rédaction de ce rapport. Get Animate as part of Adobe Creative Cloud for just US$20.99/mo. L'identification des objectifs aux différents niveaux (global, intermédiaire et opérationnel) renvoie à des choix, lesquels peuvent se traduire en questions : pourquoi tel objectif ? Dans ce cas, l'équipe d'évaluation devra en tout cas : Si les documents d'archives et les acteurs concernés ne sont pas accessibles, l'équipe d'évaluation devra expliciter les hypothèses qu'elle a faites pour construire le diagramme. Le graphique. Par cette démarche, il s'agit d'apporter à l'évaluation, une compréhension de la façon dont les dynamiques propres à une société, les hiérarchies sociales, les rapports sociaux de sexe, les croyances religieuses, les représentations en vigueur concernant le travail, l'argent, la richesse, la pauvreté influent sur les possibilités de recevoir et de mettre en œuvre des programmes de coopération. Il faut rester très prudent concernant cette pratique qui peut biaiser l'expression des participants et remettre en cause la validité des résultats. L'équipe d'évaluation doit alors repérer dans l'analyse de la situation les problèmes qui sont liés à l'intervention afin de les intégrer dans le diagramme. Ont-ils été formés sur le sujet et les enjeux du focus group ? Le guide d'entretien offre un cadre à l'entretien individuel, dont l'évaluateur peut s'affranchir, s'il en estime le besoin. qui sont un complément logique au travail du panel d'experts. La caricature possible d'une situation au travers d'une explication trop simpliste. La notion de surclassement est alors basée sur le fait qu'entre deux actions incomparables ou difficiles à comparer, un acteur va se prononcer sous la forme suivante : " l'action A est au moins aussi bonne ou pas pire que l'action B ". Par exemple, l'animateur doit s'assurer de la présence de leaders dans le groupe afin d'inciter les participants à prendre la parole (l'animateur devra veiller à ce que ces leaders n'imposent pas leurs points de vue). Son principe définit que trois sources différentes d'information sont nécessaires pour valider la fiabilité d'une information. identifier ceux qui ont joué un rôle stratégique. Cette usage particulier de l'entretien permet ainsi d'augmenter les chances de recueillir l'information voulue. la représentation multiple d'un facteur agissant comme cause de plusieurs problèmes. En formalisant les points positifs et négatifs d'un territoire et en identifiant les facteurs de son environnement pouvant influer favorablement ou défavorablement sur les projets de ce territoire, l'analyse SWOT permet de réduire les incertitudes et ainsi d'affiner ou d'évaluer la stratégie. Généralement, les enquêtes par questionnaire sont très utilisées en marketing ou par les instituts de sondage d'opinion. - et les ressources matérielles - transport, informatique, données démographiques, etc. Vocabulaire pouvant être interprété différemment selon la région, la classe sociale, la classe d'âge, etc. de mauvaises pratiques (ex : mauvaise gestion des budgets, déficit de participation de la société civile aux décisions publiques, etc.). Elle peut être très technique et doit au minimum répondre à certaines règles. Sous le nom de diagramme des causes et effets (ou de causes à effet), il est utilisé dans des domaines très divers tels que le diagnostic clinique, la prévention et la recherche des causes des accidents ou la politique de qualité totale. Préciser les hypothèses de base s'il y en a, les unités d'analyse choisies (ex : régions), quels types d'informations à recueillir, etc. De façon générale, ce sont les outils de collecte (fondamentalement l'entretien individuel, le focus group et l'enquête par questionnaire) qui sont le plus mobilisés par les autres outils d'analyse et de jugement, car ces derniers requièrent des informations spécifiques pour leur mise en oeuvre. Critères légaux et politiques : conformité des futures installations aux lois et règlements du pays, opportunités d'emplois locaux, acceptabilité des installations par les populations locales, etc. Il s'agit notamment des versions successives des documents de base (on s'assurera de leur datation exacte) ainsi que des diverses contributions et réactions dont ils ont fait l'objet de la part de services de la Commission, des partenaires nationaux et d'autres donneurs (États Membres en particulier). Les réalisations produites par les actions réalisées ou envisagées dans le cadre du programme apparaissent ainsi comme des contributions à la réalisation de l'objectif/impact global donnant une cohérence généralement forte au système des objectifs et des impacts. Sous le nom d'arbre des problèmes, il présente alors les caractéristiques suivantes: À la suite du GTZ, nombre de donneurs publics et d'opérateurs (agences et ONG) adoptent l'arbre des problèmes comme élément de planification ou de gestion des projets. Différents outils d'analyse économique pour comparer des programmes d'intervention. Cette organisation permet aux deux interlocuteurs de gagner du temps et d'être plus à l'aise. Celui-ci a introduit l'application de la sociologie et de l'anthropologie du développement à la Banque Mondiale dans les années soixante dix et a publié, depuis, un grand nombre de travaux dans lesquels il met en avant le rôle constructif des sciences sociales dans les stratégies de développement. "