Analyse des tâches

Après le développement d’une structure de programme et une description de travail pour un examen ou une série, l’étape suivante consiste à déterminer scientifiquement les compétences, les tâches et les domaines de connaissances nécessaires pour le travail. Le défi: tout le monde pourrait trouver une liste de tâches qu’un professionnel Linux devrait pouvoir faire. Si vous demandez aux professionnels de 10 Linux ce qu’un professionnel de «niveau junior» devrait faire, vous pourriez obtenir des listes 10.

Quelle liste est correcte?

Notre solution: Nous demandons à un grand nombre de professionnels Linux de dresser la liste de leurs tâches, puis de compiler les réponses pour trouver les tâches les plus courantes et les plus importantes. Les tâches les plus importantes apparaissent sur toutes les listes.

Ce processus est appelé étude d’analyse des tâches ou analyse des tâches. LPI a réalisé de nombreuses études d’analyse des emplois auprès des professionnels de Linux pour s’assurer que les examens sont impartiaux et construits équitablement.

Comment nous le faisons:

Pré-enquête

Premièrement, nous travaillons avec un vaste groupe d’experts en la matière pour compiler une liste exhaustive de toutes les tâches qui, selon eux, pourraient être effectuées par le public cible de la certification.

Enquête d’analyse d’emploi

Ensuite, les tâches collectées lors de la pré-enquête vont dans une enquête d’analyse d’emploi. Cette enquête demande aux professionnels Linux de noter chaque tâche de plusieurs façons:

• Fréquence: Combien de fois ils effectuent la tâche.
• Importance: Il est important qu’un administrateur puisse effectuer la tâche.

L’analyse des données

Enfin, nous effectuons une analyse statistique des réponses à l’enquête. Nous calculons des statistiques indiquant, en moyenne, à quel point les répondants ont évalué chaque tâche. Cette analyse guide la détermination de la liste des tâches finales.

Développement objectif

La troisième grande étape du développement est la conversion des résultats de l’étude d’analyse des emplois pour développer les objectifs réels pour l’examen (s). Les objectifs expriment des choses spécifiques que les professionnels de Linux doivent être capables de faire. Chaque objectif se voit attribuer une valeur de pondération indiquant son importance par rapport aux autres objectifs.

Rédaction de l’objectif initial

Tout d’abord, un petit groupe de personnes connaissant à la fois les problèmes techniques de Linux et les principes psychométriques ont rédigé un premier ensemble d’objectifs de test, en les basant sur les résultats de l’étude d’analyse des tâches.

Examen objectif et révision

Une fois les objectifs provisoires créés, ils sont mis en ligne dans un système basé sur le Web pour examen public et commentaires. Ce système organise les objectifs par sujet d’examen et de contenu, en affichant les objectifs eux-mêmes, ainsi que des liens vers des documents supplémentaires sur les objectifs. Les commentaires du public sur les objectifs sont recueillis, puis les superviseurs examinent les commentaires et révisent les objectifs au besoin. L’examen et la révision des objectifs les plus récents sont publiés sur notre wiki Développement d’examens LPI et nous les envoyons à notre communauté et à la liste de diffusion ExamDev pour commentaires et commentaires.

Lorsque les objectifs sont finalisés, nous les publions sur LPI.org et informons notre communauté ainsi que les didacticiels et les fournisseurs de formation, afin que les supports de formation puissent être mis à jour pour refléter le nouveau matériel d’examen.

Élément de développement

Une fois les objectifs finalisés, nous commençons le processus d’écriture des questions, appelées items, pour les examens. La sécurité est une préoccupation majeure dans le développement d’articles. Tous les éléments sont gardés aussi confidentiels que possible en demandant à ceux qui sont impliqués dans le processus de signer des accords de non-divulgation acceptant de ne pas divulguer le contenu des articles à quiconque. LPI prend également d’autres précautions de sécurité non divulguées.

Écriture d’article

Historiquement, le processus utilisé pour développer les éléments de la plupart des autres examens de certification informatique consistait à envoyer un groupe d’experts dans un lieu pendant une semaine ou plus, à leur donner une formation sur la façon d’écrire des articles, puis à les faire travailler intensément. créer les questions.

Mais cette technique est chère et exclusive. À l’IPV, au cours de la phase initiale de développement des examens, nous avons exploité le pouvoir de la communauté par Internet afin d’encourager tous ceux qui étaient intéressés et compétents à contribuer à la rédaction des articles.

Depuis lors, LPI a développé de nouveaux éléments pour la rotation des examens en interne en utilisant les connaissances des experts en la matière, des volontaires en ligne et des participants aux ateliers de rédaction d’items.

Filtrage des éléments

Les superviseurs ont examiné tous les éléments d’examen soumis et les ont acceptés, rejetés ou reformulés. Ils se sont concentrés sur trois critères:

• Redondance: les articles qui sont essentiellement identiques aux articles soumis précédemment sont rejetés.
• Phrasé et clarté: les éléments formulés de manière confuse ou inappropriée sont rejetés ou reformulés. Les superviseurs veillent à ce que les questions puissent être comprises par des anglophones non natifs.
• Exactitude: Les superviseurs ont rejeté ou reformulé des éléments qui ne sont pas techniquement exacts.

Examen technique de l’article

Ensuite, LPI utilise un groupe d’experts Linux pour soumettre des éléments à un examen technique. Chaque article est examiné par plusieurs experts. Chaque expert classe les éléments approuvés, rejetés ou «autres» pour reformulation ou révision par d’autres.

Les principaux critères techniques:

• Correction
• Caractère approprié des distracteurs (pour les items à choix multiple): Les réviseurs s’assurent que les choix de réponse du distracteur sont incorrects mais raisonnablement plausibles.
• Expression et clarté: Les réviseurs s’assurent que les éléments sont libellés dans la langue appropriée.
• Pertinence
• Difficulté attendue

Les superviseurs recueillent ensuite les avis pour déterminer si chaque article était:

• Accepté sur la base du consensus
• Rejeté sur la base du consensus
• Accepté après un examen plus approfondi: Si les examinateurs n’étaient pas d’accord, le superviseur pourrait l’accepter, peut-être en fonction de l’opinion d’un autre examinateur.
• Rejeté après un nouvel examen: Si les examinateurs n’étaient pas d’accord, le superviseur pourrait le rejeter, peut-être en fonction de l’opinion d’un autre examinateur.
• Acceptée après révision: dans certains cas, les réviseurs peuvent suggérer de reformuler l’élément et le superviseur peut accepter l’élément après l’avoir reformulé.

Création d’un examen

Création de formulaire en direct

La prochaine étape du développement consiste à assembler des éléments dans des examens pour un déploiement global. Chaque test a plusieurs formes. Si le candidat échoue un formulaire et reprend l’examen, ils reçoivent la forme différente de l’examen sur tentative de reprise.

Le moteur d’essai Pearson VUE ordonne au hasard les questions de chaque formulaire lorsque quelqu’un passe l’examen pour s’assurer que deux candidats qui passent le même examen ne sont pas testés sur les mêmes questions dans le même ordre.

Publication initiale des examens

Une fois que le personnel psychométrique du LPI a déterminé la composition des formulaires, l’examen doit être converti à partir des éléments textuels dans le format de fichier d’examen réel pour être déployé à l’échelle mondiale par le réseau de centres de test de LPI.

L’examen entre dans une période de tests initiaux pour déterminer si les questions mesurent réellement les aptitudes et les compétences. Dans la certification informatique, cette période est connue sous le nom de période de test bêta.

Pendant la période bêta, les candidats peuvent s’inscrire aux tests et les compléter lors d’événements locaux. Ils reçoivent un crédit, mais les candidats ne reçoivent pas de scores immédiatement après l’examen. Les examens bêta impliquent souvent des questions supplémentaires avec un format de temps prolongé ainsi que d’autres questions démographiques et d’enquête. Plusieurs processus simultanés déterminent le score de coupure, de sorte que les examens peuvent être évalués et notés.

Obtenir assez d’examens

Avant de pouvoir fixer la note de passage, LPI devait accumuler un nombre adéquat d’examens passés par des personnes similaires à la description de poste cible. Au fur et à mesure que notre support s’est développé, nos nombres de données cibles continuent de croître, contribuant à générer les résultats les plus précis. Dans le cadre du processus d’examen bêta, les données démographiques sont prises en compte par le personnel psychométrique lors de l’examen de la validité des questions.

Revoir les questions

À mesure que les résultats des tests s’améliorent, le personnel psychométrique commence à examiner les données. Poser des questions telles que: Y at-il des questions que tout le monde a raison? Y at-il des questions que tout le monde échoue? Les commentaires d’examen recueillis au cours du processus sont examinés et les questions et préoccupations sont traitées.

Étude d’Angoff modifiée

Tandis que le personnel psychométrique examine les données reçues, un groupe distinct d’experts en la matière a participé simultanément à une étude Angoff modifiée. Leur objectif est de fournir au personnel psychométrique des données supplémentaires pour valider les questions et aider à établir la note de passage.

Au cours de ce processus, les experts:

• Recevoir des copies des questions d’examen sur chaque formulaire.
• Examinez chaque question de façon indépendante et en concertation avec l’autre et portez des jugements sur la probabilité qu’une personne peu qualifiée répondant aux exigences du poste décrites dans une fiche technique puisse répondre correctement à la question. En d’autres termes, les experts considèrent la question du point de vue de quelqu’un qui est au bas de l’échelle des compétences pour l’exécution du travail.
• Évaluez chaque question avec leur estimation du pourcentage de personnes qui répondront correctement, en gardant à l’esprit que pour les questions à choix multiple, certaines personnes obtiendront le bon résultat en se basant sur des suppositions.

IIdéalement, les résultats de l’étude Angoff devraient correspondre aux résultats réels des examens de la période bêta. Au-delà de la validation de la performance des articles, les résultats de l’étude Angoff sont également utilisés pour aider à établir la note de passage aux examens

Distribution des résultats de score

Après l’ensemble de la collecte de données, l’analyse et l’étude Angoff, le personnel psychométrique a établi une note de passage et a distribué les résultats aux candidats qui ont participé à la version bêta.

Réédition d’examens

Une fois que la version bêta a été complétée, le score de passage a été défini, et tous les éléments défectueux ont été supprimés ou corrigés, l’examen est prêt à être republié. Ce travail implique un examen important et peut prendre un mois ou plus à compléter. Une fois ce processus d’examen final terminé, nous coordonnons avec Pearson VUE et notre réseau de partenaires pour publier les examens finalisés pour tous les candidats dans le monde entier.

Pourquoi les examens écrits

Les examens écrits sont une norme mondiale.

Le choix multiple est une norme commune pour la plupart des examens de certification et d’autorisation d’exercer. Que vous souhaitiez devenir médecin, avocat ou comptable agréé, la plupart des professions exigent que vous passiez un examen à choix multiples. Les procédures de production d’examens à choix multiple de haute qualité sont fermement établies. Aucune norme de ce type n’existe pour les examens pratiques. Par conséquent, ils ont tendance à être ponctuels et comprennent rarement des essais pilotes, l’analyse d’items, l’établissement de normes formelles et l’assimilation.

Les examens écrits sont valables.

Les examens écrits de connaissance du travail ont à peu près les mêmes niveaux de validité prédictive que les simulations de travail (Roth et al., 2005)

Les examens écrits sont plus efficaces.

Les examens écrits avec des questions individuelles sont plus efficaces que les examens avec des types d’items plus complexes. Par exemple, Jodoin (2003) a examiné des types d’éléments innovants lors d’un examen de certification informatique qui exigeait des candidats qu’ils construisent des réponses (par exemple, dessiner un diagramme de réseau). Il a constaté que ces éléments de réponse construits fournissaient plus d’informations, mais prenaient également plus de temps. Par conséquent, il a conclu que «les articles à choix multiples fournissent plus d’information par unité de temps».

Les examens écrits couvrent tous les objectifs.

Les examens de certification (comme le LPI) couvrent un large éventail de domaines de connaissances. En utilisant des items individuels, les examens écrits peuvent facilement assurer une couverture adéquate de tous les objectifs. En raison des contraintes pratiques, les tests pratiques doivent soit échantillonner étroitement ces objectifs, soit couvrir un ensemble de connaissances beaucoup plus restreint.

Les examens écrits sont plus précieux.

Les tests pratiques sont généralement plus coûteux dans toutes les phases, y compris le développement d’articles, les tests pilotes, l’administration et la notation. Si les tests pratiques sont plus coûteux mais pas plus fiables ou valides, ils offrent moins de valeur.

Les examens écrits sont plus fiables et objectifs.

Les pratiques de notation pour les examens à durée indéterminée varient considérablement, mais la documentation sur les réponses construites à partir de la notation suggère que la notation subjective est souvent moins fiable que la notation des items traditionnels. La littérature sur le rendement au travail suggère que les mesures objectives de la performance sont également peu fiables.