Job Task Analysis

Após o desenvolvimento de uma estrutura de programa e uma descrição de trabalho para um exame ou série, a próxima etapa é determinar cientificamente as habilidades, tarefas e áreas de conhecimento necessárias para o trabalho. O desafio: qualquer um poderia propor uma lista de tarefas que eles acham que um profissional de Linux deveria ser capaz de fazer. Se você perguntar aos profissionais do 10 Linux o que um profissional de “nível júnior” deve fazer, você pode obter listas do 10.

Qual lista está correta?

Nossa solução: Solicitamos a um grande número de profissionais de Linux as listas de tarefas necessárias e, em seguida, compilamos as respostas para encontrar as tarefas comuns e mais importantes. As tarefas mais importantes aparecem em todas as listas.

Esse processo é chamado de estudo de análise de trabalho ou análise de tarefa de trabalho. A LPI concluiu extensas pesquisas de análise de trabalho de profissionais Linux para ajudar a garantir que os exames sejam imparciais e construídos de forma justa.

Como fazemos isso:

Pré-pesquisa

Primeiro, trabalhamos com um grande grupo de especialistas no assunto para compilar uma lista exaustiva de todas as tarefas que eles acham que podem ser realizadas pelo público-alvo da certificação.

Pesquisa de Análise de Emprego

Em seguida, as tarefas coletadas durante a pré-pesquisa são incluídas em uma pesquisa de análise de trabalho. Esta pesquisa pede que os profissionais do Linux classifiquem cada tarefa de várias maneiras:

• Frequência: Com que frequência eles executam a tarefa.
• Importância: Quão importante é para um administrador poder executar a tarefa.

A análise dos dados

Por fim, realizamos análises estatísticas das respostas da pesquisa. Calculamos estatísticas indicando, em média, como os participantes críticos classificaram cada tarefa. Essa análise orienta a determinação da lista de tarefas do trabalho final.

Desenvolvimento Objetivo

A terceira grande etapa do desenvolvimento é a conversão dos resultados do Job Analysis Study para desenvolver os objetivos reais para o (s) exame (s). Os objetivos expressam coisas específicas que os profissionais de Linux devem ser capazes de fazer. Cada objetivo recebe um valor de ponderação que indica sua importância em relação a outros objetivos.

Elaboração Inicial de Objetivos

Primeiro, um pequeno grupo de pessoas com conhecimento de questões técnicas e princípios psicométricos do Linux elaborou um conjunto inicial de objetivos de teste, baseando-os nos resultados do estudo de análise de trabalho.

Revisão objetiva e revisão

Depois que os objetivos preliminares são criados, eles são colocados on-line em um sistema baseado na Web para revisão e comentários públicos. Esse sistema organiza os objetivos por exame e tópico de conteúdo, exibindo os próprios objetivos, além de links para documentação adicional sobre os objetivos. Os comentários públicos sobre os objetivos são coletados e, em seguida, os supervisores revisam os comentários e revisam os objetivos conforme necessário. A revisão e revisão mais recente dos objetivos é postada publicamente em nosso wiki de Desenvolvimento de Exames LPI e os enviamos para nossa comunidade e lista de discussão ExamDev para comentários e comentários.

Quando os objetivos são finalizados, nós os publicamos no LPI.org e informamos a nossa comunidade, bem como os provedores de cursos e treinamento, para que os materiais de treinamento possam ser atualizados para refletir o novo material de exame.

Desenvolvimento de Item

Quando os objetivos são finalizados, iniciamos o processo de escrever perguntas, chamados itens, para exames. A segurança é uma grande preocupação no desenvolvimento de itens. Todos os itens são mantidos o mais confidenciais possível, fazendo com que os envolvidos no processo assinem acordos de não divulgação concordando em não divulgar o conteúdo do item a ninguém. O LPI também aceita outras precauções de segurança não divulgadas.

Escrita de itens

Historicamente, o processo usado para desenvolver os itens para a maioria dos outros exames de certificação de TI era reunir um grupo de especialistas no assunto em uma localização por uma semana ou mais, dar a eles um treinamento sobre como escrever itens e fazer com que trabalhassem intensamente para crie as perguntas.

Mas essa técnica é cara e exclusiva. Na LPI, durante nossa fase inicial de desenvolvimento de exames, aproveitamos o poder da comunidade através da Internet para encorajar todos que estavam interessados ​​e conhecedores de ajudar na redação de itens.

Desde então, a LPI desenvolveu novos itens para a rotação de exames em casa, utilizando o conhecimento de especialistas no assunto, voluntários on-line e participantes de oficinas de redação de itens.

Seleção de Itens

Os supervisores examinaram todos os itens submetidos ao exame e aceitaram, rejeitaram ou reformularam os mesmos. Eles se concentraram em três critérios:

• Redundância: Itens que são substancialmente idênticos aos itens enviados anteriormente são rejeitados.
• Frases e clareza: os itens expressos em formas confusas ou inapropriadas são rejeitados ou reformulados. Os supervisores prestam atenção para garantir que as perguntas possam ser entendidas pelos falantes de inglês não nativos.
• Precisão: os supervisores rejeitaram ou reformularam itens que não são tecnicamente precisos.

Revisão técnica do item

Em seguida, o LPI usa um grupo de especialistas em Linux para colocar itens em uma revisão técnica. Cada item é revisado por vários especialistas. Cada especialista classifica itens como aprovados, rejeitados ou “outros” para reformular ou revisar por outros.

Os principais critérios técnicos:

• Correção
• Adequação de distratores (para itens de múltipla escolha): Os revisores garantem que as opções de resposta do distrator estejam incorretas, mas razoavelmente plausíveis.
• Frases e clareza: Os revisores garantem que os itens estejam redigidos em linguagem apropriada.
• Relevância
• Dificuldade esperada

Os supervisores então coletam as revisões para determinar se cada item foi:

• Aceito com base em consenso
• Rejeitado com base em consenso
• Aceito após revisão adicional: Se os revisores não concordarem, o supervisor poderá aceitá-lo, talvez com base na opinião de outro revisor.
• Rejeitado após revisão adicional: Se os revisores não concordarem, o supervisor poderá rejeitá-lo, talvez com base na opinião de outro revisor.
• Aceito após revisão: em alguns casos, os revisores podem sugerir a reformulação do item e o supervisor pode aceitar o item após reformulá-lo.

Criação de Exame

Criação ao vivo da forma

O próximo estágio de desenvolvimento envolve a montagem de itens em exames para implantação global. Cada teste tem vários formulários. Se o candidato falhar em um formulário e fizer novamente o exame, ele receberá a forma diferente do exame na tentativa de nova tentativa.

O mecanismo de teste Pearson VUE ordena aleatoriamente as perguntas de cada formulário quando alguém faz o exame para garantir que dois candidatos que fazem o mesmo exame não sejam testados nas mesmas perguntas na mesma ordem.

Publicação do Exame Inicial

Depois que a equipe psicométrica do LPI determina a composição dos formulários, o exame deve ser convertido de itens baseados em texto no formato de arquivo de exame real para implantado globalmente através da rede de centros de testes do LPI.

O exame entra em um período de testes iniciais para determinar se as perguntas estão de fato medindo habilidades e competências. Na certificação de TI, esse período é conhecido como o período de testes beta.

Durante o período beta, os candidatos podem se registrar para testes e concluí-los em eventos locais. Eles recebem crédito, mas os candidatos não recebem pontuação de volta imediatamente após o exame. Os exames beta geralmente envolvem perguntas adicionais com um formato de horário estendido, além de perguntas adicionais sobre pesquisas e informações demográficas. Diversos processos simultâneos determinam o escore de corte, para que os exames possam ser avaliados e pontuados.

Obtendo exames suficientes

Antes que a pontuação de aprovação possa ser definida, o LPI teve que acumular um número adequado de exames feitos por pessoas que são semelhantes à descrição de trabalho alvo. À medida que nosso suporte aumenta, nossos números de dados de destino continuam a crescer, ajudando a gerar os resultados mais precisos. Como parte do processo de exame beta, os dados demográficos são levados em consideração pela equipe psicométrica ao revisar a validade das perguntas.

Revendo as perguntas

À medida que os resultados dos testes chegam, a equipe psicométrica começa a examinar os dados. Fazendo perguntas como: Há perguntas que todos acertam? Existem perguntas que todo mundo falha? Os comentários do exame coletados durante o processo são revisados ​​e as questões e preocupações são abordadas.

Estudo modificado de Angoff

Embora a equipe psicométrica revise os dados recebidos, um grupo separado de especialistas no assunto participou simultaneamente de um estudo modificado de Angoff. Seu objetivo, fornecer à equipe psicométrica dados adicionais para validar perguntas e ajudar a definir a pontuação de aprovação.

Durante este processo, os especialistas:

• Receba cópias das perguntas do exame em cada formulário.
• Analise cada questão de forma independente e em consulta uns com os outros e faça julgamentos sobre a probabilidade de uma pessoa minimamente qualificada atendendo aos requisitos de trabalho descritos em uma folha de especificações poder responder à pergunta corretamente. Em outras palavras, os especialistas consideram a questão da perspectiva de alguém que está na parte inferior da escala de competências para o desempenho no trabalho.
• Classifique cada pergunta com a estimativa da porcentagem de pessoas que responderão corretamente, tendo em mente que, em questões de múltipla escolha, algumas pessoas acertarão em virtude da adivinhação.

Idealmente, os resultados do estudo de Angoff devem ser comparados aos resultados reais dos exames no período beta. Além de validar o desempenho do item, os resultados do estudo de Angoff também são usados ​​para ajudar a estabelecer a pontuação de aprovação para os exames.

Distribuindo Resultados da Pontuação

Após toda a coleta de dados, a análise e o estudo de Angoff, a equipe psicométrica definiu um escore de aprovação e distribuiu pontuações para os examinandos que participaram do teste beta.

Republicação de exames

Depois que a versão beta for concluída, a pontuação de aprovação tiver sido definida e todos os itens inválidos tiverem sido removidos ou corrigidos, o exame estará pronto para ser publicado novamente. Este trabalho envolve uma revisão significativa e pode demorar um mês ou mais para ser concluído. Quando esse processo final de revisão estiver concluído, nos coordenamos com a Pearson VUE e nossa rede de parceiros para publicar os exames finalizados para todos os participantes do teste em todo o mundo.

Por que exames escritos

Exames escritos são um padrão global.

A escolha múltipla é um padrão comum para a maioria dos exames de certificação e licenciamento. Se você quer ser um médico, advogado ou contador credenciado, a maioria das profissões exige que você passe em um exame de múltipla escolha. Os procedimentos para a produção de exames de múltipla escolha de alta qualidade estão firmemente estabelecidos. Este padrão não existe para exames práticos. Portanto, eles tendem a ser ad hoc e raramente incluem teste piloto, análise de itens, configuração formal padrão e equacionamento.

Exames escritos são válidos.

Os exames escritos de conhecimento do trabalho têm aproximadamente os mesmos níveis de validade preditiva que as simulações de trabalho (Roth et al., 2005)

Exames escritos são mais eficientes.

Exames escritos com perguntas individuais são mais eficientes que exames com tipos de itens mais complexos. Por exemplo, a Jodoin (2003) examinou os tipos de itens inovadores em um exame de certificação de TI que exigia que os examinandos elaborassem respostas (por exemplo, desenhar um diagrama de rede). Ele descobriu que esses itens de resposta construídos fornecem mais informações, mas também levam mais tempo. Como resultado, ele concluiu que “itens de múltipla escolha fornecem mais informações por unidade de tempo.”

Exames escritos cobrem todos os objetivos.

Exames de certificação (como os LPI’s) abrangem uma ampla gama de áreas de conhecimento. Usando itens individuais, os exames escritos podem facilmente garantir uma cobertura adequada de todos os objetivos. Por causa de restrições práticas, os testes práticos precisam ter uma amostra restrita desses objetivos ou cobrir um corpo de conhecimento muito menor.

Exames escritos são mais valiosos.

O teste prático é normalmente mais caro em todas as fases, incluindo desenvolvimento de itens, teste piloto, administração e pontuação. Se o teste prático for mais caro, mas não mais confiável ou válido, ele oferece menos valor.

Exames escritos são mais confiáveis ​​e objetivos.

As práticas de pontuação para exames abertos variam consideravelmente, mas a literatura sobre pontuar as respostas construídas sugere que a pontuação subjetiva é frequentemente menos confiável do que a pontuação de itens tradicionais. A literatura sobre desempenho no trabalho sugere que medidas objetivas de desempenho também não são confiáveis.