Analisi Job Task

Dopo lo sviluppo di una struttura del programma e una descrizione delle task di lavoro per un Esame o una serie d’Esami, la fase successiva consiste nel determinare scientificamente le competenze, i compiti e le aree di conoscenza necessarie per il lavoro stesso. Dove sta la sfida: chiunque potrebbe trovare un elenco di attività che si ritiene un professionista Linux dovrebbe essere in grado di eseguire. Se chiedi ai professionisti di 10 Linux cosa dovrebbe fare un professionista di livello “junior”, potresti ottenere liste 10.

Ma quale lista è corretta?

La nostra soluzione: chiediamo a un gran numero di professionisti Linux di elencare le mansioni lavorative necessarie e quindi di compilare le risposte per trovare le attività più comuni e più importanti. Le attività più importanti vengono visualizzate su tutti gli elenchi.

Questo processo è chiamato studio di analisi del lavoro, job task analysis. LPI ha completato indagini approfondite sull’analisi del lavoro dei professionisti di Linux per contribuire a garantire al rendere gli esami imparziali e costruiti in modo equo.

Come lo facciamo:

Pre-indagine

Per prima cosa lavoriamo con un ampio pool di esperti in materia per compilare un elenco esauriente di tutti i compiti che essi ritengono possano essere eseguiti dal bacino di professionisti IT che è il target della certificazione.

Indagine sull’analisi del lavoro

Successivamente, le attività raccolte durante la Pre-indagine confluiscono in un sondaggio di analisi del lavoro. Questo sondaggio richiede ai professionisti Linux di valutare ogni attività sotto diversi aspetti:

• Frequenza: quanto spesso eseguono il compito.
• Importanza: quanto è importante per un amministratore essere in grado di eseguire l’attività.

L’analisi dei dati

Infine, conduciamo analisi statistiche delle risposte del sondaggio. Calcoliamo statistiche indicando, in media, quanto rilevante sia stata valutata ciascuna attività. Questa analisi guida la determinazione dell’elenco delle attività di lavoro, le Job Task.

Sviluppo Obiettivo

Il terzo stadio di sviluppo è la conversione dei risultati dallo studio di analisi del lavoro per sviluppare gli obiettivi effettivi per gli esami. Gli “obiettivi” esprimono attività specifiche che i professionisti di Linux devono essere in grado di eseguire. A ogni obiettivo viene assegnato un valore di ponderazione che ne indica l’importanza rispetto agli altri obiettivi.

Redazione iniziale dell’obiettivo

In primo luogo, un piccolo gruppo di persone con conoscenza sia delle questioni tecniche di Linux sia dei principi psicometrici ha redatto una serie iniziale di obiettivi di test, basandoli sui risultati dello studio di analisi del lavoro.

Revisione obiettivi

Dopo la creazione della bozza degli obiettivi, questi vengono caricati online in un sistema web per la revisione e il commento. Questo sistema organizza gli obiettivi in ​​base all’esame e all’argomento del contenuto, visualizzando gli obiettivi stessi, insieme ai collegamenti con la documentazione aggiuntiva sugli obiettivi. I commenti pubblici sugli obiettivi vengono raccolti e quindi i supervisori riesaminano i commenti e rivedono gli obiettivi secondo necessità. La revisione più recente e la revisione degli obiettivi sono pubblicate sul nostro wiki di sviluppo degli esami LPI e le inviamo alla nostra Community e alla mailing list di ExamDev per commenti e contributi.

Quando gli obiettivi sono finalizzati, li pubblichiamo su LPI.org e comunichiamo alla nostra Community, ai corsi e ai fornitori di formazione che i materiali di formazione possono essere aggiornati per riflettere il nuovo materiale d’esame.

Sviluppo dei singoli elementi

Una volta finalizzati gli obiettivi, iniziamo il processo di scrittura di domande, gli “elementi”. La sicurezza è una delle principali preoccupazioni nello sviluppo degli elementi. Tutti gli elementi sono mantenuti il ​​più confidenziali possibile facendo in modo che coloro che sono coinvolti nel processo firmino rigidi accordi di non divulgazione. LPI prende anche altre precauzioni di sicurezza.

Redazione degli elementi

Storicamente, il processo utilizzato per sviluppare gli elementi, le domande, per la maggior parte degli altri esami di certificazione IT consisteva nel portare un gruppo di esperti in un luogo per una settimana o più, dare loro una formazione su come scrivere articoli e poi farli lavorare intensamente per creare le domande.

Ma questa tecnica è costosa e non inclusiva. A LPI, durante la fase iniziale di sviluppo degli esami, abbiamo sfruttato il potere della Community attraverso Internet per incoraggiare tutti coloro che erano interessati e informati nell’aiutare a scrivere gli elementi.

Da allora, LPI ha sviluppato internamente nuovi elementi per la rotazione degli esami, sfruttando le conoscenze degli esperti in materia, dei volontari online e dei partecipanti ai workshop di scrittura degli elementi stessi.

Screening degli elementi

I supervisori esaminano tutti gli elementi dell’Esame rifiutandoli, accettandoli o riformulandoli. Si concentrano su tre criteri:

• Ridondanza: gli articoli che sono sostanzialmente identici agli articoli presentati in precedenza sono rifiutati.
• Chiarezza: gli elementi formulati in modi confusi o altrimenti inappropriati vengono rifiutati o riformulati. I supervisori prestano attenzione affinché le domande possano essere comprese anche da persone NON di madrelingua inglese.
• Precisione: i supervisori hanno respinto o riformulato elementi che non sono tecnicamente accurati.

Revisione tecnica elementi

Successivamente, LPI utilizza un gruppo di esperti di Linux per la revisione tecnica. Ogni elemento viene esaminato da più esperti. Ogni esperto classifica gli elementi come approvati, rifiutati o “altro” per la riformulazione o la revisione.

I criteri tecnici primari:

• Correttezza
• Appropriatezza dei “distrattori” (per elementi a scelta multipla): i revisori assicurano che le scelte di risposta siano errate ma ragionevolmente plausibili.
• Chiarezza: i revisori assicurano che gli articoli siano formulati nella lingua appropriata.
• Rilevanza
• Difficoltà prevista

I supervisori quindi raccolgono le valutazioni per determinare se ciascun elemento era:

• Accettato
• Rifiutato
• Accettato dopo un’ulteriore revisione: se i revisori non erano d’accordo, il supervisore può accettarlo, sulla base dell’opinione di un altro revisore.
• Rifiutato dopo un’ulteriore revisione: se i revisori non erano d’accordo, il supervisore può respingerlo, sulla base dell’opinione di un altro revisore.
• Accettato dopo la revisione: in alcuni casi, i revisori potrebbero suggerire di riformulare l’elemento e il supervisore potrebbe accettare l’elemento dopo averlo riformulato.

Creazione dell’esame

Creazione di moduli

La fase successiva dello sviluppo prevede il “montaggio” degli elementi in esami per la loro implementazione a livello globale. Ogni test ha più declinazioni. Se il candidato non supera un modulo e deve sostenere l’Esame di nuovo, al suo secondo tentativo riceve una declinazione diversa dell’esame.

La piattaforma di test Pearson VUE ordina in modo casuale le domande di ogni modulo per assicurarsi che due candidati che sostengono lo stesso esame non vengano testati sulle stesse domande nello stesso ordine.

Pubblicazione iniziale degli Esami

Una volta che lo staff psicometrico LPI ha determinato la composizione dei moduli, l’esame deve essere convertito da elementi testuali nel formato del file di esame effettivo per essere implementato globalmente attraverso la rete di centri di test di LPI.

L’esame entra in un periodo di test iniziale per determinare se le domande effettivamente misurino capacità e competenze. Nella certificazione IT, questo periodo è noto come periodo di Beta Test (Beta Exam).

Durante il periodo Beta, i candidati possono registrarsi per i test e completarli negli eventi locali dedicati. Ricevono credito, ma i candidati non ricevono punteggi immediatamente dopo l’esame. Gli esami Beta comportano spesso ulteriori domande in formato esteso, oltre a sondaggi e domande demografiche. Diversi processi simultanei determinano il punteggio, in modo che gli esami possano essere valutati e associati ai punteggi.

Ottenere un numero sufficiente di Esami

Prima di poter stabilire il punteggio di superamento, LPI ha dovuto accumulare un numero adeguato di esami sostenuti da persone simili alla descrizione del lavoro target. Man mano che il nostro supporto è cresciuto, i nostri numeri di dati target continuano a crescere, contribuendo a generare i risultati più accurati. Come parte del processo di esame beta, i dati demografici vengono presi in considerazione dal personale psicometrico durante la revisione della validità delle domande.

Rivedere le domande

Mentre i risultati dei test arrivano, lo staff psicometrico inizia a esaminare i dati. Porsi domande come: “ci sono domande a cui tutti hanno risposto correttamente? Ci sono domande fallite da tutti? I commenti agli esami raccolti durante il processo vengono esaminati e analizzati.

Studio Angoff

Mentre il personale psicometrico esamina i dati in arrivo, un gruppo separato di esperti in materia partecipato simultaneamente a uno studio Angoff modificato. Il loro obiettivo è fornire allo staff psicometrico ulteriori dati per convalidare le domande e assistere nell’impostazione del punteggio.

Durante questo processo, gli esperti:

• Ricevono copie delle domande d’esame di ogni modulo.
• Esaminano ogni domanda in modo indipendente e in consultazione tra loro e giudicano in che modo una persona minimamente qualificata che soddisfi i requisiti di lavoro descritti indicati da una scheda tecnica sarebbe in grado di rispondere correttamente alla domanda. In altre parole, gli esperti considerano la domanda dal punto di vista di qualcuno che si trova in fondo alla scala delle competenze per le prestazioni lavorative.
• Valutano ogni domanda con la loro stima di quale percentuale di persone risponderà correttamente, tenendo presente che nelle domande a scelta multipla, alcune persone risponderanno bene indovinando.

Idealmente, i risultati dello studio Angoff dovrebbero essere paralleli ai risultati effettivi degli esami nel periodo Beta. Oltre a convalidare gli elementi, i risultati dello studio Angoff vengono utilizzati anche per aiutare a stabilire il punteggio per gli esami.

Distribuzione dei risultati del punteggio

Dopo tutta la raccolta di dati, l’analisi e lo studio Angoff, lo staff psicometrico imposta un punteggio temporaneo e rilascia i punteggi a chi ha partecipato alla Beta.

Ripubblicazione degli Esami

Una volta che la fase Beta è stata completata, il punteggio è stato impostato e tutti gli elementi non funzionanti sono stati rimossi o rielaborati, l’esame è pronto per essere ripubblicato. Questo lavoro comporta una revisione significativa e può richiedere un mese o più per essere completato. Una volta completato il processo di revisione finale, ci coordiniamo con Pearson VUE e la nostra rete di partner per pubblicare gli esami finalizzati per tutti i partecipanti in tutto il mondo.

Perché gli esami scritti

Gli esami scritti sono uno standard globale

La risposta multipla è uno standard comune per la maggior parte degli esami di certificazione e licenze. Se vuoi essere un dottore, un avvocato o un dottore commercialista, la maggior parte delle professioni richiede che tu superi un esame a risposta multipla. Le procedure per la produzione di esami a risposta multipla di alta qualità sono consolidate. Non esiste uno standard simile per gli esami pratici. Pertanto tendono ad essere ad hoc e raramente includono test, analisi degli elementi, impostazioni standard formali.

Gli esami scritti sono validi

Gli esami scritti di conoscenza del lavoro hanno approssimativamente gli stessi livelli di validità predittiva delle simulazioni del lavoro (Roth et al., 2005)

Gli esami scritti sono più efficienti

Gli esami scritti con domande singole sono più efficienti degli esami con tipi di elementi più complessi. Ad esempio, Jodoin (2003) ha esaminato tipi di elementi innovativi su un esame di certificazione IT che richiedeva esaminatori per costruire risposte (ad esempio disegnare un diagramma di rete). Ha scoperto che questi elementi di risposta costruiti hanno fornito più informazioni, ma hanno anche richiesto più tempo. Di conseguenza, ha concluso che “le domande a risposta multipla forniscono più informazioni per unità di tempo”.

Gli esami scritti coprono tutti gli obiettivi

Gli esami di certificazione (come gli LPI) coprono un’ampia gamma di aree di conoscenza. Utilizzando i singoli elementi, gli esami scritti possono facilmente garantire una copertura adeguata di tutti gli obiettivi. A causa di vincoli pratici, i test pratici devono campionare strettamente questi obiettivi o coprire un corpo di conoscenze molto più piccolo.

Gli esami scritti hanno più valore

I test pratici sono in genere più costosi in tutte le fasi, inclusi lo sviluppo degli articoli, i test pilota, l’amministrazione e il punteggio. Se il test pratico è più costoso ma non più affidabile o valido, offre meno valore.

Gli esami scritti sono più affidabili e oggettivi

Le pratiche di verifica del punteggio per gli esami pratici variano considerevolmente, ma la letteratura sul punteggio delle risposte suggerisce che il punteggio soggettivo è spesso meno affidabile del punteggio degli elementi tradizionali. La letteratura sulla prestazione lavorativa suggerisce che anche le misure oggettive di prestazione sono inaffidabili.