ジョブタスクの分析

試験やシリーズのプログラム構造や職務内容を開発した後、次の段階では、その職務に必要なスキル、タスク、知識分野を科学的に決定する必要があります。Linuxのプロフェッショナルができるべきタスクのリストは、誰でも思いつくでしょう。10人のLinuxの専門家に「ジュニアレベル」の専門家が何をすべきか尋ねれば、10のリストが得られるかもしれません。

どのリストが正しいのでしょうか?

私たちの解決策：私たちは、多くのLinuxプロフェッショナルに、必要な仕事のリストを尋ね、その回答をまとめて、共通する仕事と最も重要な仕事を見つけました。最も重要なタスクは、すべてのリストに現れます。

このプロセスは、職能分析調査または職能分析と呼ばれています。LPIは、試験が偏りなく公平に構成されていることを保証するために、Linuxプロフェッショナルを対象とした広範な職務分析調査を完了しています

どのようにしているか

事前調査

まず私たちは、多くの分野の専門家と協力して、資格取得の対象者が行うと思われるすべてのタスクの徹底的なリストを作成します。

ジョブ分析調査

次に、事前調査で収集したタスクは、職務分析調査に入ります。この調査では、実践的なLinuxプロフェッショナルに、各タスクをいくつかの方法で評価してもらいます。

• 頻度：どのくらいの頻度でそのタスクを実行するか。
• 重要性：管理者がそのタスクを実行できることがどれだけ重要か。

データの分析

最後に、アンケートの回答を統計的に分析します。各タスクの重要度を回答者が平均的にどの程度評価しているかを統計的に算出します。この分析結果をもとに、最終的な仕事のタスクリストを決定します。

目的別開発

開発の第3段階では、職務分析調査の結果をもとに、実際の試験の目的を策定します。目的とは、Linuxの専門家ができるべき具体的なことです。それぞれの目標には、他の目標に対する重要性を示す重み付け値が設定されています。

初期目標のドラフト作成

まず、Linuxの技術的な問題と心理学的な原理の両方に精通した少人数のグループが、職務分析調査の結果に基づいて、テスト目標の初期設定を行いました。

目標の見直しと修正

目標のドラフトが作成された後、ウェブベースのシステムで公開され、一般の方がレビューやコメントをすることができます。このシステムでは、試験やコンテンツのトピックごとに目標が整理され、目標そのものと、その目標に関する追加資料へのリンクが表示されます。目的に対するパブリックコメントが収集され、監督者がコメントを確認し、必要に応じて目的を修正します。目的の最新のレビューと改訂は、LPI Exam Development wiki に公開され、コメントや意見を求めてコミュニティや ExamDev メーリングリストに送信されます。

目標が確定したら、LPI.orgに掲載し、コミュニティやコースウェア、トレーニングプロバイダーに知らせることで、トレーニング教材が新しい試験内容を反映して更新できるようにします。

アイテム開発

目的が決まると、試験のためにアイテムと呼ばれる問題を作成する作業が始まります。アイテムの開発では、セキュリティを重視しています。すべてのアイテムは、プロセスに関わる人がアイテムの内容を誰にも開示しないことに同意する秘密保持契約に署名することで、可能な限り秘密が守られます。また、LPIでは、非公開のセキュリティ対策も行っています。

アイテム作成

歴史的には、他のほとんどの IT認定試験の項目を作成するプロセスは、主題主題の専門家のグループを1週間以上ある場所に飛ばし、項目の書き方のトレーニングを行い、集中的に問題を作成していました。

しかし、この手法は高価で排他的です。LPIでは、最初の試験開発の段階で、インターネットを通じたコミュニティの力を活用して、関心と知識のある人全員に項目作成の協力を呼びかけました。

それ以来、LPIは試験のローテーションのための新しいアイテムを、主題専門家、オンラインボランティア、アイテムライティングワークショップの参加者の知識を活用して、自社で開発してきました。

アイテム審査

スーパーバイザーは、提出されたすべての試験項目を審査し、採用、不採用、言葉の変更を行いました。その際、次の3つの基準を重視しました。

• 冗長性：過去に提出されたアイテムと実質的に同一のアイテムは却下されます。
• フレーズと明確さ：紛らわしい表現や不適切な表現をしている項目は、却下されたり、言い換えられたりします。管理者は、英語を母国語としない人でも質問を理解できるように注意しています。
• 正確さ：技術的に正確ではない項目を監督者が却下したり、言い換えたりした。

アイテムテクニカルレビュー

次に、LPIでは、Linuxの専門家集団を使って、項目を技術的に審査します。各アイテムは、複数のエキスパートによってレビューされます。各専門家は、アイテムを承認、却下、または他の人による表現の変更やレビューのための「その他」に分類します。

主な技術的基準

• 正しさ
• ディストラクタの適切さ(多肢選択式アイテムの場合)：レビュアは、ディストラクタの選択肢が不正確であるが、合理的に妥当なものであることを確認します。
• フレーズと明瞭さ：レビュアは、アイテムが適切な言葉で表現されていることを確認します。
• 関連性
• 予想される難易度

その後、上司がレビューを収集し、各項目があったかどうかを判断します。

• コンセンサスに基づいて受け入れられる
• コンセンサスに基づき却下
• さらなるレビューを経て受け入れられる：査読者の意見が一致しなかった場合、上司が他の査読者の意見を参考にして受け入れることがあります。
• さらなるレビューを経て却下：査読者の意見が一致しなかった場合、上司が他の査読者の意見を参考にして却下することがあります。
• 修正後に受理される：場合によっては、査読者がアイテムのリワードを提案し、スーパーバイザーがリワード後にアイテムを受理することもあります。

試験作成

ライブフォーム作成

次の開発段階では、グローバルに展開するために、アイテムを試験にまとめます。各試験には複数の形式があります。受験者が1つの形式で不合格になり、再受験した場合、再受験時には別の形式の試験を受けることになります。

ピアソンVUEのテストエンジンは、受験者が試験を受ける際に、各フォームの問題をランダムに並び替え、同じ試験を受ける2人の受験者が同じ問題を同じ順番で受験しないようにしています。

初期の試験出版

LPIの心理測定スタッフがフォームの構成を決定した後、テキストベースの項目を実際の試験ファイル形式に変換し、LPIのテストセンターのネットワークを通じてグローバルに展開する必要があります。

試験では、問題が実際にスキルやコンピテンシーを測定しているかどうかを判断するための初期テストの期間に入ります。IT関連の資格試験では、この期間を「ベータテスト期間」と呼んでいます。

ベータ期間中、受験者はテストに登録し、各地で開催されるイベントでテストを受けることができます。ベータ版の試験では、時間を延長した問題や、アンケートや人口統計の問題が追加されることがあります。ベータ版の試験では、時間制限のある問題や、アンケートや人口統計学的な問題が追加されることもあります。試験の評価と採点を行うために、いくつかのプロセスを同時に行い、カットスコアを決定します。

十分な試験の実施

合格点を設定するためには、LPIは対象となる職務内容に近い人が受けた試験を十分に蓄積する必要がありました。ベータ試験の過程では、心理測定スタッフが問題の妥当性を検討する際に、デモグラフィックデータが考慮されます。

質問内容の確認

テストの結果が出てくると、心理測定担当者はそのデータを検証し始めます。こんな質問をしてみます。全員が正解する問題はあるか？

テストの結果が出ると、心理測定担当者はデータの検証を始めます。

その過程で集められた受験者のコメントを確認し、疑問や不安を解消していきます。

Angoff研究修正

心理測定担当者が入力データを確認している間に、別の専門家たちが同時にAngoff研究に参加しました。その目的は、心理測定スタッフが質問を検証し、合格点を設定するための追加データを提供することです。

この過程で、専門家が

• 各フォームの試験問題のコピーを受け取る。
• それぞれの質問を独立して、またお互いに相談しながら見て、仕様書に記載されている職務要件を満たす最低限の資格を持った人が、どれくらいの確率でその質問に正しく答えられるかを判断します。言い換えれば、専門家は職務遂行のための能力尺度の底辺にいる人の視点から質問を検討する。
• 多肢選択問題では、推測で正解する人もいることを念頭に置きながら、各設問の正解率の推定値を評価してください。

Angoff研究の結果は、ベータ期間中の試験の実際の結果と平行していることが理想的です。Angoff研究の結果は、項目の性能を検証するだけでなく、試験の合格点を設定する際にも使用されます。

スコア結果の配信

データ収集、分析、Angoff研究を経て、心理測定スタッフが合格点を設定し、ベータ版に参加した受験者にスコアを配布します。

試験の再発行

ベータ版が終了し、合格点が設定され、悪い項目が削除または修正されると、試験の再公開が可能になります。この作業には大幅な見直しが必要で、完了までに1ヶ月以上かかることもあります。この最終確認作業が完了すると、ピアソンVUEおよびパートナーネットワークと連携し、世界中の受験者に向けて最終的な試験を公開します。

なぜ筆記試験を行うのか

筆記試験は世界標準です。

ほとんどの資格・免許試験では、多肢選択式が共通の基準となっています。医者、弁護士、公認会計士など、ほとんどの職業で多肢選択式の試験に合格することが求められています。高品質の多肢選択式試験を作成するための手順はしっかりと確立されています。しかし、実地試験にはそのような基準はありません。そのため、その場しのぎの試験になりがちで、パイロットテスト、項目分析、正式な基準設定、等化などはほとんど行われていません。

筆記試験は有効です。

筆記式の職務知識試験は、職務シミュレーションとほぼ同レベルの予測妥当性を持っています。（Roth et al, 2005）

筆記試験の方が効率的です。

個別の問題を用いた記述式試験は、より複雑な項目タイプを用いた試験よりも効率的です。例えば、Jodoin (2003)は、IT資格試験の革新的な項目タイプを検討しました。それは、受験者に回答を構築することを求めるものでした（例：ネットワーク図を描く）。Jodoin (2003) は、IT資格試験の革新的な項目タイプを検討しました。その結果、彼は「多肢選択問題は、単位時間あたりにより多くの情報を提供する」と結論づけています。

筆記試験は、すべての目標を網羅しています。

LPIのような資格試験は、幅広い知識分野をカバーしています。筆記試験では、個々の項目を使用して、すべての目標を十分にカバーすることができます。しかし、実務上の制約から、ハンズオンテストでは、これらの目標から狭い範囲を抽出するか、より少ない知識をカバーする必要があります。

筆記試験の方が価値がある。

実地テストは、項目の開発、パイロットテスト、実施、採点など、すべての段階で一般的にコストがかかります。もし、ハンズオンテストのコストが高くても、信頼性や有効性が高くないのであれば、その価値は低いと言えます。

筆記試験は、より信頼性と客観性が高い。

自由形式の試験の採点方法は非常に様々ですが、構築された回答の採点に関する文献によると、主観的な採点は伝統的な項目の採点よりも信頼性が低い場合が多いことが示唆されています。職務遂行能力に関する文献によると、客観的なパフォーマンスの測定も信頼性に欠けることが示唆されています。