직무 분석

시험 또는 시리즈에 대한 프로그램 구조와 직무 설명을 개발한 후 다음 단계는 직무에 필요한 기술, 작업 및 지식 영역을 과학적으로 결정하는 것입니다.
도전 과제: 누구나 Linux 전문가가 할 수 있어야 한다고 생각하는 작업 목록을 생각해낼 수 있습니다.
10명의 Linux 전문가에게 ‘주니어급’ 전문가가 해야 할 일을 물어보면 10개의 목록이 나올 수 있습니다.
어떤 목록이 맞을까요?
우리의 솔루션: 수많은 Linux 전문가에게 필요한 직무 목록을 물어본 다음 응답을 취합하여 공통적이고 가장 중요한 작업을 찾습니다.
가장 중요한 작업은 모든 목록에 표시됩니다.
이 프로세스를 직무 분석 연구 또는 직무 분석이라고 합니다.
LPI는 시험이 편견 없이 공정하게 구성될 수 있도록 Linux 전문가를 대상으로 광범위한 직무 분석 설문조사를 완료했습니다.

방법

사전 설문조사

먼저 대규모의 주제별 전문가 풀과 협력하여 인증 대상자가 수행할 수 있다고 생각되는 모든 작업의 전체 목록을 작성합니다.

직무 분석 설문조사

다음으로, 사전 설문조사에서 수집된 작업은 작업 분석 설문조사로 이동합니다.
이 설문조사에서는 현직 Linux 전문가에게 각 작업을 여러 가지 방법으로 평가하도록 요청합니다:

• 빈도: 빈도: 작업을 수행하는 빈도입니다.
• 중요성: 중요도: 관리자가 작업을 수행할 수 있는 것이 얼마나 중요한지를 나타냅니다.

데이터 분석

마지막으로 설문조사 응답에 대한 통계 분석을 실시합니다.
응답자가 각 업무를 평균적으로 얼마나 중요하게 평가했는지를 나타내는 통계를 계산합니다.
이 분석 결과를 바탕으로 최종 업무 목록을 결정합니다.

목표 개발

개발의 세 번째 주요 단계는 직무 분석 연구의 결과를 시험의 실제 목표로 전환하는 것입니다.
목표는 Linux 전문가가 수행할 수 있어야 하는 구체적인 일을 나타냅니다.
각 목표에는 다른 목표와 비교하여 그 중요성을 나타내는 가중치가 할당됩니다.

초기 목표 초안 작성

먼저, Linux 기술 문제와 심리 측정 원칙에 대한 지식을 갖춘 소수의 사람들이 직무 분석 연구 결과를 바탕으로 초기 테스트 목표의 초안을 작성했습니다.

객관적인 검토 및 수정

목표 초안이 생성되면 웹 기반 시스템에 온라인에 게시되어 공개적으로 검토하고 의견을 제시할 수 있습니다.
이 시스템은 시험 및 콘텐츠 주제별로 목표를 구성하여 목표 자체와 함께 목표에 대한 추가 문서 링크를 표시합니다.
목표에 대한 대중의 의견을 수렴한 후 감독관이 의견을 검토하고 필요에 따라 목표를 수정합니다.
목표에 대한 가장 최근의 검토 및 수정 사항은 LPI 시험 개발 위키에 공개적으로 게시되며, 커뮤니티 및 ExamDev 메일링 리스트에 보내 의견과 의견을 받습니다.
목표가 최종 확정되면 LPI.org에 게시하고 커뮤니티와 코스웨어 및 교육 제공업체에 알려 새로운 시험 자료를 반영하여 교육 자료를 업데이트할 수 있도록 합니다.

아이템 개발

목표가 확정되면 시험에 출제할 문항, 즉 문항을 작성하는 과정을 시작합니다.
보안은 문항 개발의 주요 관심사입니다.
모든 문항은 이 과정에 참여하는 사람들이 문항 내용을 누구에게도 공개하지 않겠다는 비공개 계약서에 서명함으로써 최대한 기밀로 유지됩니다.
LPI는 또한 공개되지 않은 다른 보안 예방 조치도 취합니다.

항목 작성

지금까지 대부분의 다른 IT 인증 시험의 문항을 개발하는 데 사용된 프로세스는 주제별 전문가 그룹을 일주일 이상 한 장소에 불러 문항 작성 방법에 대한 교육을 실시한 다음 집중적으로 문제를 만들도록 하는 것이었습니다.
하지만 이 방법은 비용이 많이 들고 독점적인 기술입니다.
LPI는 초기 시험 개발 단계에서 인터넷을 통해 커뮤니티의 힘을 활용하여 관심과 지식이 있는 모든 사람이 문항 작성에 도움을 주도록 했습니다.
그 이후로 LPI는 주제별 전문가, 온라인 자원봉사자, 문항 작성 워크숍 참가자의 지식을 활용하여 자체적으로 시험 순환을 위한 새로운 문항을 개발했습니다.

항목 심사

감독관은 제출된 모든 시험 항목을 심사하여 합격, 불합격 또는 재검토를 결정했습니다.
감독관들은 세 가지 기준에 중점을 두었습니다:

• 중복성: 이전에 제출한 항목과 실질적으로 동일한 항목은 거부됩니다.
• 문구 및 명확성: 혼란스럽거나 부적절한 방식으로 표현된 항목은 거부되거나 단어가 변경됩니다.
  감독자는 영어가 모국어가 아닌 사용자도 질문을 이해할 수 있도록 주의를 기울입니다.
• 정확성: 감독자는 기술적으로 정확하지 않은 항목은 거부하거나 단어를 변경했습니다.

항목 기술 검토

다음으로 LPI는 Linux 전문가 그룹을 통해 항목을 기술 검토에 들어갑니다.
각 항목은 여러 전문가가 검토합니다.
각 전문가는 항목을 승인, 거부 또는 ‘기타’로 분류하여 다른 전문가가 다시 작성하거나 검토하도록 합니다.
주요 기술 기준:

• 정확성
• 방해 요소의 적절성(객관식 문항의 경우): 검토자는 방해 요소가 정답은 아니지만 합리적으로 그럴듯한지 확인합니다.
• 문구 및 명확성: 검토자는 항목이 적절한 언어로 표현되었는지 확인합니다.
• 관련성
• 예상 난이도

그런 다음 감독자가 리뷰를 수집하여 각 항목의 해당 여부를 판단합니다:

• 합의에 따라 승인됨
• 합의에 따라 거부됨
• 추가 검토 후 승인됨: 검토자가 동의하지 않은 경우, 다른 검토자의 의견을 바탕으로 관리자가 승인할 수 있습니다.
• 추가 검토 후 거부됨: 검토자가 동의하지 않으면 감독자는 다른 검토자의 의견에 따라 거부할 수 있습니다.
• 수정 후 승인됨: 경우에 따라 검토자가 항목의 문구 수정을 제안하고 관리자가 문구를 수정한 후 항목을 수락할 수 있습니다.

시험 생성

라이브 양식 작성

개발의 다음 단계는 글로벌 배포를 위해 항목을 시험으로 조립하는 것입니다.
각 시험에는 여러 가지 형태가 있습니다.
응시자가 한 가지 유형에 불합격하여 재응시하는 경우, 재응시 시 다른 유형의 시험을 받게 됩니다.
Pearson VUE 시험 엔진은 응시자가 시험을 치를 때 각 양식의 문제를 무작위로 정렬하여 같은 시험에 응시하는 두 응시자가 같은 순서로 같은 문제를 시험받지 않도록 합니다.

초기 시험 게시

LPI 심리측정 담당자가 문항 구성을 결정한 후에는 텍스트 기반 문항을 실제 시험 파일 형식으로 변환하여 LPI의 시험 센터 네트워크를 통해 전 세계에 배포해야 합니다.
시험은 문항이 실제로 기술과 역량을 측정하는지 확인하기 위해 초기 테스트 기간에 들어갑니다.
IT 인증에서는 이 기간을 베타 테스트 기간이라고 합니다.
베타 기간 동안 응시자는 시험에 등록하고 지역 이벤트에서 시험을 완료할 수 있습니다.
응시자는 점수를 받을 수 있지만 시험이 끝난 후 즉시 점수를 돌려받지는 않습니다.
베타 시험에는 종종 시간 연장 형식의 추가 문제와 추가 설문조사 및 인구통계학적 질문이 포함됩니다.
여러 번의 동시 프로세스를 통해 커트라인 점수가 결정되므로 시험을 평가하고 채점할 수 있습니다.

충분한 시험 획득

합격 점수를 설정하기 전에 LPI는 목표 직무와 유사한 사람들이 응시한 시험 횟수를 충분히 축적해야 했습니다.
지원자가 증가함에 따라 목표 데이터 수가 계속 증가하여 가장 정확한 결과를 생성하는 데 도움이 되고 있습니다.
베타 시험 과정의 일부로 심리측정 담당자가 문제의 타당성을 검토할 때 인구통계학적 데이터를 고려합니다.

질문 검토하기

테스트 결과가 나오면 심리측정 담당자가 데이터를 검토하기 시작합니다.
다음과 같은 질문을 합니다: 모든 사람이 맞히는 문제가 있는가?
모든 사람이 틀린 문제가 있는가?
이 과정에서 수집된 시험 의견을 검토하고 질문과 우려 사항을 해결합니다.

수정된 앙고프 연구

심리측정 담당자가 수신 데이터를 검토하는 동안 별도의 주제별 전문가 풀이 동시에 수정된 앙고프 연구에 참여했습니다.
이들의 목표는 심리측정 담당자에게 문제를 검증하고 합격 점수를 설정하는 데 도움이 되는 추가 데이터를 제공하는 것이었습니다.
이 과정에서 전문가

• 각 양식의 시험 문제 사본을 받습니다.
• 각 질문을 독립적으로 검토하고 서로 상의하여 스펙 시트에 기술된 직무 요건을 충족하는 최소한의 자격을 갖춘 사람이 질문에 올바르게 답할 가능성이 얼마나 되는지 판단합니다.
  즉, 전문가들은 직무 수행을 위한 역량 척도의 최하위에 있는 사람의 관점에서 질문을 고려합니다.
• 객관식 문제에서는 추측을 통해 정답을 맞히는 사람도 있다는 점을 염두에 두고 각 문제에 대해 몇 퍼센트의 사람들이 정답을 맞힐지 예상하여 평가하세요.

이상적으로는 Angoff 연구 결과가 베타 기간의 실제 시험 결과와 유사해야 합니다.
앙고프 연구 결과는 문항 성능을 검증하는 것 외에도 시험의 합격 점수를 정하는 데에도 사용됩니다.

점수 결과 배포

모든 데이터 수집, 분석 및 앙고프 연구가 끝나면 심리측정 담당자가 합격 점수를 설정하고 베타에 참여한 응시자에게 점수를 배분합니다.

시험 재출제

베타 테스트가 완료되고 합격 점수가 설정되고 잘못된 항목이 제거되거나 수정되면 시험이 다시 게시될 준비가 된 것입니다.
이 작업에는 상당한 검토가 필요하며 완료하는 데 한 달 이상 걸릴 수 있습니다.
이 최종 검토 프로세스가 완료되면 Pearson VUE 및 파트너 네트워크와 협력하여 전 세계 모든 응시자를 위한 최종 시험을 게시합니다.

필기 시험이 필요한 이유

필기 시험은 글로벌 표준입니다.

객관식 시험은 대부분의 인증 및 면허 시험에서 일반적인 표준입니다.
의사, 변호사, 공인 회계사 등 대부분의 직업은 객관식 시험을 통과해야 합니다.
수준 높은 객관식 시험을 만들기 위한 절차는 확고하게 확립되어 있습니다.
실기 시험에는 이러한 표준이 존재하지 않습니다.
따라서 파일럿 테스트, 문항 분석, 공식적인 표준 설정 및 동일성 평가가 거의 포함되지 않은 채 임시방편적으로 시행되는 경향이 있습니다.

필기 시험은 유효합니다.

필기 직무 지식 시험은 직무 시뮬레이션과 거의 동일한 수준의 예측 타당도를 가지고 있습니다(Roth 외, 2005)

필기 시험이 더 효율적입니다.

개별 문항으로 구성된 필기 시험은 문항 유형이 복잡한 시험보다 더 효율적입니다.
예를 들어, Jodoin(2003)은 IT 자격증 시험에서 수험생이 직접 답을 구성해야 하는 혁신적인 문항 유형(예: 네트워크 다이어그램 그리기)을 조사했습니다.
그는 이러한 구성형 답안 항목이 더 많은 정보를 제공하지만 더 많은 시간이 걸린다는 사실을 발견했습니다.
그 결과, 그는 “객관식 문항이 단위 시간당 더 많은 정보를 제공한다”는 결론을 내렸습니다.

필기 시험은 모든 목표를 다룹니다.

인증 시험(예: LPI)은 광범위한 지식 영역을 다룹니다.
필기 시험은 개별 항목을 사용하여 모든 목표를 적절히 다룰 수 있습니다.
실기 시험은 현실적인 제약으로 인해 이러한 목표 중 좁은 범위에서 표본을 추출하거나 훨씬 더 작은 지식 영역을 다루어야 합니다.

필기 시험이 더 가치가 있습니다.

실습 테스트는 일반적으로 항목 개발, 파일럿 테스트, 관리 및 채점을 포함한 모든 단계에서 비용이 더 많이 듭니다.
실습 테스트의 비용이 더 많이 들지만 신뢰도나 유효성이 높지 않다면 그 가치는 떨어집니다.

필기 시험은 더 신뢰할 수 있고 객관적입니다.

주관식 시험의 채점 관행은 상당히 다양하지만, 주관식 답안 채점에 관한 문헌에 따르면 주관식 채점은 기존 항목의 채점보다 신뢰도가 떨어지는 경우가 많습니다.
직무 성과에 관한 문헌에 따르면 객관적인 성과 측정도 신뢰할 수 없는 것으로 나타났습니다.