Phân tích Nhiệm vụ Công việc

Sau khi phát triển cấu trúc chương trình và mô tả công việc cho một hoặc chuỗi các kỳ thi, giai đoạn tiếp theo là xác định các kỹ năng, nhiệm vụ và lĩnh vực kiến thức cần thiết cho công việc một cách khoa học. Thách thức: Bất cứ ai cũng có thể đưa ra một danh sách các nhiệm vụ mà họ nghĩ một chuyên gia Linux có thể thực hiện. Nếu bạn hỏi 10 chuyên gia Linux xem một chuyên gia “cấp cơ bản” nên làm gì, bạn có thể nhận được 10 danh sách.

Danh sách nào là đúng?

Giải pháp của chúng tôi: Chúng tôi yêu cầu một số lượng lớn các chuyên gia Linux cung cấp danh sách các nhiệm vụ công việc cần thiết của họ, sau đó tổng hợp các câu trả lời để tìm ra các nhiệm vụ chung và quan trọng nhất. Các nhiệm vụ quan trọng nhất hiển thị trên tất cả các danh sách.

Quá trình này được gọi là nghiên cứu phân tích công việc hoặc phân tích nhiệm vụ công việc. LPI đã hoàn thành các cuộc khảo sát phân tích công việc trên diện rộng của các chuyên gia Linux để giúp đảm bảo các kỳ thi không thiên vị và được xây dựng một cách công bằng.

Chúng tôi thực hiện nó như thế nào:

Trước khi Khảo sát

Đầu tiên, chúng tôi làm việc với một nhóm lớn các chuyên gia về chủ đề này để biên soạn danh sách đầy đủ tất cả các nhiệm vụ mà họ nghĩ có thể được thực hiện bởi đối tượng mục tiêu của chứng chỉ.

Khảo sát Phân tích Công việc

Tiếp theo, các nhiệm vụ được thu thập trong quá trình khảo sát trước sẽ được đưa vào khảo sát phân tích công việc. Cuộc khảo sát này yêu cầu các chuyên gia Linux đang hành nghề đánh giá từng nhiệm vụ theo nhiều cách:

• Tần suất: Họ thực hiện nhiệm vụ thường xuyên như thế nào.
• Tầm quan trọng: Việc một quản trị viên có thể thực hiện nhiệm vụ quan trọng như thế nào.

Phân tích Dữ liệu

Cuối cùng, chúng tôi tiến hành phân tích thống kê các câu trả lời khảo sát. Chúng tôi tính toán số liệu thống kê chỉ ra, trung bình, mức độ quan trọng mà người trả lời then chốt đánh giá từng nhiệm vụ như thế nào. Phân tích này hướng dẫn việc xác định danh sách nhiệm vụ công việc cuối cùng.

Phát triển Mục tiêu

Giai đoạn phát triển chính thứ ba là chuyển đổi kết quả từ Nghiên cứu Phân tích Công việc để phát triển các mục tiêu thực tế cho (các) kỳ thi. Mục tiêu chỉ ra các điểm cụ thể mà các chuyên gia Linux phải có khả năng thực hiện. Mỗi mục tiêu được gán một giá trị trọng số cho thấy tầm quan trọng của nó so với các mục tiêu khác.

Soạn thảo Mục tiêu Ban đầu

Đầu tiên, một nhóm nhỏ những người có kiến thức về các vấn đề kỹ thuật của Linux và các nguyên tắc tâm lý học đã soạn thảo một bộ mục tiêu kiểm tra ban đầu, dựa trên kết quả của nghiên cứu phân tích công việc.

Đánh giá và Sửa đổi Mục tiêu

Sau khi soạn xong các mục tiêu dự thảo, chúng sẽ được đưa trực tuyến lên hệ thống web một cách công khai để mọi người xem xét và đánh giá. Hệ thống này sắp xếp các mục tiêu theo kỳ thi và chủ đề nội dung, hiển thị các mục tiêu cùng với các liên kết đến tài liệu bổ sung về các mục tiêu. Các bình luận công khai về các mục tiêu được thu thập và sau đó được người giám sát xem xét và sửa đổi các mục tiêu nếu cần thiết. Việc đánh giá và sửa đổi gần đây nhất về các mục tiêu được đăng công khai trên wiki của chúng tôi về Phát triển Kỳ thi LPI và chúng tôi cũng gửi chúng đến cộng đồng của mình cũng như danh sách gửi thư ExamDev để họ nhận xét và góp ý.

Khi các mục tiêu được hoàn thành, chúng tôi sẽ đăng lên LPI.org và cộng đồng của mình cũng như các nhà cung cấp chương trình học và đào tạo biết, vì vậy các tài liệu đào tạo có thể được cập nhật nhằm phản ánh các tài liệu thi mới.

Phát triển Câu hỏi

Sau khi hoàn thành các mục tiêu, chúng tôi bắt đầu quy trình viết ra các câu hỏi, gọi là các mục, cho các kỳ thi. Tính bảo mật là yếu tố được quan tâm nhất trong quá trình phát triển mục. Tất cả các mục phải được giữ bí mật nhất có thể bằng cách yêu cầu những người liên quan vào quy trình ký kết thỏa thuận đồng ý không tiết lộ nội dung câu hỏi đến bất kỳ ai. Ngoài ra, LPI cũng thực hiện thêm các biện pháp phòng ngừa bảo mật khác.

Viết Câu hỏi

Trước đây, quy trình được dùng để phát triển các mục cho hầu hết các kỳ thi lấy chứng chỉ CNTT nhiều nhất là đưa một nhóm chuyên gia về lĩnh vực này đến địa điểm quy định trong một tuần hoặc hơn, để đào tạo họ biết cách viết các mục, và sau đó yêu cầu họ làm việc một cách cật lực để đưa ra các câu hỏi.

Nhưng kĩ thuật này lại tốn kém và mang tính độc quyền. Tại LPI, trong suốt giai đoạn phát triển kỳ thi đầu tiên chúng tôi đã tận dụng sức mạnh của cộng đồng thông qua internet để khuyến khích những người có hứng thú và hiểu biết để giúp chúng tôi trong phần viết mục.

Sau đó, LPI đã phát triển các mục mới để luân chuyển kì thi tại nhà bằng việc khai thác các kiến thức của các chuyên gia, các tình nguyện viên trực tuyến và người tham gia vào các hội thảo viết mục.

Sàng lọc Câu hỏi

Các nhà giám sát đã sàng lọc các mục thi được nộp lên, chấp nhận, từ chối hoặc sửa lại chúng. Họ tập trung vào ba yếu tố sau:

• Trùng lặp: Các mục trùng lặp đáng kể với các mục đã gửi trước đó sẽ bị từ chối
• Diễn đạt và Độ rõ ràng: Các mục diễn đạt một cách khó hiểu hoặc không phù hợp sẽ bị từ chối hoặc sửa lại. Người giám sát sẽ chú ý để đảm bảo rằng những người không nói tiếng Anh bản xứ có thể hiểu được các câu hỏi.
• Độ chính xác: Người giám sát từ chối hoặc điều chỉnh lại các mục không chính xác về mặt kỹ thuật.

Xem xét Kỹ thuật Câu hỏi

Tiếp theo, LPI sử dụng một nhóm chuyên gia Linux để đưa các mục vào khâu đánh giá kỹ thuật. Mỗi mục sẽ được xem xét bởi nhiều chuyên gia. Mỗi chuyên gia phân loại các mục thành các loại như được phê duyệt, bị từ chối hoặc “khác” để người khác xem hoặc diễn đạt lại

Các tiêu chí kĩ thuật chính cơ bản:

• Tính đúng đắn
• Tính phù hợp với các yếu tố gây nhiễu (đối với các câu hỏi trắc nghiệm): Người đánh giá đảm bảo rằng các câu trả lời của yếu tố gây nhiễu là không chính xác nhưng hợp lý.
• Diễn đạt và Độ rõ ràng: Người đánh giá đảm bảo các mục được diễn đạt bằng ngôn ngữ thích hợp.
• Tính phù hợp
• Độ khó dự kiến

Sau đó, người giám sát thu thập các đánh giá để xác định xem mỗi câu hỏi có:

• Được chấp nhận dựa trên sự đồng thuận
• Bị từ chối dựa trên sự đồng thuận
• Được chấp nhận sau khi xem xét thêm: Nếu người đánh giá không đồng ý, người giám sát có thể chấp nhận điều đó dựa trên ý kiến của người đánh giá khác.
• Bị từ chối sau khi xem xét thêm: Nếu người đánh giá không đồng ý, người giám sát có thể từ chối dựa trên ý kiến của người đánh giá khác.
• Được chấp nhận sau khi sửa đổi: Trong một số trường hợp, người đánh giá có thể đề xuất sửa đổi mục và người giám sát có thể chấp nhận mục sau khi đã điều chỉnh.

Tạo Bài thi

Tạo Biểu mẫu Trực tiếp

Giai đoạn phát triển tiếp theo bao gồm việc tập hợp các câu hỏi thành các bài thi để triển khai trên toàn cầu. Mỗi bài thi có nhiều hình thức. Nếu thí sinh trượt một hình thức và thi lại, họ sẽ nhận được hình thức thi khác.

Công cụ kiểm tra của Pearson VUE sắp xếp ngẫu nhiên các câu hỏi của từng hình thức khi có người thực hiện bài thi để đảm bảo hai thí sinh tham gia cùng một kỳ thi không có các câu hỏi giống nhau theo cùng một thứ tự.

Công bố Bài thi Đầu tiên

Sau khi nhân viên tâm lý học LPI đã xác định được thành phần của hình thức thi, bài thi phải được chuyển đổi từ các mục bằng văn bản sang định dạng tệp bài thi thực tế để triển khai trên toàn cầu thông qua mạng lưới các trung tâm khảo thí của LPI.

Kỳ thi bước vào giai đoạn kiểm tra ban đầu để xác định xem các câu hỏi trên thực tế có đo lường kỹ năng và năng lực hay không. Trong chứng chỉ CNTT, giai đoạn này được gọi là giai đoạn thử nghiệm beta.

Trong giai đoạn thử nghiệm beta, thí sinh có thể đăng ký làm bài thi và hoàn thành chúng tại các sự kiện địa phương. Họ nhận được tín chỉ, nhưng thí sinh không nhận được điểm ngay sau khi thi. Bài kiểm tra beta thường bao gồm thêm các câu hỏi bổ sung với định dạng thời gian kéo dài cũng như bổ sung các câu hỏi khảo sát và nhân khẩu học. Một số quy trình đồng thời xác định điểm cắt để các bài kiểm tra có thể được đánh giá và chấm điểm.

Thu thập Đủ Bài thi

Trước khi ấn định điểm đậu, LPI phải tích lũy đủ số lượng bài thi được thực hiện bởi những người có sự tương đồng với mô tả công việc mục tiêu. Khi được hỗ trợ càng nhiều, số lượng dữ liệu mục tiêu của chúng tôi sẽ tiếp tục tăng, giúp tạo ra kết quả chính xác nhất. Là một phần của quy trình kiểm tra beta, dữ liệu nhân khẩu học cũng được nhân viên tâm lý tính đến khi xem xét tính hợp lệ của các câu hỏi.

Xem lại Câu hỏi

Khi có kết quả kiểm tra, nhân viên tâm lý bắt đầu kiểm tra dữ liệu. Đặt những câu hỏi như: Có câu hỏi nào mà mọi người đều trả lời đúng không? Có câu hỏi mà mọi người đều trả lời sai không? Các nhận xét về bài kiểm tra được thu thập trong quá trình này sẽ được xem xét và các câu hỏi cũng như mối quan ngại sẽ được giải quyết.

Nghiên cứu Angoff được điều chỉnh

Trong khi nhân viên tâm lý học LPI xem xét dữ liệu đang thu thập, một nhóm chuyên gia về lĩnh vực chuyên biệt này đã đồng thời tham gia vào nghiên cứu Angoff được điều chỉnh. Mục tiêu của họ là cung cấp cho nhân viên tâm lý học dữ liệu bổ sung để xác thực các câu hỏi và hỗ trợ thiết lập điểm đậu.

Trong quá trình này, các chuyên gia:

• Nhận các bản sao câu hỏi bài thi theo từng hình thức.
• Nhìn vào từng câu hỏi và tham khảo ý kiến lẫn nhau cũng như đưa ra các đánh giá về khả năng một người có đủ điều kiện tối thiểu đáp ứng nhu cầu công việc đã được mô tả trong bảng thông số kĩ thuật mà có thể trả lời câu hỏi một cách chính xác như thế nào. Nói cách khác, các chuyên gia phải xem xét các câu hỏi từ góc nhìn của người ở mức dưới cùng của thang đánh giá năng lực công việc.
• Đánh giá từng câu hỏi và ước tính bao nhiêu phần trăm số người sẽ trả lời đúng, nhớ rằng đối với các câu hỏi trắc nghiệm, một số người sẽ trả lời đúng nhờ đoán mò.

Một cách lý tưởng, kết quả từ nghiên cứu Angoff phải song song với kết quả thực tế từ các bài kiểm tra trong giai đoạn thử nghiệm beta. Ngoài việc xác nhận hiệu suất của từng mục, kết quả của nghiên cứu Angoff còn được sử dụng để giúp thiết lập điểm đậu cho các kỳ thi.

Phân phối Kết quả Điểm Thi

Sau tất cả quá trình thu thập dữ liệu, phân tích và nghiên cứu Angoff, nhân viên tâm lý học sẽ ấn định điểm đậu và phân bổ điểm cho những người thi đã tham gia trong việc thử nghiệm beta.

Công bố lại Bài thi

Sau khi thử nghiệm beta hoàn tất, điểm đậu đã được thiết lập và mọi mục xấu đã được xóa hoặc sửa, bài kiểm tra đã sẵn sàng để công bố lại. Công việc này đòi hỏi phải xem xét kỹ lưỡng và có thể mất một tháng hoặc hơn để hoàn thành. Sau khi quá trình đánh giá cuối cùng này hoàn tất, chúng tôi phối hợp với Pearson VUE và mạng lưới đối tác của chúng tôi để xuất bản các bài kiểm tra cuối cùng cho tất cả thí sinh trên toàn thế giới.

Tại sao Nên sử dụng Bài thi Viết

Bài thi viết là một tiêu chuẩn toàn cầu.

Trắc nghiệm là một tiêu chuẩn chung cho hầu hết các kỳ thi lấy chứng chỉ và giấy phép. Cho dù bạn muốn trở thành bác sĩ, luật sư hay kế toán viên công chứng, hầu hết các ngành nghề đều yêu cầu bạn phải vượt qua bài thi trắc nghiệm. Quá trình tạo ra bài thi trắc nghiệm chất lượng cao được thiết lập chặt chẽ. Không có tiêu chuẩn cụ thể nào dành cho các kỳ thi thực hành. Vì vậy, chúng có xu hướng không mang tính quy chuẩn và hiếm khi bao gồm các thử nghiệm thí điểm, phân tích mục, thiết lập tiêu chuẩn chính thức và tương đương.

Các bài thi viết có tính đúng đắn.

Các bài thi kiểm tra kiến thức công việc bằng văn bản có mức độ dự đoán với giá trị tương đương như mô phỏng công việc (Roth et al., 2005)

Các bài thi viết có hiệu quả hơn.

Bài thi viết với các câu hỏi riêng lẻ sẽ hiệu quả hơn bài thi với câu hỏi phức tạp hơn. Ví dụ, Jodoin (2003) đã kiểm tra các loại mục có tính đổi mới trong kỳ thi chứng chỉ CNTT mà yêu cầu ứng viên xây dựng câu trả lời (ví dụ: vẽ sơ đồ mạng). Ông nhận thấy rằng những mục phản hồi được xây dựng này cung cấp nhiều thông tin hơn nhưng cũng tốn thêm thời gian. Do đó, ông kết luận rằng “các câu hỏi trắc nghiệm cung cấp nhiều thông tin hơn trong mỗi đơn vị thời gian”.

Bài thi viết gồm tất cả các mục tiêu.

Các kỳ thi chứng chỉ (như LPI) bao quát nhiều lĩnh vực kiến thức. Bằng cách sử dụng các câu hỏi riêng lẻ, các bài thi viết có thể dễ dàng đảm bảo đáp ứng đầy đủ tất cả các mục tiêu. Do những hạn chế thực tế, việc thi thực hành phải lấy mẫu trong phạm vi hẹp từ các mục tiêu này hoặc bao trùm lượng kiến thức nhỏ hơn nhiều.

Các bài thi viết có giá trị hơn.

Thử nghiệm thực hành thường tốn kém hơn trong tất cả các giai đoạn, bao gồm phát triển mục, thử nghiệm thí điểm, quản lý và chấm điểm. Nếu thử nghiệm thực hành đắt hơn nhưng không đáng tin cậy hoặc hợp lệ hơn thì nó mang lại ít giá trị hơn.

Bài thi viết đáng tin cậy và khách quan hơn.

Cách chấm điểm cho mỗi bài kiểm tra mở có sự khác biệt đáng kể, nhưng tài liệu về cách chấm điểm các câu trả lời được xây dựng cho thấy rằng việc chấm điểm chủ quan thường kém tin cậy hơn so với cách chấm điểm các câu hỏi truyền thống. Các tài liệu về hiệu suất công việc cho thấy các thước đo khách quan về hiệu suất cũng không đáng tin cậy.