Đánh giá hoạt động nghiên cứu: đo cái gì thì được cái đó

Mọi hệ thống đánh giá đều thay đổi hành vi của người được đánh giá. Đây không phải khiếm khuyết — đó chính là mục đích.

Vấn đề là nó thay đổi theo hướng nào, và các tác động phụ thường lớn hơn dự tính.

Nguyên tắc chung đã được ghi nhận

Có một quy luật được nêu trong nhiều lĩnh vực quản lý: khi một chỉ số trở thành mục tiêu, nó thôi không còn là một thước đo tốt.

Lý do: người ta tối ưu hoá chỉ số đó, kể cả bằng cách không phục vụ mục đích ban đầu.

Trong nghiên cứu, điều này biểu hiện cụ thể:

• Đếm số bài dẫn tới chia nhỏ một nghiên cứu thành nhiều bài.
• Đếm trích dẫn dẫn tới các thực hành làm tăng trích dẫn không tương xứng với đóng góp.
• Đo theo chỉ số tạp chí dẫn tới chọn nơi công bố theo chỉ số thay vì theo độ phù hợp.
• Yêu cầu công bố nhanh dẫn tới nghiên cứu làm vội và tới việc chọn đề tài an toàn.
• Chỉ ghi nhận thành công dẫn tới việc không báo cáo kết quả âm tính.

Các cách đánh giá phổ biến

Đánh giá bằng chỉ số định lượng.

• Ưu: nhanh, rẻ, có vẻ khách quan, so sánh được trên quy mô lớn.
• Nhược: chỉ đo được thứ đếm được; tác động phụ mạnh; không so sánh được giữa các ngành.

Đánh giá bằng hội đồng chuyên môn.

• Ưu: đánh giá được chất lượng và bối cảnh; nhìn được các đóng góp không đếm được.
• Nhược: tốn rất nhiều thời gian chuyên gia; chịu ảnh hưởng của sai lệch và của quan hệ; khó nhất quán.

Kết hợp. Dùng chỉ số làm thông tin đầu vào cho hội đồng, không thay thế phán đoán. Đây là hướng mà nhiều tuyên bố quốc tế về đánh giá nghiên cứu khuyến nghị.

Các đóng góp thường không được đếm

Danh sách này quan trọng vì nó cho thấy hệ thống đang bỏ sót gì:

• Giảng dạy và hướng dẫn — ảnh hưởng tới nhiều người nhất nhưng khó đo.
• Xây dựng và bảo trì cơ sở dữ liệu, công cụ, phần mềm mà cả cộng đồng dùng.
• Phản biện và biên tập — hệ thống công bố phụ thuộc vào công việc miễn phí này.
• Tổ chức hội thảo và seminar.
• Tư vấn chính sách.
• Phổ biến khoa học và truyền thông.
• Kết quả âm tính và nghiên cứu lặp lại — có giá trị khoa học thật nhưng ít được ghi nhận.
• Xây dựng nhóm và bồi dưỡng người trẻ.
• Công trình bằng tiếng địa phương phục vụ cộng đồng trong nước.

Nguyên tắc đánh giá có trách nhiệm

Các nguyên tắc được nêu trong nhiều tuyên bố quốc tế về đánh giá nghiên cứu:

• Không dùng chỉ số của tạp chí để đánh giá bài báo hoặc cá nhân. Đây là điểm được nhấn mạnh nhiều nhất, vì phân bố trích dẫn trong một tạp chí rất lệch.
• Đánh giá công trình theo giá trị của chính nó, dựa trên việc đọc.
• Ghi nhận đa dạng các loại đóng góp, không chỉ bài báo.
• Minh bạch về tiêu chí và quy trình.
• Tính tới bối cảnh — ngành, giai đoạn sự nghiệp, điều kiện làm việc, gián đoạn.
• Cho phép giải trình và có cơ chế phúc khảo.
• Kiểm tra tác động phụ của chính hệ thống đánh giá và điều chỉnh.

Về đánh giá cơ sở

• Đánh giá cơ sở khác đánh giá cá nhân — dùng cùng một bộ chỉ số cho cả hai là sai lầm phổ biến.
• Chú ý quy mô — cơ sở lớn đương nhiên có tổng số cao hơn; chỉ số bình quân có ý nghĩa hơn cho một số mục đích.
• Chú ý sứ mệnh khác nhau — một cơ sở tập trung đào tạo và một viện nghiên cứu không nên bị đo bằng cùng thước.
• Tránh khuyến khích cạnh tranh nội bộ có hại — nếu kinh phí phụ thuộc hoàn toàn vào thứ hạng, các đơn vị sẽ ngừng hợp tác với nhau.

Đánh giá người ở giai đoạn đầu

Nhóm này chịu tác động lớn nhất từ thiết kế đánh giá:

• Họ chưa có thời gian tích luỹ trích dẫn — dùng chỉ số tích luỹ để đánh giá họ là không phù hợp.
• Áp lực số lượng đẩy họ tới các lựa chọn không tốt — công bố ở nơi dễ, chia nhỏ nghiên cứu, tránh đề tài dài hạn.
• Nên đánh giá theo tiềm năng và theo chất lượng của một vài công trình tiêu biểu, không theo tổng số.
• Tính tới gián đoạn một cách rõ ràng.

Thiết kế tốt hơn

• Ít chỉ số nhưng chọn kỹ — nhiều chỉ số không làm hệ thống chính xác hơn, chỉ làm nó tốn kém hơn.
• Kết hợp định lượng với phán đoán chuyên môn.
• Cho phép người được đánh giá tự chọn vài công trình tiêu biểu và giải thích ý nghĩa — cách này được nhiều hệ thống áp dụng và nó cho thông tin tốt hơn danh sách đầy đủ.
• Đánh giá theo chu kỳ đủ dài — chu kỳ ngắn khuyến khích kết quả nhanh.
• Giảm gánh nặng hành chính của chính việc đánh giá.
• Công bố cách hệ thống hoạt động để nó có thể được phản biện.
• Rà soát định kỳ tác động phụ.

Với người bị đánh giá

• Hiểu tiêu chí và chuẩn bị từ sớm.
• Ghi lại các đóng góp không được đếm — nếu hệ thống có chỗ để nêu, hãy nêu.
• Đừng để hệ thống định nghĩa toàn bộ giá trị công việc của bạn — nhưng cũng đừng bỏ qua nó, vì nó là cánh cửa thực tế.
• Nếu bạn ở vị trí góp ý về thiết kế hệ thống, hãy nêu các tác động phụ bạn quan sát được.

Một điều đáng nhớ

Một hệ thống đánh giá không chỉ đo lường hoạt động nghiên cứu. Nó tạo ra loại hoạt động nghiên cứu mà nó đo được.

Vì vậy câu hỏi khi thiết kế không chỉ là chỉ số này có chính xác không, mà là nếu mọi người tối ưu hoá theo chỉ số này, chúng ta sẽ có nền khoa học như thế nào.

Câu hỏi thường gặp