심리측정(Psychometrics)은 20세기에 의해 정립된 심리학 분야로, 지능, 성격, 정서, 동기와 같은 보이지 않는 마음과 행동(Latent Construct)을 정의하고 계량하는 이론을 체계화한 학문입니다. 심리측정 도구(Psychometric Instruments)는 사람의 마음을 측정하는 눈금(Scale) 달린 잣대(Tool)를 말하는 것으로, 학교, 기업과 공공기관에서 개인과 조직을 진단하고 평가하기 위해 널리 사용되고 있습니다. 모티브앤은 심리측정학적 이론과 방법을 적용해 정량적, 정성적, 심리적 측정 도구를 개발하고, 근거 기반 평가체계를 구축하는 전문 연구기관입니다.
문항 기반 진단 평가도구는 전통적인 진단 평가도구의 형태입니다. 측정도구 활용 목적에 따라 측정영역 특성을 반영한 진술문 형태의 사전 측정도구를 절차에 따라 제작합니다. 제작된 사전 측정도구는 내용전문가와 측정전문가가 참여한 타당화 과정을 거쳐 구체적인 타당도와 신뢰도 계수를 도출한 후 측정도구로써 격을 갖추게 됩니다. PC와 모바일에서 사용할 수 있도록 온라인 버전의 측정도구를 개발할 수 있습니다.
프로젝트 진행 사례
1
청소년 종합직업진로검사
대한상공회의소는 우리나라 미래 인적자원인 청소년의 올바른 직업관과 진로 방향성을 제시하기 위하여 종합적인 직업진로진단에 대한 필요성을 인식하고 본 사에 협력사업을 제안하였습니다. 본 사는 대한상공회의소와 업무협약 후 국가직무역량표준(NCS) 및 국가표준직업분류(KSCO)와 연계된 직업진로 진단검사를 설계하였습니다. 1년 넘는 연구개발 기간을 거쳐 청소년의 직업진로에 대한 다면적 진단과 추천 직업 선별의 알고리즘을 내재한 진단검사를 개발하였습니다.
2
유니세프아동친화도시 표준조사
유니세프한국위원회는 2013년부터 지방정부의 아동친화적 환경 조성을 위한 인증 프로그램으로서 유니세프아동친화도시 사업을 실시하고 있습니다. 유니세프아동친화도시 인증의 필수요소 중 하나는 아동과 보호자의 지방정부에 대한 인식을 측정하고 그 결과를 꾸준히 추적하여 지역사회 변화와 성장을 살피는 것입니다. 본 사는 척도개발 이론에 기반하여 유니세프아동친화도시 표준조사를 측정도구의 목적에 부합하도록 개발하고 타당화하였습니다. 해당 표준조사는 지방정부에서 격년으로 실시되며, 해당 결과는 전체 인증체계의 정의적 지표로 반영되어 지방정부의 인증과 인증갱신 평가에 반영되고 있습니다.
3
서강인재지수 측정도구
서강대학교는 신입생과 재학생의 서강인재상 측정을 위하여 ‘서강인재지수’에 대한 개발을 의뢰하였습니다. 서강대학교의 연구팀과 서강인재상을 측정하기 위한 구체적 정의를 개발하는 과정과 측정도구 제작과정을 설계하였으며, 단계에 맞춰 개발과정이 수행되었습니다. 예수회의 교육이념에 대한 문헌연구에서 비롯하여, 당시 서강대학교 법인 이사장과 대학 총장, 주요 보직교수, 전체 학과 학과장, 재학생과 졸업생이 참여한 대단위 인터뷰가 실시되었으며, ‘서강의 문화와 특성이 반영된 인재’에 대한 구체적 정의를 가려내는 절차가 질적(qualitative), 계량적(quantitative)으로 진행되었습니다. 초기 제작된 측정도구를 반복된 조사와 통계적 분석을 통해서 정교화하는 과정을 거쳤으며, 약 2년 간의 연구개발 기간을 들여 제작이 완료되어 현재에도 적용되고 있습니다.
상황 기반 측정은 진단과 평가를 위해 조성된 자극(manipulation Stimulus)에 참가자의 반응으로 평가하는 측정 방법입니다. 즉, 빈번히 겪는 중요한 상황을 추출하여 측정가능한 형태로 제작하고, 평가받는 사람을 해당 상황에 노출 시킨 후 그 반응을 통해서 평가를 실시합니다. 상황 기반 측정은 전통적인 평가 방식보다 현장지향적 충실도(feasibility)가 높다는 점, 참가자 긍정왜곡(positive distortion; faking)을 낮출 수 있다는 점 등 많은 장점을 가진 평가방식입니다.
프로젝트 진행 사례
1
VR 임원리더십 평가도구
롯데그룹은 임원승진을 앞두고 있는 임직원의 리더쉽 역량 측정을 위해서 가상현실(VR)기반의 상황검사 제작을 의뢰하였습니다. 조직의 핵심적인 리더로써 일상적으로 겪지만 중요한 상황을 추출하여 충실도 높은 시나리오를 구성하고, 해당 상황에서의 보일 수 있는 행동의 범주와 행동에 따른 가중치를 부여하는 절차를 통해서 상황기반 측정도구로써 면밀함을 갖추었습니다. 해당 상황검사는 일차적으로 검수 완료되어, 가상현실 제작업체와의 협업을 통해서 최종 완성되었으며 평가장면에 적용되었습니다.
2
신입사원 채용 상황판단검사
LS그룹은 신입사원선발 평가도구로 기존의 인적성검사와 더불어 상황기반 검사와 상황면접도구를 추가하고자 LS핵심가치 상황판단검사(Situational Judgement Test) 및 상황면접(Situational Interview) 개발을 의뢰하였습니다. SME를 정의하고 현장 인터뷰를 진행함과 동시에 조직에서 요구하는 핵심역량을 식별하는 절차를 통해서 신입사원의 상황기반 측정 도구 시나리오와 중요 행동 및 평가 틀을 추출하였습니다. 해당 상황기반 평가도구는 개발 후 신입사원 선발평가에 적용되어 활용되고 있습니다(본 연구는 성심여대 심리학과 조영일교수팀과 함께 수행하였습니다.)
3
창의∙공적윤리 역량진단도구
서울시립대학교에서는 재학생의 핵심역량(3P+3E)을 규명하고 이중 사회적 바람직성으로 인해 긍정왜곡(faking)에 취약하다고 판단된 창의·공적윤리 역량에 대한 측정방법에 대한 논의를 요청하였습니다. 모티브앤은 질문의 의도가 명백한 측정내용의 경우 전통적인 측정방식에 한계가 있다는 것을 설명하고 상황기반 측정을 제안하였으며, 재학생·졸업생·교직원으로 부터 수집한 서울시립대학교 만의 주요 상황을 토대로 상황기반 측정도구를 개발하였습니다. 해당 측정도구는 재학생이 겪어보거나 겪을만한 상황으로 구성되어 높은 수용성을 가진 도구로 평가받고 있습니다.
미래를 알고자 하는 인간의 욕구가 과학적으로 표현된 것이 ‘예측모델링’입니다. 과거에도 현재에도 예측모델링은 생활 곳곳에 존재해 왔습니다. 진학하면 잘 적응할 학생인지(입학), 입사 후 회사에 도움이 될만한 지원자인지(채용), 충성적인 고객이 될 손님인지(소비자), 돈을 빌려주면 떼먹지나 않을 사람인지(대출) 등은 이미 상용화된 고전적인 예측모델링입니다. 이러한 예측모델링의 기본적인 수리 모형은 단순한 1차 방정식에서 부터 이미 사람의 이해능력을 넘어선 범위까지 다양하지만, 핵심적인 사항은 얼마나 중요한 내용을 놓치지 않고 불필요한 요소를 담지 않았느냐, 모델의 예측 정확도가 얼마나 높으냐로 요약됩니다.
프로젝트 진행 사례
1
카지노 이용행태에 따른 중독유형 예측모델링
강원랜드는 문제성 도박행동을 예측하는 인구학적, 도박행태적, 심리학적 주요 변수를 식별하고, 문제성 도박 인자를 탐색하기 위하여 본 사에 연구를 의뢰하였습니다. 본 사는 강원랜드에 축척된 다량의 도박이용자에 대한 데이터를 분석하여 중요한 내용을 식별하고, 이를 지표화하기 위한 절차를 거쳤으며, 최적 지표구성을 통해서 예측률 높은 모형을 구축하였습니다. 더불어 예측모형이 탑제된 자동화된 시스템 설계를 제공하여 효과적인 문제성 도박행동을 빠르고 정확하게 식별할 수 있는 체계를 지원하였습니다.
2
영어능력 향상유형 식별과 성장추이 예측모델링
폴리어학원은 학생들의 영어능력 성장의 유형을 식별하고, 학생의 성장 유형의 유효지표로 구성된 예측모델을 개발하 고자 본 연구를 의뢰하였습니다. 본 연구는 학생-교사-임직원의 목소리, 기관의 관행-제도를 탐색하고 오랜 기간 축적된 방대한 양의 데이터를 세심하게 정제하는 작업이 함께 이뤄졌으며, 반복적인 분석과 논의를 통해 학생들의 영어능력 성장유형을 식별하였고, 구성된 예측 모델을 통해 성장유형에 따른 성적 향상 로드맵을 제시하며 연구를 완수하였습니다 (본 연구는 경북대 심리학과 박중규교수팀과 함께 수행하였습니다.)
평가체계(Assessment System)는 평가목적에 부합하는 내용(Contents), 절차(Procedure), 방법(Methodology)을 통합 운영(Integrated operation)하여 도출된 결과를 토대로 의사결정-적용-피드백 하는 체계를 말합니다. 평가체계는 타당하고(validity), 신뢰로우며(credibility), 실제적(viability) 요건을 갖추어야 하며, 이를 위해서 평가체계 개발 목적의 구체화, 피평가자와 평가자 식별, 운영실무 설계, 평가결과 적용 계획 및 제시 방식에 대한 명료화가 꼭 필요합니다. 개발 과정이 길고 쉽지 않지만 평가기관의 명망과 평가결과에 대한 피평가자의 신뢰를 획득할 수 있습니다.
프로젝트 진행 사례
1
유니세프아동친화도시 평가체계 구축
유니세프한국위원회는 우리나라 아동친화환경 조성을 위하여 지방정부 단위의 변화 프로그램으로써 아동친화도시 인증 프로그램을 도입하였습니다. 본 사는 2016년 부터 꾸준히 아동친화도시 인증 체계의 기반 연구를 수행해왔으며 2022년 아동친화도시 10년의 성과를 종합 분석하여 아동친화도시 프로그램의 효과성을 검증한 바 있습니다. 더불어 2023년 유니세프아동친화도시 평가체계 개편 연구기관로서 평가체계의 내용-절차-방법의 개편 연구를 수행하여, 타당하고 신뢰로우며 실제성있는 평가체계 구축에 기여하였습니다.
2
유니세프아동친화학교 평가체계 구축
유니세프한국위원회는 유엔아동권리협약을 학교행정에 내재화하여 학생이 존중받는 교육문화를 조성하기 위해서 유니세프의 아동권리교육(CRE) 기조에 기반한 아동친화학교 인증 프로그램을 도입하였습니다. 국내 실정을 반영한 인증평가 기반 마련을 위해 지표개발 및 평가체계 구축을 위한 기초 연구를 추진하게 되었고, 본 연구를 통해서 평가의 구성요소와 지표 식별, 평가요소와 심의를 위한 평가서식을 개발하여 인증평가체계를 구축하였습니다.
