심리학과 행동과학 연구의 상당수는 자기보고식 설문에 기반하지만, 온라인 설문이 보편화되면서 문항을 제대로 읽지 않고 응답하는 불성실 응답(Insufficient Effort Responding, IER)이 자료의 타당도를 위협하는 문제로 지적되어 왔다. 탐지 기법을 개발하려면 실제 불성실 응답 자료가 필요한데, 이러한 응답은 드물고 산발적으로 발생해 표본 확보가 어렵고 무작위 반응을 인위적으로 삽입하는 기존 방식은 인간 응답이 지닌 심리적 구조를 재현하지 못한다는 한계가 있었다.

최근 고려대학교 심리학부 이태헌 교수 연구팀에서 진행된 연구는 대규모 언어모델(LLM)에 가상 응답자의 특성을 부여하는 페르소나 기반 프롬프트 엔지니어링으로 불성실 응답 자료를 생성할 수 있는지 검증했다. 연구팀은 인구통계와 Big Five 성격 프로파일을 조합해 네 가지 조건의 페르소나 1,200개를 생성했으며, 주의 깊게 응답하는 일반 조건을 기준으로 불성실 응답의 행동적 특징과 관련 성격특성을 각각 또는 함께 부여해 요소별 효과를 분리해 확인할 수 있도록 했다.

검증 결과 일반 조건에서는 입력한 성격 프로파일이 응답에 안정적으로 반영된 반면, 불성실 응답 조건에서는 그 관계가 체계적으로 약해졌다. 확인적 요인분석에서도 일반 조건만이 적합도 기준을 충족했으며, 아홉 개 지표를 결합한 불성실 응답 탐지법에서는 일반 조건의 탐지율이 5.33%에 그친 것과 달리 불성실 응답 조건에서는 최대 88.66%까지 상승해 실제 불성실 응답과 유사한 통계적 특성이 확인되었다.

이번 연구는 페르소나 기반 프롬프트 엔지니어링의 적용 범위를 성격이나 태도의 모사를 넘어 불성실 응답과 같은 복잡한 반응 패턴으로 확장할 수 있음을 보여준 것으로, 실제 자료 수집이 어렵거나 윤리적 제약이 따르는 영역에서 활용될 수 있을 것으로 기대된다. 

연구 결과는 심리학 연구방법론 분야 저명 학술지 Behavior Research Methods(JCR Psychology, Mathematical 분야 상위 7.7%, IF 5.0) 8월 4일자에 온라인 게재되었으며, 자료와 분석 코드는 OSF(https://osf.io/4679k)에 공개되어 있다. 논문의 제1저자는 심리학부 김동훈 석사과정생이며, 이태헌 교수가 교신저자로 참여했다.