Your browser does not support the PubReader view.
Go to this page to see a list of supporting browsers.
The Korean Journal of Public Administration
[ Article ]
Korean Journal of Public Administration - Vol. 64, No. 1, pp.1-30
ISSN: 1229-6694 (Print)
Print publication date 31 Mar 2026
Received 26 Nov 2025 Revised 29 Jan 2026 Accepted 09 Feb 2026
DOI: https://doi.org/10.24145/KJPA.64.1.1

점수의 불일치는 왜 발생하는가: 가중치 성향과 예비타당성조사 평가

최근혁* ; 김봉환**
*주저자, 서울대학교 행정대학원 박사수료 geunhyuk@snu.ac.kr
**교신저자, 서울대학교 행정대학원 교수, 한국행정연구소 겸무연구원 kimbong@snu.ac.kr
Why Do Scores Diverge: Weighting Preferences and Evaluation Disagreement in Preliminary Feasibility Studies
Geunhyuk Choi* ; Bong Hwan Kim**

초록

본 연구는 예비타당성조사에서 평가 점수의 불일치 원인을 분석하고, 항목별 가중치 성향이 평가 점수에 미치는 영향을 실증적으로 검토한다. 기존 연구들은 사업의 통과 여부나 제도적 측면에 초점을 맞추는 경우가 많았으나, 점수에 영향을 주는 개별 가중치에 대한 미시적 분석은 상대적으로 부족하였다. 본 연구는 점수 불일치의 대표적 지표인 최고점수와 최저점수를 종속변수로 설정하고 가중치 항목과의 관계를 분석하였다. 분석 결과, 경제성 가중치가 낮고 정책성 가중치가 높을수록 최고점수가 높게 나타났다. 반면에, 경제성 가중치가 높고 정책성 가중치가 낮을수록 최저점수가 높게 나타났다. 본 연구는 이러한 결과를 평가 항목의 성격 차이와 관련된 판단 방식의 차이로 해석할 수 있으며, 행동경제학의 이중처리 이론을 토대로 가중치 기반 패턴에서 추론 가능한 가능성을 제시한다. 이를 통해 예비타당성조사 제도의 평가 과정에서 발생할 수 있는 판단 편차를 이론적으로 설명하고, 평가의 공정성과 일관성 확보를 위한 개선 방향을 제시한다.

Abstract

This study investigates the sources of score disagreement in preliminary feasibility studies and empirically examines how evaluators’ weighting preferences across assessment criteria influence evaluation scores. While prior research has largely focused on project approval outcomes or institutional arrangements, relatively little attention has been paid to the micro-level role of individual weighting preferences in shaping evaluation results. To address this gap, this study adopts the highest and lowest scores as dependent variables and analyzes their relationship with criterion-specific weighting preferences. The results indicate that higher maximum scores are associated with lower weights on economic feasibility and higher weights on policy relevance. In contrast, higher minimum scores tend to emerge when greater weight is placed on economic feasibility and less on policy relevance. These findings can be interpreted as reflecting differences in judgment processes rooted in the distinct characteristics of evaluation criteria. This study draws on the dual-process theory in behavioral economics, proposing that systematic patterns of judgment can be inferred from evaluators’ weighting preferences. By doing so, it offers a theoretical explanation for judgment bias arising in the evaluation process of preliminary feasibility studies and suggests avenues for improving fairness and consistency in public project appraisal.

Keywords:

preliminary feasibility study, weighting preferences, judgment bias, behavioral economics

키워드:

예비타당성조사, 가중치 성향, 판단 편차, 행동경제학

References

  • 고길곤. (2007). 다차원 공공투자의사결정 문제에 있어서 정책분석가들의 의사결정 행태분석: 가중치 부여행위를 중심으로. ｢한국정책학회보｣, 16(1), 23-48.
  • 공공투자관리센터. (2015). 2015년도 공공투자관리센터 연차보고서. KDI.
  • 공공투자관리센터. (2019). 2019년도 공공투자관리센터 연차보고서. KDI.
  • 기획재정부. (2019). 예비타당성조사 정책브리핑.
  • 기획재정부. (2022). 예비타당성조사 운용지침. 국가법령정보센터.
  • 김강수. (2016). 대규모 사업의 예비타당성조사 성과와 과제. ｢국토｣, 413(3), 12-17
  • 김봉환･최근혁. (2022). 정책이념이 예타면제에 미치는 영향 분석. ｢행정논총｣, 60(3), 77-100.
  • 김봉환･최근혁･정호용･최근혁. (2024). 예비타당성조사의 정치성 연구: 어느 과정에서 어떻게 작동하는가?. ｢재정학연구｣, 17(2), 35-67.
  • 김정숙･안민우･엄영호. (2017). 정책분석가 구성이 예비타당성조사 사업비 증감에 미치는 영향: 예비타당성조사 (2012-2014) 분석을 중심으로. ｢정부학연구｣, 23(1), 95-115
  • 김태윤･조예진. (2018). 예비타당성조사제도의 타당성에 대한 연구: 예비타당성조사의 지침을 둘러싼 쟁점. ｢행정논총｣, 56(2), 279-311.
  • 김태일. (2019). 예비 타당성 조사의 쟁점 및 개편안 분석: 건설 사업을 중심으로. ｢한국행정학보｣, 53(3), 243-268.
  • 박민정. (2020). 국책사업 예비타당성조사 면제를 둘러싼 정치경제학적 논의: 지대 추구론을 중심으로. ｢한국자치행정학보｣, 34(3), 101-123.
  • 박승준. (2022). 연구개발사업 예비타당성조사 제도 개선효과에 관한 연구. ｢한국정책연구｣, 22(4), 29-43.
  • 신가희･하연섭. (2015). 예산심의과정에서 예비타당성조사제도의 정치적 수용성에 관한 연구-예산결산특별위원회 회의록 분석을 중심으로. ｢한국정책학회보｣, 24(2), 527-564.
  • 엄근용. (2019). 경제･사회 환경 변화에 따른 예비타당성조사 제도의 개선 방안. ｢이슈포커스｣, 2019(1), 1-30.
  • 정동호. (2024). 예비타당성조사 제도개편의 효과 분석 - 2019년 변화를 중심으로. ｢한국정책학회보｣, 33(2), 163-190.
  • 최근혁･김봉환. (2025). 예비타당성조사제도 변화에 관한 연구: 비수도권 사업의 통과확률이 비대칭적으로 늘었는가?. ｢행정논총｣, 63(1), 141-168.
  • Brehmer, B. (1994). The psychology of linear judgement models. Acta Psychologica, 87(2-3), 137-154. [https://doi.org/10.1016/0001-6918(94)90048-5]
  • Fischhoff, B., et al. (1978). How safe is safe enough? A psychometric study of attitudes towards technological risks and benefits. Policy sciences, 9, 127-152. [https://doi.org/10.1007/BF00143739]
  • Fiske, S. T. T., & Taylor, S. E. (2020). Social cognition: From brains to culture. [https://doi.org/10.4135/9781036232405]
  • Frank, R. H., et al. (1993). Does studying economics inhibit cooperation? Journal of economic perspectives, 7(2), 159-171. [https://doi.org/10.1257/jep.7.2.159]
  • Gigerenzer, G., & Gaissmaier, W. (2011). Heuristic decision making. Annual review of psychology, 62(2011), 451-482. [https://doi.org/10.1146/annurev-psych-120709-145346]
  • Gilovich, T., Griffin, D., & Kahneman, D. (Eds.). (2002). Heuristics and biases: The psychology of intuitive judgment. Cambridge university press. [https://doi.org/10.1017/CBO9780511808098]
  • Hodgkinson, G. P., Langan-Fox, J., & Sadler-Smith, E. (2008). Intuition: A fundamental bridging construct in the behavioural sciences. British Journal of Psychology, 99(1), 1–27. [https://doi.org/10.1348/000712607X216666]
  • Hogarth, R. M., & Einhorn, H. J. (1992). Order effects in belief updating: The belief-adjustment model. Cognitive psychology, 24(1), 1-55. [https://doi.org/10.1016/0010-0285(92)90002-J]
  • Kahneman, D. (2003). Maps of bounded rationality: Psychology for behavioral economics. American economic review, 93(5), 1449-1475. [https://doi.org/10.1257/000282803322655392]
  • Kahneman, D. (2011). Fast and slow thinking. Allen Lane and Penguin Books, New York.
  • Kahneman, D. & Klein, G. (2009). Conditions for intuitive expertise: a failure to disagree. American psychologist, 64(6), 515. [https://doi.org/10.1037/a0016755]
  • Kahneman, D. & Tversky, A. (1984). Choices, values, and frames. American psychologist, 39(4), 341. [https://doi.org/10.1037/0003-066X.39.4.341]
  • Keren, G., & Teigen, K. H. (2004). Yet another look at the heuristics and biases approach. Blackwell handbook of judgment and decision making, 89-109. [https://doi.org/10.1002/9780470752937.ch5]
  • Kunda, Z. (1990). The case for motivated reasoning. Psychological bulletin, 108(3), 480. [https://doi.org/10.1037/0033-2909.108.3.480]
  • Mackie, P., & Preston, J. (1998). Twenty-one sources of error and bias in transport project appraisal. Transport policy, 5(1), 1-7. [https://doi.org/10.1016/S0967-070X(98)00004-3]
  • Mitchell, G., et al. (1993). Judgments of social justice: Compromises between equality and efficiency. Journal of Personality and Social Psychology, 65(4), 629. [https://doi.org/10.1037/0022-3514.65.4.629]
  • Nickerson, R. S. (1998). Confirmation bias: A ubiquitous phenomenon in many guises. Review of general psychology, 2(2), 175-220. [https://doi.org/10.1037/1089-2680.2.2.175]
  • Reyna, V. F. (2004). How people make decisions that involve risk: A dual-processes approach. Current Directions in Psychological Science, 13(2), 60–66. [https://doi.org/10.1111/j.0963-7214.2004.00275.x]
  • Simon, H. A. (1972). Theories of bounded rationality. Decision and organization, 1(1), 161-176.
  • Slovic, P. (1995). The construction of preference. American psychologist, 50(5), 364. [https://doi.org/10.1037/0003-066X.50.5.364]
  • Slovic, P. (2000). What does it mean to know a cumulative risk? Adolescents' perceptions of short‐term and long‐term consequences of smoking. Journal of behavioral decision making, 13(2), 259-266. [https://doi.org/10.1002/(SICI)1099-0771(200004/06)13:2<259::AID-BDM336>3.0.CO;2-6]
  • Stanovich, K. E., & West, R. F. (2000). Advancing the rationality debate. Behavioral and brain sciences, 23(5), 701-717. [https://doi.org/10.1017/S0140525X00623439]
  • Stanovich, K. E. & West, R. F. (2007). Natural myside bias is independent of cognitive ability. Thinking & Reasoning, 13(3), 225-247. [https://doi.org/10.1080/13546780600780796]
  • Sunstein, C. R. (Ed.). (2000). Behavioral law and economics. Cambridge University Press. [https://doi.org/10.1017/CBO9781139175197]
  • Tversky, A., & Kahneman, D. (1974). Judgment under Uncertainty: Heuristics and Biases: Biases in judgments reveal some heuristics of thinking under uncertainty. science, 185(4157), 1124-1131. [https://doi.org/10.1126/science.185.4157.1124]
  • Wang, J., Stelmakh, I., Wei, Y., & Shah, N. (2024). Debiasing evaluations that are biased by evaluations. Journal of Machine Learning Research, 25(315), 1-120.
  • Weber, E. U., & Johnson, E. J. (2009). Mindful judgment and decision making. Annual review of psychology, 60(1), 53-85. [https://doi.org/10.1146/annurev.psych.60.110707.163633]