banner

소식

May 22, 2023

사회 변화에 대한 사회과학자들의 예측의 정확성에 대한 통찰

Nature Human Behavior 7권, 484~501페이지(2023)이 기사 인용

20,000회 액세스

3 인용

372 알트메트릭

측정항목 세부정보

사회과학자들은 사회 변화를 얼마나 잘 예측할 수 있으며, 그들의 예측의 기초가 되는 프로세스는 무엇입니까? 이러한 질문에 답하기 위해 우리는 사회 과학에서 일반적으로 연구되는 영역(이념 선호, 정치적 양극화, 삶의 만족도, 소셜 미디어에 대한 정서, 성별-직업 및 인종 편견)에서 사회 변화 예측의 정확성을 테스트하는 두 가지 예측 토너먼트를 운영했습니다. 관련 영역에 대한 과거 추세 데이터를 제공한 후 사회과학자들은 사전 등록된 1년 동안의 월간 예측(토너먼트 1, N = 86개 팀 및 359개 예측)을 제출했으며, 새로운 데이터 6을 기반으로 예측을 업데이트할 수 있는 기회를 얻었습니다. 몇 달 후(토너먼트 2, N = 120개 팀 및 546개 예측). 벤치마킹 예측 정확도에 따르면 사회과학자의 예측은 평균적으로 단순한 통계 모델(역사적 평균, 무작위 보행 또는 선형 회귀)이나 일반 대중(N = 802)의 표본에 대한 집계 예측보다 더 정확하지 않은 것으로 나타났습니다. 그러나 과학자들은 예측 영역에 대한 과학적 전문 지식이 있고, 학제 간, 더 간단한 모델을 사용하고, 이전 데이터를 기반으로 예측하는 경우 더 정확했습니다.

사회과학자들은 사회변화를 예측할 수 있는가? 정부와 일반 대중은 자신의 전문 분야에서 미래에 대해 더 나은 판단과 예측을 한다는 일반적인 믿음을 바탕으로 전문가에게 의존하는 경우가 많습니다. 미디어는 또한 미래에 무엇을 기대할 수 있는지에 대한 판단과 의견을 제시하기 위해 전문가를 찾습니다1,2. 그러나 많은 영역의 예측에 대한 연구는 전문가가 미래를 예측하는 데 있어 순전히 확률론적 모델보다 낫지 않을 수 있음을 시사합니다. 예를 들어, 전문 지식에 대한 대가를 받는 포트폴리오 관리자는 예측에서 주식 시장보다 더 나은 성과를 내지 못합니다3. 마찬가지로, 지정학 영역에서 전문가들은 특정 정치적 사건의 발생을 예측할 때 우연한 수준에서 수행하는 경우가 많습니다4. 이러한 통찰력을 바탕으로 전문가들은 사회 변화를 정확하게 예측하기 어려울 것이라고 예상할 수 있습니다.

동시에 사회과학 연구자들은 사회과학 현상을 설명하기 위해 풍부하고 경험적으로 근거한 모델을 개발했습니다. 샘플링된 데이터를 조사함으로써 사회과학자들은 이상적인 경우 인간 행동과 사회적 과정을 신뢰성 있게 설명하는 인과 메커니즘에 대한 이론적 모델을 개발하기 위해 노력합니다5. 따라서 설명 모델은 사회과학 전문가에게 자신의 전문 영역에서 사회 현상을 예측하는 데 이점을 제공할 수 있습니다. 여기서 우리는 정치적 양극화, 인종적 편견, 복지와 같은 사회 현상의 추세에 대한 전반적인 예측 가능성을 조사하고, 사회과학 전문가가 비전문가보다 이러한 추세를 더 잘 예측할 수 있는지 여부를 조사하여 이러한 가능성을 테스트합니다.

이전 예측 계획에서는 두 가지 이유로 이 문제를 완전히 해결하지 못했습니다. 첫째, 주제 전문가와의 예측 이니셔티브는 여러 단위 시간에 걸친 사회 변화에 대한 사전 예측의 정확성보다는 특정 일회성 사건4,6의 발생 확률을 조사하는 데 중점을 두었습니다. 어떤 의미에서 미래의 사건을 예측하는 것은 전문가(연구 참여자)가 결과를 모르는 한 이미 발생한 사건을 예측하는 것과 같습니다. 그러나 미래 예측은 중요한 면에서 다르다고 생각할 이유가 있습니다. 주식 가격을 고려하십시오. 참가자들은 과거에 발생한 다른 많은 일(갈등, 거품, 블랙 스완, 경제 추세, 소비 추세 등)을 알고 있다는 점을 제외하고 과거 주식의 주식 수익률을 예측할 수 있습니다. 사후에 예측을 하는 사람들은 이러한 각 변수의 시간적 변화 또는 발생에 접근할 수 있으므로 사후 예측에 성공할 가능성이 더 높습니다. 따라서 과거 사건에 대한 예측은 사람들의 예측 자체보다는 사람들의 설명을 테스트하는 데 더 가깝습니다. 더욱이, 다른 모든 조건이 동일하다면, 일회성 사건에 관한 예측이 정확할 가능성은 기본적으로 장기간에 걸친 사회적 변화에 관한 예측보다 높습니다. 일회성 사건에 대한 이진 예측은 변화 정도나 예측된 시계열의 형태를 추정하는 데 있어 정확성을 요구하지 않으며, 이는 사회 변화를 예측하는 데 있어 추가 과제입니다.

 1) may not be too surprising; errors of the in-sample random walk in the denominator concern historical observations that occurred before the pandemic, whereas the accuracy of scientific forecasts in the numerator concerns the data for the first pandemic year. However, average forecasting accuracy did not generally beat more liberal benchmarks such as the median MASE in data science tournaments (1.76)7 or the benchmark MASE for ‘good’ forecasts in the tourism industry (Supplementary Information). Except for one team, the top forecasters from Tournament 1 did not appear among the winners of Tournament 2 (Supplementary Tables 1 and 2)./p>

공유하다