[연재] 열에 넷을 틀리면서 확신은 99였습니다 — 조수의 확신은 답이 맞는지와 따로 놉니다

확신이 높은 답만 믿으면 되지 않을까

조수에게 판정을 맡기다 보면 이런 생각이 듭니다. "확신이 높을 때만 믿고, 낮을 때만 내가 다시 보면 되지 않을까?" 조수에게 답과 함께 0부터 100까지 확신을 적으라고 하면 순순히 적어 주거든요. 그 숫자로 걸러 내면 제가 볼 양이 확 줄어들 테니까요.

그래서 재 봤습니다. 세 회사의 조수 아홉에게 같은 문제 60개를 풀렸어요. 짧은 글을 주고 "이 논리에 문제가 있나요, 없나요?"를 판정하는 문제입니다. 절반은 실제로 문제가 있는 글, 절반은 멀쩡한 글로 짝을 맞췄고요. 답마다 확신을 함께 적게 했습니다.

<!-- 사진 자리 ①: 조수 아홉 × 문제 60개 판정표 -->

틀릴 때도 99

결과를 보고 한동안 표를 들여다봤어요. 한 회사의 조수 넷이 특히 눈에 띄었습니다.

(채점 칸이 비어 있는 답은 뺐습니다. 그래서 60개보다 적습니다.)

열에 넷을 틀리는데, 확신은 거의 늘 99였어요. 더 이상한 건 오른쪽 두 칸입니다. 틀린 답에 붙인 확신이 맞힌 답에 붙인 확신과 같거나 오히려 높았어요. 이 조수들은 확신을 사실상 두 가지 값으로만 적었습니다. 거의 전부 99였죠.

다른 회사 조수들은 그래도 확신이 흔들렸어요. 한 조수는 맞힐 때 77.7, 틀릴 때 73.3. 차이가 있긴 한데 크지 않습니다.

확신만 보고 맞는 답과 틀린 답을 얼마나 가를 수 있는지도 재 봤어요. 동전 던지기가 0.5, 완벽하게 가르면 1.0인 점수로, 아홉 조수가 0.47에서 0.70 사이였습니다. 동전보다 조금 나은 수준이에요. 확신으로 거르겠다는 계획은 거기서 접었습니다.

사람도 과신합니다

심리학에서 과신은 오래된 주제예요. 사람들에게 상식 문제를 내고 "맞을 확률이 몇 %라고 생각하나요?"를 같이 묻는 실험이 많습니다. 결과는 대체로 비슷해요. "100% 확실하다"고 한 답도 실제로는 꽤 틀립니다. 특히 어려운 문제일수록 확신과 실제 정답률의 차이가 벌어져요.

그런데 사람의 과신에는 그래도 방향이 있습니다. 확신이 높은 답이 확신이 낮은 답보다는 대체로 더 많이 맞아요. 눈금이 틀어져 있을 뿐, 눈금 자체는 움직입니다. 자기가 얼마나 아는지 아는 능력, 메타인지가 불완전하지만 작동은 하는 거죠.

<!-- 사진 자리 ②: 사람의 확신-정답률 곡선(비스듬히 올라감)과 조수의 곡선(평평함) -->

조수의 확신은 눈금이 아니라 말투였습니다

조수들의 확신은 그 방향마저 약했어요. 특히 늘 99를 적는 조수들은, 확신이라는 숫자가 답이 맞는지에 대한 정보를 거의 담고 있지 않았습니다.

저는 이렇게 이해하게 됐어요. 조수에게 "확신을 적어라"라고 하면, 조수는 자기 안쪽을 들여다보고 재는 게 아니라 확신을 적는 말투를 냅니다. 판정문을 쓸 때 어울리는 숫자를 쓰는 거죠. 자신 있게 판정하는 글에는 99가 어울리니까 99가 나옵니다.

1편에서 조수가 한 말이 여기서 다시 들어맞아요. "틀리는 게 안쪽에서 아무 느낌이 없었다." 안쪽에 틀렸다는 느낌이 없으면, 그걸 숫자로 옮겨 적을 재료도 없습니다.

그래서 확신 칸을 지웠습니다

그날 이후로 조수에게 확신 숫자를 묻지 않습니다. 물어도 쓰지 않고요. 대신 두 가지를 봅니다.

첫째, 조수끼리 답이 갈리는지. 서로 다른 회사의 조수 둘이 같은 문제에 다른 답을 내면, 확신이 99든 뭐든 그 문제는 제가 원문을 엽니다. 확신은 한 조수 안에서만 나오는 말이지만, 갈림은 바깥에서 보이는 사실이에요.

둘째, 확인한 것과 짐작한 것을 나눠 적게 하기. "이 파일 이 줄을 열어 봤다"와 "그럴듯해서 그렇게 봤다"를 따로 적게 합니다. 확신 99보다 "안 열어 봤음" 한 줄이 훨씬 쓸모 있어요.

오늘 해 볼 한 가지

AI가 "확실합니다", "틀림없습니다"라고 하면, 그 말을 확신이 아니라 말투로 들어 보세요. 대신 이렇게 물어보시고요. "그거 직접 확인한 거예요, 아니면 추론한 거예요?" 확신의 크기보다 확인했는지가 훨씬 많은 걸 알려 줍니다.

다음 편은 처음 들은 숫자에 끌려간 조수 이야기입니다. 4시간 걸린다던 일이 70분 만에 끝난 날이에요.