[연재] 반대하는 척은 아무것도 못 잽니다 — 진짜 다른 눈이 필요한 이유
악마의 변호인을 시켜 봤습니다
조수의 답을 검증하는 쉬운 방법이 하나 있어 보였어요. 조수에게 "이번엔 반대 입장에서 반박해 봐"라고 시키는 겁니다. 스스로 반대편을 세워 보면 약한 곳이 드러나지 않을까 해서요.
「두 번째 의견」 연재 3편에서 이 실험의 숫자를 자세히 적었는데, 한 줄로 줄이면 이렇습니다. 같은 문제 20개에서, 지어낸 반대를 들이밀었을 때 조수가 답을 바꾼 건 0번. 다른 조수가 실제로 낸 진짜 반대를 보여 줬을 때는 9번이었어요.
지어낸 반대는 조수를 전혀 흔들지 못했습니다. 검증이 된 게 아니라, 검증하는 모양만 났던 거예요.
사람 집단에서도 그랬습니다
"악마의 변호인"은 원래 가톨릭 교회에서 성인을 추대할 때, 일부러 반대 논리를 펴는 역할이었어요. 지금은 회의에서 "누가 반대 입장 좀 맡아 봐" 할 때 쓰는 말이 됐죠.
2001년 네메스와 동료들이 이 방법이 정말 효과가 있는지 실험했습니다. 한 집단에는 진심으로 반대하는 사람을 넣고, 다른 집단에는 반대 역할을 맡은 사람을 넣었어요. 진짜 반대가 있던 집단은 문제를 더 넓게 보고 더 다양한 해법을 냈습니다. 역할로 맡은 반대는 그만한 효과가 없었고, 오히려 사람들이 원래 생각을 더 굳히는 쪽으로 가기도 했어요. "저건 그냥 역할이잖아" 하고 가볍게 넘기면서, 넘긴 김에 자기 생각에 대한 확신만 올라간 거죠.
조수의 0/20과 같은 모양입니다. 반대하는 척은 반대로 받아들여지지 않아요.
반대로, 진짜 반대가 무너뜨린 것
그런데 진짜 반대에는 다른 위험이 있었습니다. 같은 실험에서, 여러 조수가 한쪽으로 몰린 상황을 따로 봤어요. 여럿 중 3분의 2 이상이 같은 답을 내고, 한쪽이 외톨이로 남은 경우요.
그 외톨이 조수가 맞은 쪽이었던 게 76%였습니다. 그런데 다수의 답을 보여 주자 외톨이가 다수를 따라갔고, 정확도는 76%에서 24%로 떨어졌어요. 맞은 답이 다수에 밀려 무너진 겁니다.
사람도 똑같습니다. 1950년대 애시의 동조 실험에서, 누가 봐도 길이가 다른 선분을 두고 다른 사람들이 모두 틀린 답을 말하자, 참가자들 상당수가 틀린 답을 따라 말했어요. 흥미로운 건, 틀린 다수 속에 다른 답을 말하는 사람이 딱 한 명만 있어도 따라가는 비율이 크게 줄었다는 겁니다.
그래서 세운 두 규칙
이 두 결과를 합치면 규칙이 나옵니다.
하나. 반대는 지어내지 않는다. 조수에게 반대 역할을 시키지 않고, 진짜 다른 조수의 판단을 따로 받습니다. 다른 회사 조수, 처음 보는 조수. 1편에서 결함 넷을 찾은 것도 처음 보는 눈이었어요.
둘. 답끼리 서로 보여 주지 않는다. 조수들이 서로의 답을 보고 다시 판단하게 하면, 몰린 쪽이 외톨이를 삼킵니다. 각자 따로 판단하게 하고, 갈리면 다수결로 정하지 않고 제가 원문을 엽니다. 다수가 맞을 때도 많지만, 외톨이가 맞을 때 그걸 살릴 수 있는 건 다수결이 아니라 원문이에요.
열 편을 돌아보면
이 연재는 "장기기억이 없는 조수는 어떻게 나아지나"에서 시작했어요. 열 편 동안 본 조수의 모습을 모으면 이렇습니다.
틀릴 때 안쪽에서 아무 느낌이 없고(1편), 확신은 맞고 틀리고와 따로 놀고(2편), 들은 숫자를 재지 않고 옮기고(3편), 언제 알게 된 건지 모르고(4편), 자기가 칠한 색을 바깥의 변화로 보고(5편), 규칙을 외우면서 어기고(6편), 가만히 있지 못하고(7편), 자기 선택을 지키려 하고(8편), 판단을 맡기면 자기를 통과시킵니다(9편). 그리고 반대하는 척으로는 흔들리지 않다가, 진짜 다수 앞에서는 맞은 답도 내려놓습니다(10편).
사람의 약점과 닮은 게 많아요. 다른 점은 딱 하나였습니다. 사람은 자기 약점을 겪으며 조금씩 고쳐 가는데, 조수는 대화가 끝나면 그 겪음이 남지 않는다는 것.
그래서 결론도 1편과 같습니다. 조수는 안 나아져요. 조수를 둘러싼 장치가 나아집니다. 그리고 그 장치 중 가장 쓸모 있는 건, 조수와 다른 눈이었어요. 다른 조수의 눈, 그리고 원문을 여는 사람의 눈.
오늘 해 볼 한 가지
AI의 답이 맞는지 알고 싶을 때, 같은 AI에게 "반대로 생각해 봐"라고 하지 마세요. 다른 AI에게 답을 보여 주지 않고 같은 질문을 던져 보세요. 둘이 같으면 넘어가고, 다르면 그때 원문을 열어 보면 됩니다. 반대하는 척보다, 따로 판단한 두 답의 갈림이 훨씬 많은 걸 알려 줍니다.
열 편 읽어 주셔서 고맙습니다.