바둑을 두는 사람은 자신의 다음 수만 생각하지 않습니다. 내가 이렇게 두면 상대는 어떻게 받을지, 그러면 나는 또 어떻게 대응할지를 몇 수 앞까지 내다봅니다. 경제와 사회의 수많은 선택도 이와 같습니다. 나의 이익은 나 혼자의 결정이 아니라 상대의 결정과 맞물려 정해집니다. 이렇게 서로 영향을 주고받는 상황에서 최선의 선택을 연구하는 학문이 게임 이론입니다.
이 글에서는 게임 이론이 무엇인지, 가장 유명한 사례인 ‘죄수의 딜레마’가 무엇을 말해 주는지, 내시 균형이라는 핵심 개념은 어떤 의미인지, 그리고 이 이론이 기업 경쟁과 우리 일상에 어떻게 적용되는지를 알기 쉽게 풀어 보겠습니다. 어렵게만 느껴지던 개념을 하나씩 짚다 보면, 우리가 매일 마주하는 선택들이 실은 정교한 전략 게임이었다는 사실을 깨닫게 될 것입니다.
게임 이론이란 무엇인가
게임 이론은 둘 이상의 의사결정 주체가 서로의 선택에 영향을 미치는 상황, 즉 ‘전략적 상황’을 분석하는 수학적 틀입니다. 여기서 ‘게임’은 오락을 뜻하는 것이 아니라, 참가자·전략·보수(이익)로 구성된 상호작용 구조 전체를 가리킵니다. 수학자 존 폰 노이만이 기초를 세웠고, 존 내시가 결정적인 개념을 더하며 학문으로 자리 잡았습니다. 내시의 이야기는 영화 ‘뷰티풀 마인드’로도 널리 알려졌습니다.
게임 이론이 강력한 이유는 적용 범위가 넓기 때문입니다. 기업의 가격 경쟁, 국가 간 협상, 경매, 선거 전략, 심지어 진화 생물학까지 ‘상대가 있는 선택’이 존재하는 곳이라면 어디에나 쓰입니다.
죄수의 딜레마가 말해 주는 것
게임 이론에서 가장 유명한 사례가 죄수의 딜레마입니다. 함께 범죄를 저지른 두 용의자가 각각 다른 방에서 조사를 받습니다. 둘 다 침묵하면 가벼운 처벌로 끝나지만, 한 명이 배신해 자백하면 배신자는 풀려나고 침묵한 쪽은 무거운 처벌을 받습니다. 둘 다 자백하면 둘 다 중간 정도의 처벌을 받습니다.
이 상황에서 각자에게 가장 안전한 선택은 자백입니다. 상대가 침묵하든 배신하든, 나로서는 자백하는 편이 손해를 줄이기 때문입니다. 그 결과 두 사람 모두 자백하고, 둘 다 침묵했을 때보다 나쁜 결과에 이릅니다. 개인의 합리적 선택이 모여 집단적으로는 비합리적인 결과를 낳는 것입니다. 이 역설은 왜 협력이 어려운지, 왜 신뢰가 중요한지를 압축적으로 보여 줍니다.
내시 균형이라는 핵심 개념
내시 균형은 게임 이론의 중심 개념입니다. 모든 참가자가 상대의 전략을 알고 있을 때, 아무도 자신의 선택을 바꿀 이유가 없는 상태를 말합니다. 즉 각자가 상대의 선택을 전제로 최선을 다하고 있어서, 혼자 전략을 바꾸면 오히려 손해를 보는 지점입니다.
죄수의 딜레마에서 ‘둘 다 자백’이 바로 내시 균형입니다. 상대가 자백하는 상황에서 나 혼자 침묵을 택하면 더 큰 처벌을 받으니, 아무도 먼저 이탈하지 못합니다. 중요한 것은 내시 균형이 반드시 모두에게 가장 좋은 결과를 뜻하지는 않는다는 점입니다. 안정적인 상태일 뿐, 최선의 상태와는 다를 수 있습니다.
기업 경쟁과 일상 속 게임 이론
현실의 시장에도 죄수의 딜레마 구조가 자주 나타납니다. 두 경쟁 기업이 가격을 유지하면 둘 다 안정적인 이익을 얻지만, 한쪽이 가격을 내려 고객을 빼앗으려는 유혹에 빠지면 상대도 따라 내리게 되고, 결국 둘 다 이익이 줄어드는 가격 경쟁에 돌입합니다. 소비자에게는 반가운 일이지만 기업에게는 서로 손해인 균형입니다.
반복되는 게임에서는 이야기가 달라집니다. 한 번으로 끝나는 거래에서는 배신이 유리하지만, 같은 상대와 계속 거래해야 한다면 신뢰를 쌓는 편이 장기적으로 이득입니다. 이때 효과적인 전략으로 알려진 것이 ‘팃포탯’, 즉 상대가 협력하면 나도 협력하고 상대가 배신하면 나도 한 번 되갚는 방식입니다. 단순하지만 협력을 이끌어 내는 데 강력합니다.
일상에서도 마찬가지입니다. 협상에서 먼저 조건을 제시할지 기다릴지, 회의에서 누가 총대를 멜지, 줄 서기에서 새치기를 참을지 등 상대의 반응을 고려해야 하는 모든 선택이 작은 게임입니다.
한 가지 더 흥미로운 응용은 신호와 평판입니다. 상대의 속마음을 알 수 없을 때, 사람들은 자신의 진짜 의도를 알리기 위해 비용이 드는 ‘신호’를 보냅니다. 기업이 값비싼 광고로 품질에 대한 자신감을 드러내거나, 오랜 기간 쌓은 신뢰와 평판으로 거래 상대를 안심시키는 것이 그 예입니다. 신호와 평판은 정보가 불완전한 세상에서 협력을 가능하게 하는 중요한 장치이며, 이 역시 게임 이론이 설명해 내는 영역입니다.
다양한 게임의 유형
게임 이론에는 죄수의 딜레마 말고도 여러 유형의 게임이 있습니다. 이를 알면 현실의 상황을 더 정확히 읽을 수 있습니다.
제로섬 게임과 논제로섬 게임은 이익의 총합에 따라 나뉩니다. 제로섬 게임은 한쪽이 얻으면 다른 쪽이 정확히 그만큼 잃어, 이익의 합이 항상 0인 상황입니다. 도박이나 순수한 승부가 여기에 해당합니다. 반면 논제로섬 게임에서는 협력을 통해 모두가 이득을 보거나 모두가 손해를 볼 수 있습니다. 무역, 협상, 대부분의 경제 관계가 논제로섬입니다. 세상을 제로섬으로만 보면 협력의 기회를 놓치게 됩니다.
치킨 게임은 두 참가자가 서로 물러서지 않고 맞부딪히면 최악의 결과를 맞는 상황입니다. 마주 보고 달리는 두 자동차처럼, 누구도 핸들을 꺾지 않으면 둘 다 파국을 맞습니다. 겁쟁이로 보이기 싫어 끝까지 밀어붙이다가 함께 무너지는 협상이나 대치가 이 구조입니다.
조정 게임은 반대로 서로 협력하고 싶지만 어떻게 발을 맞출지가 관건인 상황입니다. 사람들이 같은 표준이나 플랫폼으로 모이려는 경향, 예를 들어 다수가 쓰는 메신저를 나도 쓰게 되는 현상이 조정 게임의 결과입니다.
경매와 게임 이론
게임 이론이 실용적으로 빛나는 대표 분야가 경매입니다. 참가자들이 서로의 입찰가를 예측하며 전략을 세우는 경매는 그 자체가 정교한 게임입니다. 너무 높게 부르면 필요 이상으로 비싸게 사는 ‘승자의 저주’에 빠지고, 너무 낮게 부르면 기회를 놓칩니다. 통신 주파수 배분이나 광고 노출 경매처럼 큰돈이 오가는 현실의 경매는 게임 이론을 바탕으로 설계됩니다.
핵심 요약
- 게임 이론은 서로의 선택이 영향을 주고받는 전략적 상황을 분석한다.
- 죄수의 딜레마는 개인의 합리적 선택이 집단적 비합리로 이어질 수 있음을 보여 준다.
- 내시 균형은 아무도 전략을 바꿀 이유가 없는 안정 상태이며, 최선의 결과와는 다를 수 있다.
- 반복되는 관계에서는 신뢰와 팃포탯 전략이 협력을 만들어 낸다.
자주 묻는 질문(FAQ)
Q. 게임 이론을 알면 협상을 잘하게 되나요? 직접적인 비법은 아니지만, 상대의 관점에서 상황을 보는 훈련이 되어 더 나은 판단에 도움이 됩니다.
Q. 죄수의 딜레마는 실제로 존재하나요? 가격 경쟁, 군비 경쟁, 환경 문제 등 협력이 필요하지만 배신 유인이 큰 현실 상황에서 자주 관찰됩니다.
Q. 내시 균형은 항상 하나인가요? 아닙니다. 게임에 따라 균형이 여러 개일 수도, 순수 전략으로는 없을 수도 있습니다.
Q. 게임 이론은 상대를 이기기 위한 이론인가요? 승패만을 다루지 않습니다. 오히려 어떻게 하면 서로에게 이로운 협력을 이끌어 낼 수 있는지를 설명하는 데 더 큰 힘을 발휘합니다. 무역 협정이나 국제 협력의 설계에 게임 이론이 활용되는 이유입니다.
Q. 팃포탯 전략이 항상 최선인가요? 반복되는 상황에서 협력을 유도하는 데 효과적이지만 만능은 아닙니다. 한 번의 오해가 보복의 연쇄를 부를 수 있어, 때로는 상대의 실수를 한 번 눈감아 주는 관용을 섞는 것이 더 나은 결과를 낳기도 합니다.
결론
게임 이론은 세상이 나 혼자만의 무대가 아니라는 사실을 일깨워 줍니다. 나의 최선은 상대의 선택 위에서만 의미를 가지며, 때로는 각자의 합리성이 모두를 나쁜 결과로 이끌기도 합니다. 이 구조를 이해하면 왜 협력이 어렵고 신뢰가 값진지, 그리고 어떻게 하면 서로에게 이로운 결과를 만들 수 있는지가 보입니다. 상대의 수를 읽는 눈은 경쟁을 위해서만이 아니라 협력을 설계하기 위해서도 필요합니다. 결국 게임 이론이 우리에게 주는 가장 큰 교훈은, 눈앞의 이익만 좇는 선택이 반드시 최선이 아니며 상대와의 관계를 길게 내다볼 때 더 나은 결과가 열린다는 사실입니다. 경제든 인간관계든, 우리는 늘 누군가와 함께 게임을 하고 있습니다.