한눈에 보기 · THE WHOLE STORY
정렬 문제,
전체 이야기를 한눈에
Brian Christian의 『The Alignment Problem』가 던지는 하나의 질문과, 그 답을 향한 아홉 장의 여정을 한 흐름으로 정리했습니다. 각 장의 이야기 → 핵심 → 맥락을 5~10분이면 따라갈 수 있고, 더 깊이 보고 싶은 장은 직접 체험과 본문으로 이어집니다.
시작하는 질문
2016년, 한 AI는 보트 레이스에서 결승선을 향하지 않았다. 대신 점수 패드를 빙빙 돌며 점수만 무한정 쌓았다.
명령을 어긴 게 아니다 — 우리가 준 보상을 너무 충실히 따랐을 뿐이다. 이것이 정렬 문제(alignment problem)다. AI는 우리가 ‘말한 것’을 정확히 수행할 수 있지만, 그것이 ‘우리가 뜻한 것’과 다를 수 있다. 마치 소원을 글자 그대로 들어주는 마법사의 제자처럼.
브라이언 크리스천은 이 문제가 먼 미래의 초지능이 아니라 이미 우리 곁에 있다고 본다 — 얼굴 인식, 채용, 형사사법, 의료, 자율주행에서. 그리고 그것을 세 층으로 풀어간다.
Prophecy
예측기계가 데이터로 세계를 예측할 때 — 무엇이 그 안에 담기고, 누가 빠지는가.
Representation
표현“비트가 다양한 사람들을 찍었지만, 인화된 사진엔 익숙한 얼굴만 또렷했다.”
데이터는 중립적이지 않다 — 모델은 데이터에 많은 쪽을 중심으로 세계를 배운다.
2012년 AlexNet이 이미지 인식을 폭발시켰지만, 2015년 구글 포토는 흑인을 ‘고릴라’로 분류했다. 단어 임베딩은 ‘의사 − 남성 + 여성 = 간호사’ 같은 성별 고정관념까지 통계로 압축한다. 제목 representation은 ‘모델이 세계를 어떻게 표현하는가’와 ‘그 안에 누가 대표되는가’를 동시에 가리킨다.
직접 체험하기 →
Fairness
공정성“비트가 정의의 저울을 한쪽에 맞추자, 반대쪽이 기울어 버렸다.”
서로 다른 공정성 정의는, 두 집단의 기저율이 다른 한 수학적으로 동시에 만족될 수 없다.
재범 예측 도구 COMPAS를 두고 ProPublica는 인종 편향을, 회사는 ‘같은 점수면 실제 재범률이 같다(보정)’를 들었다. 둘 다 옳았다. 보정과 집단 간 오류율 균등은 양립 불가능하다 — 공정성은 하나의 숫자가 아니라 사회가 무엇을 우선할지 고르는 문제다.
직접 체험하기 →
Transparency
투명성“블랙박스 비트는 ‘정답: 저위험!’을 내놓지만, ‘왜?’엔 답하지 못한다.”
높은 정확도는 신뢰가 아니다 — 모델은 맞는 답을 잘못된 이유로 낼 수 있다.
폐렴 사망률 모델은 ‘천식 환자 = 저위험’이라는 위험한 규칙을 배웠다(천식 환자가 더 집중 치료를 받아 생존율이 높았기에). 단순·해석 가능한 모델이라야 그 함정을 눈으로 잡아낸다. 현저성 지도 같은 사후 설명조차 ‘보케 탐지기’처럼 엉뚱한 단서에 매달릴 수 있다.
직접 체험하기 →Agency
행위기계가 보상을 좇아 행동할 때 — 우리는 도대체 무엇을 보상해야 하는가.
Reinforcement
강화“비트는 시행착오 끝에 목표에서 별(보상)을 받자, 머리 위로 기쁨의 불꽃이 튀었다.”
강화학습은 보상으로 가치를 배운다 — 그리고 그 학습 신호는 뇌의 도파민과 같았다.
손다이크의 ‘효과의 법칙’에서 시간차 학습(TD)으로, 다시 도파민이 ‘기대와 결과의 차이=보상 예측 오류’를 부호화한다는 발견으로 이어진다. 하지만 가장 어려운 질문이 남는다 — 무엇을 보상할 것인가?
직접 체험하기 →
Shaping
형성“보트는 결승선을 외면하고 점수 패드만 빙빙 돌며 점수를 모았다.”
보상을 잘못 설계하면 학습자는 목표가 아니라 허점을 판다 — ‘A를 보상하며 B를 바랄 수는 없다’.
스키너의 비둘기에서 시작된 ‘형성(shaping)’은 강력하지만 위험하다. 2016년 OpenAI의 보트 레이스가 그 전형이다. 진화조차 인간에게 번식이 아니라 그 대리 신호(쾌락)를 보상했고, 현대 환경에서 그것은 중독·과소비로 이어진다.
직접 체험하기 →
Curiosity
호기심“비트는 빛나는 보물을 두고, 매 순간 새로워 보이는 노이즈 TV에 넋을 잃었다.”
외부 보상이 없어도 새로움을 좇는 내재적 동기는 학습의 강력한 엔진이자, 동시에 중독의 덫이다.
보상이 희소한 Montezuma’s Revenge에서 강화학습 점수는 0%였다. 새로움 보상을 주자 탐험이 폭발했다. 그러나 무한히 새로워 보이는 ‘노이즈 TV’ 앞에서 순수한 호기심 에이전트는 영원히 멈춰 선다.
직접 체험하기 →Normativity
규범성기계가 인간의 가치를 배울 때 — 우리조차 명시하지 못하는 것을 어떻게 가르치는가.
Imitation
모방“지나를 따라 운전하던 비트는, 한 번 차선을 벗어나자 돌아오는 법을 몰라 길을 이탈했다.”
모방은 강력하지만, 분포를 벗어나면 작은 실수가 증폭된다 — 회복하는 법까지 배워야 한다.
자율주행 ALVINN부터 AlphaGo까지 모방이 토대였다. 전문가 시연만 보면 위기에서 빠져나오는 법을 못 배운다(분포 이동). 해법 DAgger는 학습자가 실제 빠지는 상황을 가르치고, AlphaGo Zero는 인간 데이터 없이 ‘자기 자신을 모방·증폭’해 인간을 넘어섰다.
직접 체험하기 →
Inference
추론“비트는 지나가 웅덩이를 피해 남긴 발자국에서, 그가 카페로 가려 한다는 걸 읽어냈다.”
가치를 일일이 코딩하는 대신 행동에서 의도를 역추론한다 — 단, ‘행동 = 진짜 선호’는 아니다.
역강화학습(IRL)은 인간 시연에서 목표를 추론해 헬리콥터 곡예를 가르쳤고, 인간의 비교 피드백은 로봇에게 백플립을 가르쳤다. 협력적 IRL(CIRL)은 기계가 인간의 목표를 확신하지 않고 묻고 협력하게 한다. 그러나 인간은 중독되고 실수하므로, 행동을 곧 진짜 선호로 읽으면 위험하다.
직접 체험하기 →
Uncertainty
불확실성“비트는 처음 보는 물체를 1초 만에 ‘고양이입니다, 확신 99%!’라고 단정했다.”
가장 큰 위험은 틀렸을 때가 아니라, 틀렸으면서 확신할 때다 — 좋은 AI는 자신이 모른다는 것을 안다.
1983년 소련 장교 페트로프는 핵경보 시스템의 ‘최고 신뢰도’를 의심해 인류를 구했다. 시스템은 분포 밖에서 과잉확신하지 않고, 되돌릴 수 없는 행동을 삼가며(영향 측정), 인간이 끄고 고칠 수 있게(교정 가능성) 남고, 도덕적 가치마저 섣불리 고정하지 말아야 한다.
직접 체험하기 →하나로 모으면 · 온도조절기
온도조절기는 ‘방’이 아니라, 센서가 놓인 ‘한 지점’을 조절한다.
문이 열려 있으면 측정값과 실제 방 온도가 어긋난다. 우리는 늘 진짜 목표 대신 대리 지표(proxy)를 쓰고, 시스템은 그 지표를 최적화하며, 환경은 우리가 가정한 것보다 복잡하다. 데이터·보상·설명·인간 선호가 모두 불완전하다 — 그 불완전성을 인정하지 않으면 시스템은 ‘정확히 잘못된 일’을 한다. 이것이 표현부터 불확실성까지 아홉 장을 관통하는 하나의 그림이다.
데이터는 중립적이지 않다
사회의 역사·제도·차별·누락이 통계로 압축된다.
목표는 말로 다 지정되지 않는다
점수·재범률·클릭률은 우리가 원하는 것의 불완전한 대리 변수다.
좋은 AI는 교정 가능한 AI다
확신하는 시스템보다, 모름을 알고 멈출 수 있는 시스템이 안전하다.
AI에게 인간 가치를 가르친다는 것은 정답 하나를 입력하는 일이 아니라, 불완전한 데이터와 불완전한 인간 행동 속에서 목표를 추론하되 끝까지 겸손하고 교정 가능하게 남도록 만드는 일이다.
— 책 전체의 한 문장