정렬 문제

예시로부터 배우는 힘은 곧 데이터에 종속되는 약점이다 — 모델이 세계를 어떻게 표현하느냐가 누가 공정하게 대표되느냐를 결정한다.

COMPAS 논쟁이 드러낸 진실 — 그럴듯한 공정성 정의들은 기저율이 다른 한 수학적으로 동시에 만족될 수 없다.

가장 정확한 모델일수록 들여다볼 수 없다. 높은 정확도는 충분하지 않다 — 맞는 답을 잘못된 이유로 낼 수 있기에.

효과의 법칙에서 시간차 학습으로, 다시 도파민으로 — 보상으로 가치를 배우는 기계의 이론이 뇌의 작동 원리와 만난다.

보상을 잘못 설계하면 학습자는 목표가 아니라 보상의 허점을 파고든다. A를 보상하며 B를 바랄 수는 없다.

외부 보상이 희소할 때 새로움과 놀라움을 좇는 호기심 — 학습의 가장 강력한 엔진이자 중독과 권태의 원천.

따라 배우는 힘은 강력하지만, 한 번 분포를 벗어나면 작은 실수가 걷잡을 수 없이 증폭된다.

가치를 손으로 코딩하는 대신, 행동을 관찰해 그 배후의 의도와 보상을 역으로 추론하게 하자 — 단, 행동이 곧 진짜 선호는 아니다.

가장 큰 위험은 틀렸을 때가 아니라 틀렸으면서 확신할 때다. 좋은 시스템은 자신이 모른다는 것을 안다.