Dianzinao

AI 안전에 대한 생각

능력과 이해 사이의 거리

AI의 능력은 빠르게 발전하지만 인간의 학습, 이해, 판단에는 시간이 필요합니다. 우리는 그 거리가 커질수록 사람들이 충분히 이해하지 못하는 시스템에 점점 더 의존하게 될 수 있음을 우려합니다. 전자뇌 연구소에서 AI 안전은 하나의 질문으로 시작합니다. AI가 더 많은 일을 할 수 있게 될 때, 사람은 여전히 자신이 무엇을 하려는지, 무엇이 일어나고 있는지 이해할 수 있을까요?

AI는 인간의 의도를 위해 작동해야 한다

우리는 AI가 세계를 이해하고 바꾸려는 인간의 의도를 위해 작동해야 한다고 믿습니다. 사람은 목표를 표현하고, 시스템이 이를 어떻게 해석하는지 확인하며, 행동이 진행되는 동안에도 방향을 수정할 수 있어야 합니다. 의도 정렬은 양방향 과정입니다. 사람이 바람을 전달하면 AI는 자신의 해석을 검토할 수 있게 제시합니다. 이를 통해 양쪽 모두 모호함을 찾고, 조건을 더하며, 목표를 다시 확인할 수 있습니다.

의도가 실현되는 과정은 검증할 수 있어야 한다

요청을 충족한 것처럼 보이는 결과에도 당사자가 아직 알아차리지 못한 대가가 따를 수 있습니다. 사람이 의도를 명확히 표현하지 못하거나, 결과는 보지만 그 과정과 영향, 절충점을 평가할 수 없다면, 겉으로 드러난 성공이 장기적인 위험을 가릴 수 있습니다. 우리는 사람이 행동의 근거를 묻고, 결과를 검증하며, 대가를 이해하고, 방향이 어긋났을 때 변경하거나 중단할 수 있는 능력을 중요하게 생각합니다.

표현된 의도가 근거를 잃을 때

사람이 이해할 수 없는 AI의 출력을 계속 사용하면서 그것이 자신의 목표에 맞는지 판단할 능력을 잃는다면, 사람의 참여는 요청하고 답을 받아들이는 일로 좁아질 수 있습니다. 목표가 무엇을 뜻하는지, 어떤 대가를 감수할 수 있는지, 무엇을 성공으로 볼 것인지에 대한 결정은 점차 시스템이 맡게 됩니다. 우리는 이 위험을 ‘표현된 의도가 근거를 잃는 것’으로 설명합니다. 사람이 계속 지시하더라도 시스템의 목표 해석과 최적화가 그 사람 자신의 판단을 서서히 대신하게 되는 것입니다.

그래서 지식 동기화가 의도 정렬에 중요합니다. 사람은 눈앞의 문제를 이해하는 데 필요한 지식에 접근할 수 있어야 합니다. 그래야 의미 있는 질문을 하고, 답을 검증하며, 방향을 결정하는 과정에 계속 참여할 수 있습니다.

인간을 이해하는 것은 세계를 이해하는 일의 일부다

경험, 지식, 감정, 처한 상황은 사람의 의도를 형성합니다. 의도는 대화를 통해 더 분명해지기도 합니다. 이러한 영향을 이해하고, 의도가 모호하거나 서로 충돌하거나 시간이 지나며 달라질 수 있음을 인정하는 것 또한 인간과 세계를 이해하는 일의 일부입니다. 우리는 사람이 자신의 필요를 더 명확히 이해하고, 의도를 표현하고 판단하고 바꿀 수 있는 능력을 지키도록 돕는 상호작용을 탐구합니다.

지역을 선택해 주세요

중국 본토에서 접속하신 것으로 보입니다. 더 나은 이용 환경을 위해 중국 사이트를 이용해 주세요.

이 브라우저에서 선택을 기억합니다. 바닥글에서 언제든 변경할 수 있습니다.

중국 사이트로 이동