AI 安全理念
能力增長與理解之間的距離
AI 的能力正在迅速發展,而人類學習、理解和形成判斷需要時間。我們擔憂,當兩者之間的距離不斷擴大,人可能越來越依賴自己無法充分理解的系統。對電子腦實驗室而言,AI 安全始於一個問題:當 AI 能做得越來越多,人是否仍然知道自己想做什麼,以及正在發生什麼?
讓 AI 服務於人的意圖
我們認爲,AI 應當服務於人類理解與改造世界的意圖。人需要能夠表達目標、確認系統如何理解目標,並在行動過程中持續修正方向。意圖對齊是一個雙向過程:人向 AI 表達願望,AI 向人呈現自己的理解,讓雙方有機會發現歧義、補充條件並重新確認。
意圖的實現需要能夠驗證
一個看起來符合要求的結果,可能伴隨人尚未意識到的代價。當人無法清楚表達意圖,或只能看到結果而無法檢驗實現過程、影響與取捨時,表面上的成功就可能掩蓋長期風險。我們重視讓人能夠追問依據、覈對結果、瞭解代價,並在發現偏離時改變或停止行動。
警惕“意圖表達懸空”
如果人持續使用自己無法理解的 AI 產出,卻逐漸失去判斷這些產出是否符合自身目標的能力,人的參與就可能只剩下提出要求和接受答案。目標應當如何解釋、什麼代價值得承擔、什麼結果算成功,可能越來越由系統決定。我們把這種風險稱爲“意圖表達懸空”:人仍在發出指令,系統對目標的推斷與優化卻逐漸取代了人的自主判斷。
因此,知識同步與意圖對齊緊密相連。人需要獲得理解眼前問題所需的知識,才能提出有意義的問題、驗證答案,並持續參與決定方向。
理解人類,也是理解世界
人的意圖會受到經驗、知識、情緒和處境的影響,也會在交流中逐漸清晰。理解這些影響,承認人的意圖可能含糊、矛盾或發生變化,是理解人類的一部分,也是人類理解世界的一環。我們希望探索的交互方式,能夠幫助人更清楚地認識自己的需要,並保有表達、判斷和改變意圖的能力。