Dianzinao

AI の安全性について

能力と理解の隔たり

AI の能力は急速に進歩していますが、人間の学習、理解、判断には時間が必要です。その隔たりが広がるにつれ、人が十分に理解できないシステムへの依存が深まることを、私たちは懸念しています。電子脳研究所にとって AI の安全性は、AI にできることが増える中で、人は自分が何をしたいのか、何が起きているのかを理解し続けられるか、という問いから始まります。

AI は人の意図に奉仕するべきである

私たちは、AI は世界を理解し、変えていこうとする人の意図に奉仕するべきだと考えています。人は目標を表現し、システムがそれをどう解釈したかを確認し、実行の途中でも方向を修正できる必要があります。意図のすり合わせは双方向の過程です。人が望みを伝え、AI は自分の解釈を確認可能な形で示す。そうすることで、曖昧さを見つけ、条件を加え、目標を改めて確認できます。

意図の実現は検証できるものでなければならない

要求を満たしたように見える結果にも、本人がまだ認識していない代償が伴うかもしれません。意図を明確に表現できないとき、あるいは結果だけが見えて、その過程、影響、トレードオフを評価できないとき、見かけ上の成功が長期的な危険を覆い隠すことがあります。私たちは、行動の根拠を問い、結果を確かめ、代償を理解し、方向がずれたときに変更や停止を求められることを重視します。

表明された意図が根拠を失うとき

人が理解できない AI の出力を使い続け、それが自分の目標に沿っているかを判断する力を失えば、人の参加は要求を出して答えを受け取るだけになりかねません。目標は何を意味するのか、どの代償を受け入れるのか、何を成功とみなすのか。その判断をシステムが担う割合が増えていきます。私たちはこの危険を「表明された意図が根拠を失うこと」と捉えています。人が指示を出し続けていても、システムによる目標の解釈と最適化が、その人自身の判断に徐々に置き換わっていくのです。

だからこそ、知識の同期は意図のすり合わせにとって重要です。人は目の前の問題を理解するために必要な知識に触れ、意味のある問いを立て、答えを検証し、方向を決める過程に参加し続けられる必要があります。

人を理解することは、世界を理解することの一部である

経験、知識、感情、置かれた状況が人の意図を形作ります。意図は対話の中で明確になることもあります。こうした影響を理解し、意図は曖昧で、互いに矛盾し、時間とともに変わり得ると認めることも、人間と世界を理解する一環です。私たちは、人が自分の必要としていることをより明確に理解し、意図を表現し、判断し、変えていく力を保てる対話の形を探究します。

地域を選択してください

中国本土からアクセスされているようです。より快適に閲覧いただくため、中国向けサイトへの移動をおすすめします。

このブラウザーで選択を保存します。フッターからいつでも変更できます。

中国向けサイトへ