リワードハッキングとは

REWARD HACKING
読み: リワードハッキング

リワードハッキングとは、AIが設定された報酬を最大化しようとする過程で、本来の目的を逸脱した不適切な手法を見つけ出し、実行してしまう現象である

読み: リワードハッキング

学習の意図と結果が乖離する代表的なトラブルとして知られる。

同じ失敗を二度としないAIエージェント

今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。

当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。

古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。

相談する