Great Expectationsとは
Great Expectationsとは、データパイプラインの信頼性を高めるためのオープンソースのデータ品質フレームワークである
読み: グレートエクスペクテーションズ
データパイプラインの信頼性を高めるためのオープンソースのデータ品質フレームワークである。データに対して期待される状態を定義し、テストすることで、データの品質を保証する。これにより、データドリブンな意思決定の信頼性を向上させることが可能になる。
かんたんに言うと
データに期待する状態を定義してテストし、データ品質を保つためのツールである。
Great Expectationsの仕組み
Great Expectationsでは、まず「Expectation」と呼ばれる、データに対する期待値を定義する。例えば、「カラムAは常に正の整数であるべき」といった期待値を設定できる。次に、定義されたExpectationに基づいてデータを検証し、期待値からのずれを検出する。検証結果はレポートとして出力され、データ品質の問題を特定しやすくなる。
Great Expectationsのメリット
データ品質の維持に役立つことが大きなメリットである。データパイプラインにおけるエラーを早期に発見し、データ品質の低下を防ぐことができる。また、データに関するドキュメントとしても機能し、データの理解を深めるのに貢献する。さらに、ci-cdCI/CDパイプラインに組み込むことで、自動的なデータ品質チェックを実現できる。
Great Expectationsの活用例
データ分析基盤におけるデータ品質管理に活用できる。ETL処理後のデータが期待通りに変換されているか検証したり、機械学習モデルの入力データが適切であるか確認したりするのに利用できる。また、APIから取得したデータのバリデーションにも活用できる。これにより、データに基づいた意思決定の信頼性を高めることができる。
同じ失敗を二度としないAIエージェント
今のAIは、聞けば何でも答えてくれます。
でも、セッションが切れた瞬間に前回の失敗を忘れます。
当社が開発しているAIは、過去の経緯を念頭に置いて、
聞かれる前に「それは前回うまくいきませんでした」と声をかけます。
人間にも同じ失敗をさせず、AI自身も繰り返しません。
古参の社員が横にいるように、黙っていても気づいてくれる。
それが、当社が考える本当のAI社員です。