ETLでのデータプレビュー時に ソート・フィルタができるようにして欲しい

user001564
user001564 Member
編集済: 5月 2023 ひらめき共有

ETL構築後にJoinのキーカラムにnullや意図と異なるレコードを発見して、ETLに戻って修正……というケースがよくあります。スクリプトで加工したデータについても意図と異なる出力にしてしまっている、などの人為エラーに気づきにくく、結局データセットに出力しないと問題に気づけないですし、データフローのどの段階で間違っているのかが把握しづらいです。
現状では、フローの各段階でデータセット出力してチェックする…という操作で対応してますが、煩雑です。

ETL内のデータプレビューでこういったレコードが存在しているか、を確認・探索する手段がほしいので、データプレビューでソート・フィルタ などができるようになって欲しいです。

タグ付けされた:
6
6の投票

Active · 前回の更新