再帰的ETLの更新について

Pomeranian
Pomeranian Member
編集済: 5月 2023 仲間に相談

日毎に当日より先のスケジュールを更新するフローを考えています。(下記Excelのようなイメージ。前日までの数値を蓄積しつつ重なっている日付の数値を更新する。)

その際に以下のような再帰的なETLを作成したのですが、更新方法を「データセットが更新された時」にしておくと「不完全なデータ..」というエラーを吐き、実行できなくなってしまいます。(

手動では更新できます。)

ETLの内訳としてはフィルターで過去と現在から未来の2つに分けて最後に結合しています。

このエラーを回避する方法は各データセットを少しずつずらしてスケジューリングして更新する以外にございますでしょうか?

ご教示いただけると幸いです。


タグ付けされた:

ベストアンサー

  • Matz
    Matz Admin
    回答済み✓

    @Pomeranian

    再帰的にinputにしているDatasetのチェックを外していただけないでしょうか。OutputがInputになる再帰的な処理となりますので、該当箇所にチェックが入っていると、エラーの表記の通りループしてしまい処理が永遠に継続することになります。


答え

  • @Pomeranian

    更新方法の設定とエラーの画面キャプチャ添付いただけないでしょうか?

  • @Matz さん

    こちらとなっております。


  • Matz
    Matz Admin
    回答済み✓

    @Pomeranian

    再帰的にinputにしているDatasetのチェックを外していただけないでしょうか。OutputがInputになる再帰的な処理となりますので、該当箇所にチェックが入っていると、エラーの表記の通りループしてしまい処理が永遠に継続することになります。


  • @Matz さん

    ご確認いただきありがとうございます。

    チェックを外したところ、エラーが解消されました!

    アドバイスありがとうございました!