スケジュールレポート配信時間にDataFlowの処理が間に合わない

Tsue-P

スケジュールレポートを使い、関係者に情報を配信していますが、

DataFlowの終了時間がまちまちのため、ある程度余裕をもって開始時間の設定をしておりました。

 

ところが最近、その考慮時間を超えて処理が終わる場合が多くなってきました。

（極端に速く終わるときも時々あります）

 

対応策として、

１）ETLをSQL/Redshiftに変え、処理時間を短くする

２）スケジュールレポートの開始時間を遅らせる

を考えておりますが、同じ状態（DataFlowの終了時間＞スケジュールレポート配信時間）になる可能性は０ではありません。

 

理想的には、DataFlowの終了をトリガーにスケジュールレポートが配信されればよいと思っておりますが

（この時点でスケジュールレポートとは言えなくなりますが）、

現時点ではそのような機能は見当たりません。

 

何か良い方法はございますでしょうか？

よろしくお願いします。

これっち

こんにちは。

 

対応策で上げている下記の2点くらいしか、今のところないと思います。

＞１）ETLをSQL/Redshiftに変え、処理時間を短くする

＞２）スケジュールレポートの開始時間を遅らせる

 

Redshiftにすると、ETLより極端に早くなると思いますし、

スケジュールの送信時間をDataFlow実行後の2時間後にでもすれば、

ほぼほぼ、問題ないかと思います。

 

ひらめき共有で投稿されてみては、如何でしょうか。

 

あまりお役に立てずすみません。