スケジュールレポート配信時間にDataFlowの処理が間に合わない
スケジュールレポートを使い、関係者に情報を配信していますが、 DataFlowの終了時間がまちまちのため、ある程度余裕をもって開始時間の設定をしておりました。 ところが最近、その考慮時間を超えて処理が終わる場合が多くなってきました。 (極端に速く終わるときも時々あります) 対応策として、 1)ETLをSQL/Redshiftに変え、処理時間を短くする 2)スケジュールレポートの開始時間を遅らせる を考えておりますが、同じ状態(DataFlowの終了時間>スケジュールレポート配信時間)になる可能性は0ではありません。 理想的には、DataFlowの終了をトリガーにスケジュールレポートが配信されればよいと思っておりますが…