ETLの使い分けについて

skaskakiz_IMJ

ETLの処理速度改善のため、MySQLデータフロー、RedShiftデータフロー、Blend機能の利用の選択肢があると認識しているのですが、

データ量や実現したい処理によってどれを選ぶべきかガイドライン等ありますでしょうか？

 

例）

・100,000件以下のデータ処理の場合はMagicETL

・100,000件以上で単純なデータ結合のみの場合はBlend

・100,000件～XX件程度までの複雑なETLの場合はMySQLデータフロー

・上記以上のデータ量やWindow関数を利用したい場合はRedshiftデータフロー（※日本語の列名が利用できない制限あり）

 

よろしくお願いいたします。

Shin

私の感覚で恐縮ですが、Blendだけで処理できるケースは以外と少なく、2000万件以上の入力データの場合はRedshiftになるかと思います。(日本語列だと英語列に直す必要がありますが）

１、MySQLデータフロー

ETLでは提供されていない関数を要する場合。（SUBSTRING、LIKE、EXISTS句など）

Stored Procedureを用いる場合。

データ型の変換を多用する場合。

 

２、RedShiftデータフロー

入力データセットが英語カラムであることが前提

MySQLにないWIndow関数（NTILEなど）の関数を使用する場合。

数千万件の大量データを処理する場合。

 

３、Blend機能

型の変換が不要で簡易な結合やUNION処理を行う場合。