MySQLでデータ件数が多く、更新も追加も多いテーブルがあります。
現在500万件くらいですが、日に数万件ずつ増えていっています。
Domoで取込する時には「置き換え」か「追加」が選択できるので置き換えにしているのですが
導入当初から比べると件数多くなっているので取込時間が徐々に増えていっています。
そこで
今まで置き換えで取り込んでいたdataset-Aとは別に
更新時刻が直近のものだけ取り込んだdataset-Bを新たに作成し
DataFlowのSQLで
Aの中でBに無いもの+Bという形でunionして新たにdataset-Cを作る設定を入れて
出来たことはできたのですが、DataFlowの実行時間が、もともとの置き換えよりかかってしまいました。。
Redshift版でも試したのですが、効果が出るほどの件数ではないのか、あまり変わらず。。
指定した項目(テーブル上のPKに該当するもの)が既に存在する場合は更新、無ければ追加
というような取込モードがあればいいなとは思っているのですが、無さそうなので、
もし同じ様なデータを扱っていて取込時間の短縮で工夫されている方がいれば
アドバイスをいただきたく記載させていただきました。