Atsushi2022の日記

データエンジニアリングに関連する記事を投稿してます

【Tableau】増分更新によるデータ反映漏れについて

Tableauでは、データソースの更新を抽出する方法は2種類ある。完全更新と増分更新である。デフォルトでは完全更新が行われる。

完全更新ではデータソースの全行が抽出されるためTableau側に完全に同じデータを反映される。但し、トランザクションデータなどの大規模になりがちなデータの場合は、完全更新だと参照元データベースに大きな負荷がかる。BigQueryを利用している場合は、クエリによるデータ処理量が大きいと費用が大変なことになる。そういった場合は増分更新を検討する。

増分更新では、前回データを抽出したものを除いて、新しい行のみを追加するように抽出を行う。例えば、日付のフィールドをキーとして、日付が前回の更新以降である行のみを抽出する。但し、この設定の場合だと、後から過去のデータを取り込んだ場合にTableauには反映されない。

増分更新を利用する場合は、Tableauへ反映漏れが起きないか、反映漏れが起きたとしても問題ないかを事前によく考慮する必要がある。