クラウドを前提にしたELTツールのMatillionを使うと、意外な驚きに出くわします

多くのETLツールは、BigQueryをデータソースとして前処理を行うと、一度BQよりデータをツール側に取り出して処理を行います。これは、BQの力を最大限に活かせず、処理は、できるだけBQ側のリソースで行えるツールが欲しくなります。Matillionは、そんなことを手軽にできるツールです。

１つのコンポーネントで多テーブルの結合処理

多数のテーブルの結合処理が１つのコンポーネントだけで、なかなか面白い感じで記述できるので紹介します。

オレンジの３つがBigQueryの３つのテーブルで、赤枠で囲まれたJoinコンポーネント１つで、この３つのテーブルの結合処理を記述できます。よくあるETLツールは、１つのJoinコンポーネントで２つのテーブルを結合する記述です。たくさんのテーブルの結合をまとめて記述できれば、データフローを直感的に記述できます。

今までのツールだと、プロのマエショリストが多段の結合処理をする場合、どの順番で結合するかを考えるのが腕の見せ所でしたが、Matillionだと、これらの処理はMatillionが適当にSQL文にしてBQに投げてくれます。

より詳しい解説については公式のYouTube動画を、ご覧ください。