Matillion

Matillionのジョブの種類

こんにちは~yokochanです~

今回はELTツールのMatillionについてご紹介します。

Matillionって本当に優秀なツールなんですが、全然日本語の記事がなくて困るんですよね。。

Matillionについては弊ブログでも過去にご紹介しているので是非参考にしていただければ(それでも日本語の解説記事は足りない、、)

 

クラウドネイティブなELTツール、Matillionとはなんなのか?本ブログ記事でも度々紹介しております「Matillion」。 そもそもそれはなんなのか?なにがそんなにいいのか? その謎を探るべくA...

 

そんなMatillionの基本機能であるジョブとは何なのか?をこの記事では紹介します。

Matillionのジョブは大きく以下の2種類に分けられます。

  • Transformation job
  • Orchestration job

1つずつ見ていきます。

Transformation job

テーブルに対して変換処理を行うジョブです。

集計をしたり、フィルターをかけたり、新たな計算列を作ったり、テーブル同士を結合させたり、といったことが可能です。

これらの処理についてはコンポーネントが用意されており、どれも直感的に扱えて便利です。

Transformation jobの画面イメージはこんな感じです。

「テーブルの読み込み⇒計算処理⇒テーブルへの書き込み」といったフローですね。

Matillion上で作った処理は自動でSQLクエリに変換されて接続しているデータウェアハウスのリソースを使って実行されます。

Orchestration job

テーブル定義の作成、データのロード、ジョブの実行などの処理を行うジョブです。

Transformation jobとは違い、テーブルそのものに対する処理や外部データソースからのデータのロード、メッセージの送信、ジョブの実行などを行うことができます。

Orchestration jobの画面イメージはこんな感じです。

Orchestration jobはキャンバスの背景が緑色になります。

データロード用のコンポーネントは100種類近くあり、使いたいデータソースに合わせてコンポーネントを選ぶことができます。

まとめ

これら2つのジョブを組み合わせることでMatillionのフローは簡単に作ることができます!

また、コンポーネントは直感的に使いやすいものになっているので、すべて英語ですが特に気にせず使えると思います。(コンポーネントの説明も記事にしたい。。)

興味がある方はぜひMatillionを使ってみてはいかがでしょうか?

 

yokochan
データ基盤構築やデータ可視化をやっています。 夏は沖縄の海、冬は北海道の山、年がら年中ももクロのライブ会場。