Matillion

MatillionのInputコンポーネントの使い方

MatillionのInputコンポーネントの使い方。ELTツールMatillionの使い方の記事です。

Matillionとは何か知りたい方はこちら。

クラウドネイティブなELTツール、Matillionとはなんなのか?本ブログ記事でも度々紹介しております「Matillion」。 そもそもそれはなんなのか?なにがそんなにいいのか? その謎を探るべくA...

以前の記事でテーブルを出力するコンポーネントについて紹介しましたが、今回はテーブルを読み込むコンポーネントについて紹介したいと思います。

※紹介するのはデータベースがSnowflakeのときに使えるコンポーネントです。

Matillionでデータを加工する場合は、読み込みに使うコンポーネントは基本的にTable Inputコンポーネントのみで事足りることが多いです。

しかし他のコンポーネントも知っておくと記述を省略したり、できることの幅が広がるかもしれません。

Table Inputコンポーネント

基本のコンポーネント。Target Tableを指定すると、データベースを探してテーブルを1つ読み込んでくれます。

Fixed Flowコンポーネント

列と値を指定してテーブルを作れます。

データベースにないものでも簡単なものならここで作れます。

Generate Sequenceコンポーネント

Fixed Flowと似て、テーブルを作るコンポーネントですが、開始と終了の値を指定すると、連続した値を持ったテーブルを作ってくれます。

1列のみ、数値のみでしか作れないので注意してください。

Multi Table Inputコンポーネント

データベースにある複数のテーブルを、パターン一致で指定できます。指定したテーブルは1つのテーブルとして以降のコンポーネントで使用できます。Tableau Prepのワイルドカード接続みたいな機能です。

例えば日付毎に分かれて格納されているテーブルを使いたいときに便利です。

パターン一致の指定形式は参照するデータベースサービスによって変わることがあります。また、スキーマまたぎでは使用できません。

Stream Inputコンポーネント

これはSnowflakeでのみ使えるコンポーネントです。あらかじめ作っておいたストリームを指定するとテーブルと同じように読み込みます。ストリームはテーブルとは異なるオブジェクトなので別コンポーネントになっています。

Snowflake にはストリームというテーブルの変更履歴を追う機能があります。レコードの挿入、変更などを一時的に記録しており、差分更新等をやりやすくしてくれます。

 

参考:Read系コンポーネントのMatillion Document

 

C.T
8時間睡眠