Matillion

クラウドネイティブなELTツール、Matillionとはなんなのか?

本ブログ記事でも度々紹介しております「Matillion」。
そもそもそれはなんなのか?なにがそんなにいいのか?
その謎を探るべくAmazonの奥地へと向かおう、、、そんなせっかちな方々にお届けする記事でございます。まだ慌てるような時間ではございません。旅のしおりを用意する前にまずは本記事をご覧ください。
今までの記事や動画をまとめてご紹介させていただきます。(忘れなければ順次追加していく予定です、そう、忘れなければ)

最初に見るもの

何を置いてもまずは本動画を見ていただくのが早いかと思います。
弊社取締役が、数々のプロジェクトを回す中で見えてきたデータ分析官が苦しむポイントと、それに対するソリューションという位置付けとしてMatillionを紹介している動画になります。

こちらの記事も併せてご参照ください

クラウドネイティブなELTツールMatillionで多テーブルの結合処理クラウドを前提にしたELTツールのMatillionを使うと、意外な驚きに出くわします 多くのETLツールは、BigQueryをデ...

自動機械学習ツールとの連携

また、弊社開発の自動機械学習ツールForecastFlowとも連携できます
Big Queryにデータ集約→その圧倒的計算パワーを活かして前処理→機械学習モデルの作成→訓練済みモデルの日次運用、といったことが簡単にできるようになります。
気になる方は以下のブログ及び動画をご覧ください

ForecastFlowをMatillionから使う-予測編クラウドネイティブのETLツールMatillionを使って、データ加工からForecastFlowの予測までの処理を解説します クラウ...

 

www.youtube.com

価格帯系

Matillionの新しい価格体系ELTツールのMatillionですが、新しい価格体系となりました。 詳細は公式をご確認いただきたいのですが、ここでは、主なポイン...

 

その他Tipsまとめ

Matillionでテーブル出力する方法(Big Query)(追記)2021年12月14日 こちらの記事で遥かに整理された方法が紹介されておりますので、併せてご覧下さい。執筆当時の私のSQL...
MatillionでBigQueryのテーブルをGoogle Cloud Storage (GCS) に出力する方法どうも、最近荒野行動をやっていて、開始早々に射線を確保しているスナイパーを発見、「スナイパーは、懐に入られると、弱い……ッ!!」と丸腰で...
BigQuery, GCS, Matillionで日本語はどこまで使えるか?どうも、最近ふとセリーグの本塁打ランキングを見ると、村上、岡本、佐藤(照)の並びになっていて「そっか、もう時代は、令和なんだな……」とし...
Matillionでジョブ実行当日/前日の日付を変数として指定する方法どうも、最近「自分、まだいけます!やらせてください!」と健気に奮闘する液晶バキバキの愛機(iPhone7)から、新たな愛機(iPhone...
Matillionでジョブ実行当日/前日の日付を変数として指定する方法〜その2〜こちらの記事の別解です https://gri.jp/media/entry/368 やりたいことをおさらいしておくと、本日...
Matillion for BigQueryで日付ごとに分割された複数テーブルを読み込む方法どうも、最近道を歩いていたら、バイクシェアのポートでとても困った感じでスマホをいじっている外国人の方を発見、(ふっ、しゃあねえな)と思い...
MatillionでBigQueryのunnestされたデータを扱う方法どうも、最近家に帰ったら、弟がファンタジーアニメーションに出てくる魔法使いよろしく、鍋で丸太のような豚骨を煮込み自家製ラーメンを作ってい...
MatillionのpythonコンポーネントでBigQueryテーブルのカラム名を取ってくる方法こちらの記事でも登場しました、後輩さんのやり方を紹介するの会、その2です。 後輩のやりかたをパクって記事にするとかどうなのよ、という声...

 

Taizo
脳筋系データサイエンティスト。筋肉は裏切らない。筋肉。