Tableau Prepつかってますか？
時たまバグなのか仕様なのかわからない動きがあり確認必須なお茶目な点がありますが、TableauでVizを作る目的以外のデータ整理/クリーニング作業にも使える良いツールだと思ってます。
そこでPrepにて「大量のcsvデータを扱うとき、データの描画速度にイライラしてる方」に試してもらいたいTipsお送りします。
「一度hyperに変換する」そんだけ
すみません、、、それだけなんです。。。
説明します。
データ量が多いとクリーニングステップを追加するたびにデータを読み込み「フローを検証してスキーマーを検証してます」と表示され待たされますよね。
最初の1回だけならまだなんとか許せますが、イライラするのが一度描画したステップでも再度表示するときに毎回データ読み込みに行くので複数データを扱った処理を設定する際に行ったり来たりするとかなりイライラします。忙しいのにともかくイライラする。
そこで試してもらいたいのが「素の状態で一度hyperに変換する」という工程です。
Prepでデータ処理する際、一般的には以下の流れかと思います。
| 「csvファイルをPrepに読み込む」 ↓ 「クリーニング/加工」（とにかく描画が遅い。。。） ↓ 「データ出力」 |
|---|
ここで試してもらいたいのはこの流れとなります。
| 「csvファイルをPrepに読み込んでいきなりhyperで出力」 ↓ 「そのhyperファイルをPrepに読み込む」 ↓ 「クリーニング/加工」（高速描画！！） ↓ 「データ出力」 |
|---|
20万レコードくらいのデータを複数扱った際には実感できる高速具合なのでローカルでPrep触っている人は一度お試しください。なお、データが多いと意味がないかもしれません、、、
そのうちPrep内で勝手にやってくれることを願っております。
※表示するデータサンプルを「10」にする方法も試しましたが、入っているデータ見て考えたい人はあまり使えませんし、描画速度もあまり高速化はされない。。。
※いきなりhyperにできるからといってノーチェックは駄目です。データ取り込んだときに勝手にPrepがデータタイプ変えてごっそりデータ欠損していないか考えて。
※社内の若手にこんなんやってみたんだけどと話したときには、そんなの意味あるんすかと言われたのであまり人に言ってなかった技です。でもほんとに速いんだもの。。。
