9/12, 9/13 と 2 日間にわたって毎年恒例の Snowflake World Tour Tokyo が開催されました。毎年足を運んでいます。 登録がちょっと遅かったのもあって今年はブレイクアウトセッションを回るのではなく、EXPO の対角線で交互に繰り広げられるシアターセッションを反復横跳びしていました。
というわけでいち参加者のラップアップにお付き合いください。時系列に書き出しているはずです。
Snowflakeで業務アプリを作ろう。Snowflakeのアプリ機能解説＆実践ガイド
Streamlit in Snowflake, Snowflake App Runtime, Snowpark Container Services と Snowflake 内でアプリを構築するための選択肢は増えていますが、じゃあそのアプリはどれを使って構築するかを選択する必要があります。この意思決定をサポートするための優れたガイドでした。 これからは Snowflake App Runtime で何かを作る機会が増えそうです。Skill に抗って Next.js じゃなくて Tanstack Start や Remix を使っていきましょうかね。
山口さんは同僚でありながら Data Engineer Casual Radio をホストしているのでいちリスナーとして楽しんでいます。
Adaptive Warehouse を今すぐ導入すべき理由と迷ったときの判断基準
6 月に GA したばかりなので使っていないぞという人もいるでしょうか。サイズどれがいいかなということはせず、ワークロードに最適なものを自動で選択してくれるようになります。管理がなくなるのは嬉しいですね。 手軽に導入できるので、まずは検証してみるというのもできますし、このスライドでどういったワークロードには向いているぞ向いていないぞが書かれているので参考になります。
dbt CoreとSnowflakeで実現する多層的なデータガバナンス
Snowflake の Row Access Policy や Column Masking Policy を使ってユーザーロールによってデータを見せないようにすることができますが、それを dbt で付与してくと統制が取りやすいですね。
その中でも civi さんが公開したこの OSS を使ってみたいと思いました。CI 時に許可していないモデルの依存関係を作れないようにすることができるものでホワイトリスト形式で許可していきます。 source は staging からしか参照されないなどの style guide を強制する使い方がぱっと思いつきました。こんな感じ。
sources:
your_project_name:
+meta:
authorize:
- resource_type: model
database: analytics
schema: stagingSnowflakeのコスト最適化を支えるアーキテクチャ設計
鮮度などのサービスレベルをそこまで求められないワークロードにおいてカリカリにパフォーマンスチューニングをすることが最適なのかというとそうではないですよね。クエリプロファイルを見てスピルしているとすぐにウェアハウスサイズを上げてしまいがちですが1つ大きくするなら半分以下の実行時間にならないとコストが下がらないということは肝に命じておかないといけないです。課金の大半がコンピュートコストになるので改めてそこでウェアハウスを動かす必要があるのか、サイズを上げる必要があるのかは考えて設計する必要があります。 Iceberg テーブルもそんなに構えないでもどの企業にも使い所はあるのでメリットを理解して導入していくとよいと思いました。
Snowflake × dbt Coreで実現する統合MLOpsアーキテクチャ
Snowflake ML ミリしらなので @remote() デコレーターをつけるだけでコンテナランタイムで動くと知ってすごく簡単じゃんと思いました。 また dbt プロジェクトと ML Job のレポジトリが分かれていても開発ライフサイクルが違っても import すれば連携できるのでキレイなパイプラインになります。便利。
散らばる"顧客の声"をひとつに ― Snowflake完結の全社VoC分析基盤
RENOSY が持っている多様なデータソースから顧客の声を聞けということで Snowflake の中で扱えるようにしていました。AI SQL 便利ですよね。 途中で抜けちゃったので最後まで聞けばよかった｡｡｡
酒井さんはこの前 Frosty Friday チャレンジでご一緒して地理空間関数の問題をすごく詳しく説明してくれていたのでそれも見て欲しいです。
実は奥が深いSharingの世界。Resharing と Agent Sharing 活用術
こみぃさんのセッションです。 デジタル庁さんカレンダー API をという話があったが、PODBがあるし、それに対して自社の非営業日などを足して Reshare できるじゃんと思いました。
Semantic Viewは“作るもの”から“育てるもの”へ 〜 Snowflakeで考えるSemantic Viewの継続的な運用 〜
Semantic view は何となく作ってはみたもののになりがちなオブジェクトなので、継続的に改善していくのはどうするかに答えてくれるセッションでした。 後ろと横でほぼ同時に「ウチでもこれやりたい！」と聞こえたのが印象的でした。
向山さんは同い年だった気がするのでこれからも自分のモチベーションのウォッチリストに入れて追っかけたいと思います。
コミュニティーブース
行く決定が直前過ぎたので何もできなかった 初日に最初に九州にシールを貼った。２日目には結構貼られていた。九州でもまたSnowflakeのユーザーイベントやりますよ。