Spotify での Scio を使ったデータ処理

2年前、Spotify はデータパイプラインを開発し Google Dataflow へとデプロイするために、オープンソースの Scala フレームワーク Scio を導入しました。本セッションでは、Scio の進化について議論し、2年間の Scio のプロダクションでの運用の要点を共有します。また、Spotify で運用されている興味深いデータ処理ワークフローをいくつかと、これを実運用することで得られた知見、そしてどのようにこの知見を活用して Scio をより速く、より安全に、かつより使いやすくしたのかをご紹介します。

トークの長さ

40分

発表言語

英語

聴衆の対象

中級者: 分野の基礎は分かるが、細かい所は不安

こんな人におすすめ

Scala を使ったビッグデータ処理に興味のある人

発表者

Julien Tournay (Data engineer at Spotify)

• Scala world
• scala.io
• scale by the bay

貢献

• Scio