English

Spotify での Scio を使ったデータ処理

2年前、Spotify はデータパイプラインを開発し Google Dataflow へとデプロイするために、オープンソースの Scala フレームワーク Scio を導入しました。本セッションでは、Scio の進化について議論し、2年間の Scio のプロダクションでの運用の要点を共有します。また、Spotify で運用されている興味深いデータ処理ワークフローをいくつかと、これを実運用することで得られた知見、そしてどのようにこの知見を活用して Scio をより速く、より安全に、かつより使いやすくしたのかをご紹介します。

トークの長さ
40分
発表言語
英語
聴衆の対象
中級者: 分野の基礎は分かるが、細かい所は不安
こんな人におすすめ
Scala を使ったビッグデータ処理に興味のある人
発表者
Julien Tournay (Data engineer at Spotify)
  • Scala world
  • scala.io
  • scale by the bay
貢献
  • Scio

票中 票投票済み

応募一覧