青いピル / 赤いピル: 数千ものデータストリームによるマトリックス

1つや2つのデータストリームを処理するストリーミングアプリケーションを設計することは簡単です。拡張性、高スループット、障害許容性を提供する、どのストリーミングフレームワークもうまく機能します。しかし、ストリームの数が数百や数千になる場合は、非常に管理が困難になります。数千ものストリームでリソースを共有しながら、どうやって24時間365日の運用を継続するのでしょうか？ストリームの状態を追加し、高度なオペレーションを適用したり、再起動なしにストリームを追加・削除したりするのでしょうか？本発表では、よくあるシナリオを説明し、Spark Structured Streaming を使いながら、数千ものストリームを扱うテクニックを紹介します。

トークの長さ