従来のリレーショナルデータウェアハウスから Spark と Scala のパワーを使った分散データウェアハウスへ

今でも多くの大企業は従来のリレーショナルなデータウェアハウスに頼っています。企業の大量の取引データはリレーショナルなデータウェアハウスへと永続化されています。解析の目的というだけでなく、データそのものの爆発的な増加により、ビジネスのための解析データの高可用性と高速なデータ処理の両方が求められる時代がやってきました。企業の多くが「データプラットフォームのリエンジニアリング」を検討しています。

この文脈において Scala そして Apache Spark はモダンな分散解析基盤として非常に人気を博しています。

トークの長さ

40分

発表言語

英語

聴衆の対象

初心者: 分野の事前知識を必要としない

こんな人におすすめ

1. Scala を用いた関数型プログラミングの初歩か、 Java を理解してる人
2. Java もしくは Scala で並行プログラミングかマルチスレッドを理解している人
3. 分散データ処理に興味があって、データをスケールさせる最適化に興味があるひと

発表者

Chetan Khatri (Accionlabs Inc.)

• TransmogrifAI - Automate Machine Learning Workflow with the power of Scala and Spark at massive scale. - Scala.IO 2018 Lyon, France.
• Scaling 30 TB's of Data lake with Apache HBase and Scala DSL at Production. - HBaseConAsia 2018, Beijing - China.
• Scaling TB's of data with Apache Spark and Scala DSL at Production - HKOSCon 2018

貢献

• Apache Spark
• Apache HBase
• Apache MXNet