Go ahead!

Memoization for Everything

YAPC::Asia Tokyo 2015での発表

| Comments

YAPC::Asia Tokyo 2015

今年で最後となるYAPC::Asia Tokyoで,データ分析基盤まわりについて発表してきました.部屋は満席だったようで,聞きに来てくれた皆さん,ありがとうございました.会場はD言語erにふさわしくD会場でした.

データ分析基盤を支える技術 - YAPC::Asia Tokyo 2015 これが今どきのデータ解析基盤だ!初心者のためのデータ解析講座 #yapcasia #yapcasiaD - Togetterまとめ

どういう展開にしようか悩んだんですが,データ分析基盤の構築に使われる様々なソフトウェアが,どういう問題を解決するために導入されているのか,またその一方どういう問題を持っているのか,を一からデータ分析基盤を作るという流れで話していくことにしました.
既にガリガリやっている人向けではなくて,これからやろうとしている人,やってるけど現状の仕組みだと厳しくなってきたので今後どうしようか考えている人,などの参考になればと思っています.

データ分析周りに興味があった人が結構聞きに来てくれたらしく,全体の流れを俯瞰できて良かった,みたいな感想もチラホラ見受けられたので,この構成にして良かったな,とホッとしています.
スライドのまとめにも書いていますが,Treasure Dataなどのデータ分析基盤や,AWSやGCPやAzureのような分析基盤を作るためのコンポーネントを提供しているクラウドが増えているので,自分で一から構築する必要性はかなり低くなっています.「どういうソフトウェアがありどういうことが出来るのか」を知っておくのは重要ですが,なるべく便利なサービスを利用して,ビジネスに集中した方が良いでしょう.

SparkやFlink,その他可視化,機械学習,データパイプラインなども話したかったんですが,時間が足りなかったので,これらはまたどこかでチャンスがあれば話しても良いかなぁと.

上のtogetterのまとめには質疑応答に関するtweetはまとめられてないようなので,気になる方はいずれアップロードされる動画を見てください :)

Comments