Go ahead!

Memoization for Everything

Presto meetup #1

| Comments

Presto meetup

1月20日に第一回をやりました!キャンセルも少なめで,イベント参加100人強,懇親会が80人くらいでした.予想の倍以上集まった感じで,Prestoも注目されてるんだなと実感したイベントでした.

今回は基本から始まり,それぞれ今使っている人達に,運用の話,BIツールとの連携の話,どういう組み合わせで使っているかなど発表してもらいました.「PrestoのDynamoDBコネクタを作る!」みたいな話もあったりして,リリースが待ち遠しい所です.

懇親会でもたくさんの人と話をしましたが,やはり安定した運用のしやすさとか,コネクタによる複数ソースへのアクセスなど,色々と使っている理由含め情報交換出来たのが良かったです.発表してくれそうな人を二人くらい見つけたので,日程は決まってませんが,また第二回でもやろうと思っています.

このイベントの後,発表に関しての議論が他で行われたりもして,良いイベントになったんじゃないかと思います.

会場をかしてくれたFreakOut,会場準備や手配などをしてくれたdots,懇親会をスポンサーしてくれたTreasure Data,発表者の方々,また参加者の方々,皆さんお疲れ様でした! 第二回でお会いしましょう :)

スライドは以下です.

いまさら聞けないPrestoのアーキテクチャ 〜 設計の違いから知るPrestoのメリットとデメリット

Presto as a Service 〜 運用とモニタリングのコツ

Presto in my use case

シロクでの利用方法と、Sparkとの比較

社内の利用例の紹介と、自社でのHIVE、TEZとの比較

Serverspec本

| Comments

著者のmizzyさんから頂きました.ありがとうございます!

"Serverspec book cover"

Serverspecそのものの説明はいらないとは思いますが,公式サイトと書籍へのリンクを張っておきます.

本の感想

ソフトウェアの書籍でよくあるような「Serverspecはこう使う」といよりも「Serverspecはなぜこうなっているのか?」という所に重みを置いている書籍です.D言語のTDPLもそうですが,メイン開発者だからこそ書ける書籍になっています. もちろん,Serverspecの説明のために使い方や機能の説明もありますが,個人的には1章と4章がこの本の肝だろうと勝手に思っています.

1章

Serverspecの誕生から,どういう時に使うのか,また今どういう哲学でmizzyさんがServerspecを開発しているかについて書かれています.この章は,Serverspecというよりも,ソフトウェア開発に関する考えとして読むのも面白いと思います.

4章

Serverspec・Specinfraの内部的な構造から設計指針まで広く深く書かれている章です.もし今後Serverspecをがっつり使いたい・またパッチを投げたい,と思っている人は読むべきでしょう.この章のいくつかは,英語でどこかで公開した方がいいんじゃないかと思うくらいです(PRのレビューの負荷が下がりそう).

実装寄りの章ですが,ソースコードもふんだんに出てくるので,理解はしやすいと思います.

Serverspecを使っている所

個人的に,Treasure Agent(td-agent)のインストール後の状態テストにServerspecを使っています.ミドルウェアのパッケージは構成が変わると,運用している人のスクリプトが動かなくなったりするので,そこを動くコードでチェック出来るようにServerspecで書きました.

この時には汎用的なパッケージの構成テストにServerspecを使っている例がなかったのか,OSなどの判定をする機能がありませんでした.その影響でテスト出来ない箇所がありましたが,「ohaiみたいなのがあるとこうやってテスト書ける〜」みたいな要望を出したら,次の日にはServerspec(実際はSpecinfra)に入ってました! この機能に関しては,3章の3.8のセクションに書かれてます.

まとめ

Serverspecの作者が著者ということもあり,付録含めて200ページの中に様々な情報がちりばめられています.Serverspec使ってみようかな,と思っている方は買って損はないと思いますし,各リソースタイプも付録に列挙されているので,簡単なリファレンスとしても使える感じです.

mizzyさん,執筆お疲れ様でした and ありがとうございました!

2014年振り返り

| Comments

乗るしかない,このビッグウェーブに!

イベント・勉強会

覚えている限りメインで参加したのは以下.

30分以上のトークが増えた年でもあった.HadoopCon Taiwanでは英語のみで基調講演というかなりレアな体験をした. Fluentdを広めるのが仕事なので,来年も色々と発表はしていきたい.
LTっぽいので話したのだと,モニカジとかCloudera World Tokyoでも喋った.多分他にもあるけどよく覚えていない.

2014年はPrestoのソースコードリーディングを4回くらい開催して,そのままの流れで来年はPresto Meetupをやる. ユーザが増えつつあるPrestoの日本での普及に貢献出来ればという感じで活動している.

D言語関係のイベントは開催出来なかったのだけど,周りから少し要望があるので,2015年はmeetupっぽいのを開きたい.

OSSなアレコレ

"github contribution 2014"

Contributionがあんまり多くない感じもするので,来年はもっと色々とやる必要がありそう.

Fluentd

仕事でFluentd・td-agent関係をやっているので,開発の大半はそっちにリソースを割いた.以下がFluentdの2014年のまとめ的な記事.

Fluentd update 2014

Fluentdもユーザが増えてきて色々と改善すべきところが見えているので,それらを来年は解決する. v1に向けて,とりあえず年末にv0.12を出せたのは良かった.

D言語

本体の破壊的変更の数が激減したので,ちょいちょいとしたメンテナンスが多めだった.

D言語 Language Update 2014

俺のライブラリにもユーザがいるらしく,俺が気づくより先にパッチが届くのもあったりして嬉しい. 個人的にはvibe.dがやっぱりイベント駆動ライブラリとして使うには少し自由度がアレな感じなので, もう少し薄いライブラリでも書こうかなぁと考え中…

まとめ

すきやばし次郎,超美味かった

HadoopCon 2014 in Taiwan

| Comments

記事にするの遅れたけど,9月12日から9月16日まで台北に行ってきた. 目的は台北で行われたHadoopCon 2014で発表すること.

一緒に参加することになったモリスさんの感想記事はこちら.

HadoopCon 2014

"HadoopCon 2014"

色々と紆余曲折?があり,なぜか俺がキーノートで発表することに. 初めての英語での発表が40分のキーノートということもあって,色々と疲れた.

発表内容はHadoop上で使えるSQLプロダクトについて,基本からTreasure Dataでの経験周りを含めてあれやこれや話した. 質問もあったので,俺のアレな英語でもそれなりに伝わっていたのかなという感じ.

他のセッションも聞きたかったのだけど,中国語で正直何を話しているか分からなかったので,外のスペースで他の人と話していた.
海外から招待された人の気持ちが分かった一瞬だったw

カンファレンス会場だった中央研究院は,台北政府直属?の研究所らしくかなり大きかった.向こうの人曰く,大抵のイベントはここでやっているらしい. その他,大規模ではないけどHBaseを使っている所が多かったりと,色々と情報交換も出来た感じで良かった.

残りは観光

HadoopCon 2014で知り合った人たちが観光案内をしてくれて,HadoopConの日と次の日に色々と回れた.

台北101含む観光地だったり,地元の人が集まる店だったり,夜市だったり,色々と解説もしてくれてかなり楽しめた.

"HadoopCon 2014: Temple" "HadoopCon 2014: Chiang" "HadoopCon 2014: Soup dumplin" "HadoopCon 2014: Night market" "HadoopCon 2014: Night market shop"

写真あげまくるのもアレなので,残りはFBのアルバムで…

感想

色々と調整してくれた台北の人たちには本当に感謝というか,かなり台北中は楽できたので,こういう恩はいつか返したいなと.

台北,ココイチとかすき家とか大戸屋とかゆで太郎とか麺屋武蔵とかあるので,日本の人がいっても多分食には困らない. ホテルとか,探せば普通に日本語が通じる所もかなりあるので,気軽にこれる所だなぁと.
交通費もかなり安いので,気軽にタクシーとか乗れる.

RubyConfとかOSDCとか,大きめのイベントも毎年やってるっぽいので,近いし,英語の練習がてら皆さんも参加しましょう!と参加仲間を増やす作戦.

ServerEngine at RubyKaigi 2014

| Comments

RubyKaigi 2014ServerEngineについて発表してきました.

最初はFluentdで発表しようかと思ったんですが,別の有用なプロジェクトの話もそろそろした方がいいかな,ということでServerEngineにしました. @sonotsさんがFluentdの発表をしてくれたので,被らなくて良かった…

"RubyKaigi 2014: ServerEngine" 画像は技評さんから

以下がスライドです.書いてないことも発表では色々と話したので,動画もセットで見た方が良いです.

ServerEngine

fluent/serverengine

ServerEngineはTreasure Dataで開発・運用されている分散キューや分散スケジューラ,それとFluentdなどの経験を元に,汎用的な部分を抽出してフレームワークにしたプロダクトです.発表で言及した機能の他にもBlockingFlagなどのユーティリティがあるので,Rubyでデーモンやバッチワーカーを書くときには是非試して貰えればと思います.

また,FluentdもいずれはServerEngineベースになる予定です.今でもServerEngineと似たような機能を俺俺で実装しているのですが,ServerEngineにすることでよりコードは簡潔に,また新しい機能も実装出来るようになります.この辺は乞うご期待という感じです.

発表に関して

1週間前に台北で英語でのキーノートがあり,直前まで時間が取れませんでした.台北後にひたすらスライドを作り,前日にやっと完成という,かなり際どいスケジュール.

本番どうかなと思ったんですが,時間進行を見ながら一部詳細を飛ばしたり,メインホールだったけどそんなに詰まることなく発表出来たんじゃないかなと思います.ここ数年は色々と大きいイベントでの発表も増え,それらの経験のおかげか,日本語であればそれなりにこなせるようになってきたかなと実感してます.

また,Railsとか関係のない,どちらかというと地味というか泥臭い感じの話が多めだったんですが,何人かには受けたようで,良かったです.

聞きに来てくれた皆さん,手伝ってくれたスタッフ,そして同時通訳の方々,ありがとうございました!!

とりあえず8月9月のイベントラッシュが終わった感じなので,少しのんびりしたい…んだけど,11月のRubyConfでkiyoto-sanがFluentdについて発表するようなので,俺も参加しているかもしれません.