3. 研究も開発も基盤も「攻める」機械学習 (kuenishi)
2019年08月17日
内容紹介
PFNの機械学習基盤のエコシステムとストレージ周りについてkuenishiさんに聞きました
出演者
関連リンク
- Preferred Networks
- KDD 2019 | Chainer: a Deep Learning Framework for Accelerating the Research Cycle
- chainer/chainerio
- Jubatus : オンライン機械学習向け分散処理フレームワーク
- PFN、3機種めのディープラーニング用スパコンを2019年7月に稼働、合計で200ペタFLOPSに
- 確率的勾配降下法
- Lustre (ファイルシステム)
- C API libhdfs
- Amazon CloudFront
- ケルベロス認証
- Hadoop and Kerberos
- Apache Hadoop Ozone
- 小さなファイルが大きな問題を引き起こす：Hadoopクラスターでのスモールファイルの予防と対処について
- Kubernetesに分散ストレージのCephを統合する「Rook」がCNCFの正式プロジェクトに。ファイル、ブロック、S3互換オブジェクトストレージやマルチリージョン対応も
- Python bindings - Apache Arrow
- SRE サイトリライアビリティエンジニアリング ―Googleの信頼性を支えるエンジニアリングチーム
- Autonomous Tidying-up Robot System
- NSDI ‘19
- OSDI ‘18
- 「ところてんって会社で何やってるの？なんのエンジニアだっけ？」 と部長から言われた。 hadoopとhiveとmysqlと機械学習とログ解析と自然言語処理とVBAと火消しをやっているが、めんどくさいので「高機能雑用」と答えておいた。 だいたい間違ってない。
- Preferred Networks Careers
- GTC Silicon Valley-2019: MagLev: A Production-grade AI Platform Running on GPU-enabled Kubernetes Clusters