一个 loss monitor：https://www.wandb.com/blog/monitor-your-pytorch-models-with-five-extra-lines-of-code
可能比自己用 Visdom/TensorBoard 什么的简单一点。

massive GPU cluster 上训练技巧，看起来是对 mini-batch size 有一个比较好的 control，以及 2D-Torus all-reduce 来做各个 GPU 梯度更新同步问题。刚刚提交到 arxiv，来自 SONY 团队。paper 题目也很有意思：ImageNet/ResNet-50 Training in 224 Seconds.

This work Tesla V100 x1088, Infiniband EDR x2, 91.62% GPU scaling efficiency

https://arxiv.org/abs/1811.05233

NIPS 2018 creativity workshop 上一篇关于歌词生成的 paper。对于生成模型来说，特别是需要一些创造力的问题，传统的 NLU 的 metrics （比如翻译常用的 BLEU）不是很好用，得到分数很高的未必会让人感觉好。
先前自己做对联机的时候也有这样的感觉，有的模型虽然 BLEU，Perplexity 都很低，但反倒直观上看起来并不怎么样。
文章中对生成歌词这个问题同时分别在歌词和书籍语料上生成了两个language model，同时让歌词拥有歌词的特点（看起来是捕捉韵脚，对仗，重复加重情感），也具有书籍的特点（词汇量丰富，表达多样性）。
参考意义应该还是挺大，尤其是对于需要创造力的生成问题，利用多个不同的 multi language model 来进行 ensemble 的思想尤为值得借鉴。
这个 workshop 也是NIPS 中一直比较关注的，经常有很多很有意思的 paper。
作者来自Google Brain。
workshop homepage: https://nips2018creativity.github.io/
paper: https://arxiv.org/abs/1811.04651

Gael Varoquaux 在euroSciPy 上做的关于interprete model 的 tutorial，他的博客里面干货一向很多，周末好好研究一下，就是有时候文章里面法语单词会混在里面，不太影响理解，习惯就好……
link: http://gael-varoquaux.info/interpreting_ml_tuto/#

一个EMNLP 2018的 recap，看着挺好，配合 paper 食用更佳。博客也不错。
link: https://supernlp.github.io/2018/11/10/emnlp-2018/

一个在 spaCy 上做ULMiT/BERT/Elmo 做 pre-training 的实验记录。
https://github.com/explosion/spaCy/pull/2931

一个对 GCN 训练和评估各种 trick 和 pitfalls 的 recap，简单看了一下有很多训练细节的描述和提及，还有 GCN 网络构建的很多关键部分。
先前试过朴素的 GCN 做文本分类：https://arxiv.org/abs/1809.05679
自己也造了一个轮子，GCN 做文本分类确实可行，而且相对 TextCNN 这些方法速度快很多。
link：https://arxiv.org/abs/1811.05868

huggingface 这些人把包打进pypi了，懒人模式可以开启了……
link: https://github.com/huggingface/pytorch-pretrained-BERT

一份在PyData Warsaw2018上的 slides，分享NLP Summarization.
https://ghostweather.slides.com/lynncherny/tl-dr-summarization#/6
进到页面后作者还有一些不错的 slides，包括 Google 那篇the stories we tell，写得都挺不错，适合快速 recap。

提交到 ICLR 2019的一篇不错的小文，比较pre-trained sentence-level language model，下面作者的 response 也挺不错。
https://openreview.net/forum?id=Bkl87h09FX

对推荐系统中 MF的一些概览，初次接触 RecSys 可以看看。https://towardsdatascience.com/paper-summary-matrix-factorization-techniques-for-recommender-systems-82d1a7ace74

基于 PyTorch 的high-level lib，很早以前看过，没注意已经是 PyTorch 官方 team 的 repo，可以关注一下。
https://github.com/pytorch/ignite

《Do Better ImageNet Models Transfer Better?》的第二版。
In v1, we used public checkpoints where the ResNet models were trained without regularizers, which is why they performed best in the fixed feature setting. In v2, we retrained everything. Surprisingly, for ImageNet training, the same hyperparameters work well for all models.
In v2, we show that regularization settings for ImageNet training matter a lot for transfer learning on fixed features. ImageNet accuracy now correlates with transfer acc in all settings.
https://arxiv.org/abs/1805.08974

MedicalTorch 升级到了v0.2，这是一个在 PyTorch 上专门用作医学图像的框架，没有仔细研究过，可能是医学图像和其他领域的图像处理有所不同。粗略看了一下代码里的 Model，提到了 segmentation using deep dilated convolutions
link: https://www.nature.com/articles/s41598-018-24304-3
transforms 里的函数有好多特殊的，像是一个高质量的项目，有待研究。
link：https://medicaltorch.readthedocs.io/en/stable/

pandas bokeh 一个半年前准备造的轮子被人先造了，不过这种轮子也是不少了。。。
link: https://github.com/PatrikHlobil/Pandas-Bokeh

一份对 FM 比较不错的应用介绍，包括推荐搜索这样的典型应用，适合了解 FFM 和 FM。https://www.m3tech.blog/entry/2019/01/02/090000

Parabel 的 Rust 高度并行实现。https://github.com/tomtung/parabel-rs
关于 Parabel：https://dl.acm.org/citation.cfm?doid=3178876.3185998
看起来是适合大规模分类问题，性能超群，留待日后研究。

2018年几个比较重要的数据集，自己用过 SQuAD2.0/CoQA/HotpotQA/TencentAI ML 质量都比较高
https://medium.com/syncedreview/2018-in-review-10-open-sourced-ai-datasets-696b3b49801f
还推荐 Tencent AI 前段时间发布的中文 embedding：https://ai.tencent.com/ailab/nlp/embedding.html

来自Uber AI 的一个不错的轮子，玩了一天非常适合跑demo和验证，许多state of the art 的解决方案都可以先做验证。https://uber.github.io/ludwig/
blog介绍：https://eng.uber.com/introducing-ludwig/

DVC：做data science model管理的工具，大致原理是使用git和s3之类的进行联合存储。多人团队，跨多业务团队还是蛮有用的，上一次和其他队员一起刷Kaggle的时候用过一次体验不错。https://github.com/iterative/dvc

FAIR的ELF发布了ELF Go的新版，应该后面会继续发更多Go bot，https://facebook.ai/developers/tools/elf
ELF OpenGo：https://research.fb.com/facebook-open-sources-elf-opengo/
lecun的fb post：https://www.facebook.com/yann.lecun/posts/10155789997817143