地位类似于resnet在图像，里程碑式的工作，宣告着nlp范式的改变。以后研究工作估计很多都要使用他初始化，就像之前大家使用word2vec一样自然。
BERT一出，那几个他论文里做实验的数据集全被轰平了，大家洗洗睡了。心疼swag一秒钟，出现3月，第一篇做这个数据集的算法，在超了baseline 20多点的同时也超过人了。
———————-分割线—————————
1 jacob在细节上是一等一的高手。他这个模型的双向和Elmo不一样，大部分人对他这个双向在novelty上的contribution 的大小有误解，我觉得这个细节可能是他比Elmo显著提升的原因。Elmo是拼一个左到右和一个右到左，他这个是训练中直接开一个窗口，用了个有顺序的cbow。
2 Reddit对跑一次BERT的价格讨论
For TPU pods:
4 TPUs * ~$2/h (preemptible) * 24 h/day * 4 days = $768 (base model)
16 TPUs = ~$3k (large model)
For TPU:
16 tpus * $8/hr * 24 h/day * 4 days = 12k
64 tpus * $8/hr * 24 h/day * 4 days = 50k
For GPU:
"BERT-Large is 24-layer, 1024-hidden and was trained for 40 epochs over a 3.3 billion word corpus. So maybe 1 year to train on 8 P100s? "
3 不幸的是，基本无法复现，所以模型和数据谁更有用也不好说。
———————分割线—————————
BERT的成功也说明，好的深度学习研究工作的三大条件: 数据，计算资源，工程技能点很高的研究员(jacob在微软时候，就以单枪匹马搭大系统，而中外闻名)
