提一个我个人唯一感兴趣的“关注点”。
正如其他人所说的，模型部分没有什么亮点。都是最近几年的一些具有显著成果工作的一个方法上的集成，达到了一个最好的单模型结果。这一点上Google最近的很多工作都有类似的风格（比如今年2月份的一篇Paper Exploring the Limits of Language Modeling也是类似）。BTW，我不是做机器翻译的。
相比之下，GNMT论文[1]中更令我感兴趣的部分在于Quantizable Model and Quantized Inference这一节（也是这篇论文工程味道很浓的原因之一）。
这节主要介绍了Google是如何上线这个复杂模型的。Deep LSTM这样的复杂模型想要上线必须要很好地解决Latency问题，而且很多TFBoys应该知道，Tensorflow这个框架自带的线上Inference功能在time consuming上很糟糕...（起码据我所知是很糟糕）。所以我第一时间就找了论文中有没有这部分的描述，还好Google在论文中描写了他们如何做线上布置的。
简单地讲Google做了两件事：Quantized Inference 和 TPU。两点都值得关注，Quantized Inference这部分Google主要提了他们怎么对LSTM模型做Quantize：
Quantize做到了Perplexity Loss略有损但是BLEU不变。
关于Quantize，还可以参考tensorflow.org
而TPU（Google为Tensorflow/深度学习专门定制的处理器）的使用这部分，Google给了一个对比：
[不过在准备发布答案的时候在微博上看到一段话[2]：微软的FPGA-powered的Azure深度学习网络能量全开翻译整个wikipedia英文到中文只需要0.098秒]
以上的观点仅来自于个人的一点经验，因为没有横向对比过/不清楚到底有多少公司/组织有能力架构这样的Deep LSTM做low latency的Inference，我的答案的关注点可能有失偏颇，望指正。
1.
2.
