ADL2018 自然语言培训记录

在8.26~9.1日期间,我和同学一起去了呼和浩特参加了ADL讲习班和今年的NLPCC 2018。在这里记录分享一下讲习班所得。

ADL 讲习班

  这次讲习班的主题是Natural Language Understanding with Novel Learning and Knowledge,所以学习的大佬周国栋老师让我们17级整个自然语言处理实验室的同学都来呼和浩特参加了。这次讲习班主要结合NLP的几个领域来讲述的,分别是以下几位老师:刘铁岩 – 机器翻译、邱锡鹏 – 多任务学习、Jian-Yun Nie – 神经检索模型:基于交互vs表示学习、张岳 – 自然语言处理的联合模型、刘奕群 – 互联网搜索与行为建模、鲍捷 – 知识图谱的语义:从理论到实战。
  这几个课程,收获最多的是机器翻译,多任务学习和联合模型。接下来我会简单的总结一下相关的工作。

机器翻译

  刘铁岩老师主讲的机器翻译精彩丰呈,给出了很多深刻有趣的想法,很可惜我并不是做机器翻译的,不然未来的方向和研究点都有了。刘铁岩老师简介了一些深度学习的基础概念,然后主要介绍了机器翻译近几年的State-of-art的模型,最后给出了他对于机器翻译的一些思考和想法。
  首先,大佬讲述了一下基础,机器翻译现在通用的框架:Encoder-Decoder,常用的Attention MechanismBeam Search…这里就不赘述了。进入正题之后,刘老师先提及了谷歌的《Attention is all you need》的工作,小小地怼了一下谷歌,吐槽了一下当前模型训练调参的现状。(未完待续!)

朋友~给个赏馁!