雷锋网AI科技评论按：随着强化学习在机器人和游戏 AI 等领域的成功，该方法也引起了越来越多的关注。在近期雷锋网GAIR大讲堂上，来自清华大学计算机系的博士生冯珺，为大家介绍了如何利用强化学习技术，更好地解决自然语言处理中的两个经典任务：关系抽取和文本分类。 本文根据视频直播分享整理而成，内容若有疏漏，以原视频嘉宾所讲为准。

视频回放地址：http://www.mooc.ai/open/course/318

在关系抽取任务中，尝试利用强化学习，解决远程监督方法自动生成的训练数据中的噪音问题。在文本分类任务中，利用强化学习得到更好的句子的结构化表示，并利用该表示得到了更好的文本分类效果。本次分享的两个工作均发表于 AAAI2018。

冯珺，清华大学计算机系博士五年级，师从朱小燕和黄民烈教授，主要研究方向为知识图谱，强化学习。目前已在 AAAI，COLING，WSDM 等国际会议上发表多篇文章。

分享内容：

大家好，我是来自清华大学的冯珺，分享的主题是当强化学习遇见自然语言处理，分享内容主要是以下三方面：

强化学习基本概念简要介绍基于强化学习的关系抽取方法，解决远程监督方法自动生成的训练数据中的噪音问题基于强化学习的句子结构化表示学习方法

强化学习的基本概念

状态，是agent从环境中得到的动作；agent，是基于它得到的当前状态后做出相应的动作。reward ，是环境给agent 的一个反馈，收到这个reward就知道做的这个动作是好还是不好。agent 的目标就是选动作，将全部reward最大化。

agent会和环境做很多的交互，环境每次做的动作可能会有一个长期的影响，而不仅仅是影响当前的reward。reward 也有可能延迟。在这里简单介绍一下policy的概念。policy是决定一个agent的动作的一个函数。

如果读者对上述概念还不清楚可以观看视频中的迷宫例子：http://www.mooc.ai/open/course/318

我们组做的两个工作是关系抽取和文本分类。

首先是第一个工作：利用增强学习从噪声数据中进行关系抽取 （Reinforcement Learning for Relation Classification from Noisy Data）

任务背景

关系分类任务需要做的是，判断实体之间是什么关系，句子中包含的实体对儿是已知的。关系分类任务是强监督学习，需要人工对每一句话都做标注，因此之前的数据集比较小。

之前也有人提出Distant Supervision 方法，希望能利用已有资源对句子自动打上标签，使得得到更大的数据集。但这种方法是基于已有知识图谱中的实体关系来对一句话的实体关系进行预测，它的标注未必正确。

这篇文章就是用强化学习来解决这个问题。之前也有一些方法是基于multi-instance learning 的方法来做的。

这样做的局现性是不能很好处理句级预测。

基于以上不足，我们设定了新模型。包括两个部分: Instance Selector 和 Relation Calssifier。

这个模型有两个挑战，第一是不知道每句话的标注是否正确‘；第二个挑战是怎么将两个部分合到一块 ，让它们互相影响。

Instance Selector 和 Relation Calssifier 的结构图

在Instance Selector中的“状态”就表示为，当前的句子是哪一句，之前选了哪些句子，以及当前句子包含的实体对儿。

Relation Classifier 是直接用了一个CNN的结构得到句子的表示。

模型训练步骤

实验部分关于数据集和baseline来源

总结

我们提到一个新的模型，在有噪声的情况下也能句子级别的关系分类，而不仅仅是bags级别的关系预测。

第二个任务

任务背景

如果做一个句子分类，首先要给句子做一个表示 ，经过sentence representation得到句子表示，把“表示”输入分类器中，最终就会得到这个句子属于哪一类。

传统的sentence representation 有以下几个经典模型：

bag-of-wordsCNNRNN加入注意力机制的方法

以上几种方法有一个共同的不足之处，完全没有考虑句子的结构信息。所有就有第五种 tree-structured LSTM。

不过这种方法也有一定的不足，虽然用到了结构信息，但是用到的是需要预处理才能得到的语法树结构。并且在不同的任务中可能都是同样的结构，因为语法都是一样的。

所以我们希望能够学到和任务相关的结构，并且基于学到的结构给句子做表示，从而希望能得到更好的分类结构。但面临的挑战是我们并不知道什么样的结构对于这个任务是好的，我们并没有一个结构标注能够指导我们去学这个结构。但我们可以根据新的结构做出的分类结果好不好从而判断这个结构好不好。

这个任务同样可以建模为强化学习问题，用强化学习的思想来解。同样的，在这个任务中的reward也是有延迟的，因为需要把整个结构都学到后，才能得到句子的表示，才能用句子的表示做分类，中间的过程是不知道这个结构是好的还是不好的。

实验部分的数据集来源

实验的分类结果；最后两行是我们的方法。

总结

在这个工作中，我们学习了跟任务相关的句子结构，基于句子机构得到了不同的句子表示，并且得到个更好的文本分类方法。我们提出两种不同的表示方法，ID-LSTM和HS-LSTM。这两个表示也得到了很好的分类结果，得到了非常有意思的和任务相关的表示 。

雷锋网提供视频直播回放，如果对文中有不清楚的地方，可点击观看视频 ：http://www.mooc.ai/open/course/318。

中南大学和清华大学，哪个比较好

你还不如死了算了，活在世上浪费粮食

清华大学和北京大学哪个好

其实各有优势，北大文、理都排全国第一，清华工科第一。但是因为如今的科技引领世界发展，使得易拿经费的工科清华发展进步很快。在学习上，北大学生保持学霸的状态下更加喜欢蔡元培先生的主张，并且对隔壁的书呆子做法比较不屑，了。而清华作为当年的旅美学校发展而来，自然对于出国是情有独钟的，并且留在国外的也绝对冠绝全国。在对全国高精尖人才的培养上，两者各有风格，也往往比较好的互补。只要能去上，有能力去读，那都是够牛逼的。出人头地的方式很多种，但是这两个学校的概率和比例要高出很多。

有哪些好句子

1、某天，你无端想起一个人，她曾让你对明天有所期许，但是却完全没有出现在你的明天里。

2、我淋过最大的一场雨，是那天你在烈日下的不回头。3、如果你真的非常喜欢过一个人，就会知道，要真心祝福她跟别人永远幸福快乐，根本是不可能的事。

4、少年时代的岁月，即使拥有相同的过去，记忆最深的细节也会出现趣味性差异，那就是7属于每个人的，不会重复的时光。

5、“人生总是那么痛苦吗？还是只有小时候是这样？”

“总是如此。”

6、一直以为我跟他不一样，原来寂寞的时候，所有的人都一样。

7、其实爱情是有时间性的认识太早或太晚都是不行的，如果我在另一个时间或空间认识她，这个结局也许会不一样。8、我想成为一个温柔的人，因为曾被温柔的人那样对待，深深了解那种被温柔相待的感觉。

9、我也喜欢，当年喜欢着你的我。那时候的我，简直无时无刻都在发光呢。

有哪些好句子

和你分享一下我珍藏的七月手写版、诗意与美感富集的好句子，希望您有时间能够静下心来细细品味。

1、我有一碗酒，可以慰风尘。

2、愿你的眼中总有光芒，活成你想要的样子。

3、我渴望一生被人收藏好，妥善安放，细心保存。免我惊，免我苦，免我四处流浪，免我无枝可依。

4、行走在路上，与所有人微笑，却只想与你相遇。

5、时间也需要没用的东西，如果一切事物都必须有其意义，会让人喘不过气来。

6、穿山越海，哼你的歌，踏浪飘帆，忘记你，更忘记我。

7、有人信你，有人陪你，有人等你。

8、苦非苦，乐非乐，只是一时执念罢了。执于一念，将受困于一念，一念放下，会自在于心间。

9、容我做个长梦，醒来黄历堆成山，张张都是万事大吉。

10、你最可爱，我说时来不及思索，但思索之后，还是这样说。

11、可遇不可求的事，后海有树的院子，夏代有工的玉，此时此刻的云，二十来岁的你。

12、我没有生来勇敢，天赋过人，面对人山人海，只剩一些诚恳。

13、我选择一条不那么好走的路，是因为想着路上会遇到你。

14、有些时候，失去才是平常，而得到只是幸运。

15、你知道我想说什么吗？你只知道我说了什么。

16、我的心事蒸发成云在下雨，却舍不得淋湿你。17、走过多少辜负，雨打芭蕉哭成狗，总有一个终点，满处花开是人间。

18、我们都需要一个，愿意陪你的人，不需要那么多承诺，给一个适时的拥抱，嘘声后安静地与你走完一生的人。

19、与君初相识，犹如故人归。

20、余生很长，你一定要来。

图片来源于网络。

清华大学附近怎么逛比较好

我被冰清这个老娘们儿限制不能发言了，可能它怕我了，让我来介绍一下，它在美国原来是卖有机食品起步的，聚了人气后改卖转基因，大家都知道美国是严谨转基因当主食的，一个已经是美国人的它天天嚷着让国人吃转基因，无非是转基因集团给它的丰厚报酬，而且它仇视中国人。知道它底细的人都知道。与方肘子及他的老婆怀疑探索者、司马夹头等沆瀣一气，为利益出卖良知，是标准的汉奸卖国贼。

清华大学好还是复旦大学好？为什么

清华大学好，还是复旦大学好？哪一个疯人院逃出的家伙在此发问？此外此人还提问了武大、浙大、南大等校，这是贬低清华抬高他校还是挖苦他校呢？用心险恶！

认为复旦可以与清华齐名者，只能是以复旦的局部优势，以偏概全地看待问题！

清华好，不是一切都好，不是所有获奖都是第一，不是所有学科都是A+！

如果以某校的A档、B档学科，与清华的C档学科作比较，全国有多少985、211超过清华？单独地比眉毛、鼻子、嘴巴，有些丑女未必没有胜处，她们是美女吗？

不说比学校的某一方面，笼统地比学校，不比综合实力比什么？清华北大属于第一档，华五属于第二档，这是不争的事实，不容否认！

至于有些上海人不喜欢清毕，喜欢复旦，也许是清华的某专业比不上复旦，并非是学校的整体实力清华在复旦之下！难道清华在上海的招生分数线比复旦还要低吗？怎能自圆其说？

还有些上海人看全国，都是农村，能说明什么呢？上海好几所高校都不错，但在外地招生人数很少，分数线自然高！

如果把清复看作同一档次，那么其它学校就有理由看成和复旦同一档次，至少华五各校与清华同一档次了，怪不得此搞笑的提问者一下子用好几个学校与清华相比呢！原來他们有同样的思维！

清华大学的本科生比研究生好吗

肯定好啊，研究生都是本科生淘汰下去的学渣，怎么可能和本科生比。

清华大学好还是浙江大学好

无论是从国内的名气还是从世界上排名来看，肯定都是清华大学比较好一些。按照2019年QS世界大学排名来看，清华大学排名全球17名，而浙江大学排名仅是87名，二者相差还是比较大的。并且在国内大部分人对清华大学的认可度还是高于浙江大学的，当然也存在部分人认为浙江大学比较好。

从我个人的看法来说，学校没有绝对的好，也没有绝对不行的学校，主要还是要看专业。并且一个学校的发展靠的是教育资金的投入，清华大学的经费还是高于浙江大学的，当然浙江大学也是很不错的一所重点大学。

就拿第四轮学科评估来说吧，清华大学共有21个学科评为A+档，8个学科评为A档，8个学科评为A-档。浙江大学11个学科评为A+档，11个学科评为A档，17个学科评为A-档。整体来看还是清华大学高层次的学科要多一些！

欢迎关注：考研在大学

您的关注、点赞就是对我最大的鼓励和支持！

你收藏过哪些经典的好句子

1.欲望以提升热忱，毅力以磨平高山。

2.拿望远镜看别人，拿放大镜看自己。

3.把你的脸迎向阳光，那就不会有阴影。

4.明天的希望，让我们忘了今天的痛苦。

5.人的价值，在遭受诱惑的一瞬间被决定 。

6.世上最累人的事，莫过於虚伪的过日子 。

7.留着一个号码，不过是为了守候—个人。

8.生活不是电影，不会有那么多的不期而遇。

9.愚者用肉体监视心灵，智者用心灵监视肉体。

10.再美好也经不住遗忘 ，再悲伤也抵不过时间。