您现在的位置是：心海E站 > 文案短句 > >正文
相辅相成的意思(相辅相成的人生)
发布时间：2023-11-21 07:51:32 admin 阅读:59
相辅相成的人生
人生像是一面镜子,在镜中认识自己;拿流年乱了浮生,又借浮生乱了红尘。对人生的思索深入到极致,亦须回归到现实,知行合一方可快乐得改变生活。我总觉得人生是相辅相成的,酸甜苦辣咸,属苦与甜最为相冲；而苦与甜却又是那么互相配合的,互相补充的,缺一不可的。
先谈谈人生中的甜；它是一种感觉,不倚仗权势,不仰赖财富,不依靠才华。它是家人不经意的一个拥抱,是爱人突如其来的一个亲吻,是朋友不露声色的一次关怀,措手不及,无处不在。它依赖的是自己的平常心,那颗笑对人生冷暖的平常心,那颗常怀感恩,知足常乐的平常心。命由己造,相由心生,痛苦来自欲望；要从痛苦中解脱,就要放下欲望；而要放下欲望,就必须训练心智,体验事物的本质。找寻事物的本质；学会自重,学会尊重,学会平等,学会坦然,悠然,随心,不埋怨；笑对人生,人生百甜。
总觉得世上有一半以上的苦难是人为制造的,也正如世上有一半以上的痛苦是人为想象的。佛说人有八苦：生苦,老苦,病苦,死苦,求不得苦,爱别离苦,怨憎会苦,五取蕴苦；生命在于受苦,指的并不是苦才是人生的追求,而是苦便是生活的常态,平常得就像生老病死,平常得我们每个人都终将面对。倘若我们无从改变不幸本身,我们到底仍能改变如何与不幸相处,去让事情变得哪怕再坏一点,又或者再好一点。于是乎,世上便有了所谓的比悲伤更悲伤的故事,却也有了涅槃重生的凤凰。苦其实并不可怕,可怕的是当个人忘却了甜。可是如果没有苦,又哪里会有甜?如果世上只剩下甜,那么甜便不再是甜。矛盾或统一,它们相辅相成,却又缺一不可。毕竟人生从来就不是非黑即白的,也正如其道,黑中有白,白中有黑,黑白交融,时时分分。道是什么?道即自然。一切仿佛都终将逝去,人生中那些所谓的顺境或逆境,潮起又潮落。但它们似乎又从未离开,成就了我们生命里那些不可或缺且又弥足珍贵的自己。
人生亦像两瓶必喝的啤酒,一瓶是甜蜜的,另一瓶是酸苦味的,你先喝了甜蜜的,其后必然是酸苦的。“生亦何欢,死亦何惧？”,在我这,生永远比死去好；活着永远会有滋味的期待,逝去便带走了一切寄望；万物只有经历过了,才能分辨出对与错；
可流年匆忙，对错又何妨？
深山的鹿，不知归处，万物皆苦，要努力成为草莓味呀
周末学成语|众志成城、相辅相成
每天七点半，虫在这里陪你上岸
点下面蓝字，复习部分往期成语
周末学成语|第1-20期合集
周末学成语|第21-40期合集
众志成城
zhòngzhìchéngchéng
意思是指万众一心，一起面对困难。意思是大家齐心协力，就像城墙一样的牢固。比喻大家团结一致，就能克服困难。出自《国语·周语下》：“众心成城，众口铄金。”
例 句
这就是团结一心、众志成城，不怕困难、顽强拼搏，坚韧不拔、敢于胜利的伟大抗洪精神。
【例题】面对民族存亡的空前危机，中国人民的爱国热情像火山一样迸发出来。全体中华儿女 、共御外侮，为民族而战，为祖国而战，为尊严而战，汇聚起气势磅礴的力量。在这一壮阔进程中，中国人民向世界展示了视死如归、 的民族气节，百折不挠、 的必胜信念，铸就了伟大的抗战精神。
依次填入划横线部分最恰当的一项是：
A.团结一心见义勇为勇往直前
B.众志成城宁死不屈坚韧不拔
C.风雨同舟英勇无畏能屈能伸
D.同舟共济宁折不弯意志坚定
点击空白处查看答案
B
第一空，横线处与“共御外侮”构成同义并列，要体现团结一心，共同抵御外敌之意。四个选项均可，保留。
第二空，横线处与“视死如归”构成同义并列，要体现不怕牺牲之意，B项“宁死不屈”指宁愿死也不屈服，C项“英勇无畏”指十分勇敢、无所畏惧，D项“宁折不弯”指宁可死也绝不屈服妥协，均能体现不怕牺牲，保留。A项“见义勇为”指看到合乎正义的事就勇敢地去做，不能体现不怕牺牲之意，排除。
第三空，横线处与“百折不挠”构成同义并列，要体现无论受到多少挫折都不退缩、意志坚强之意，B项“坚韧不拔”形容不可动摇，坚强不屈，当选。C项“能屈能伸”指人能适应各种境遇，在失意时能忍耐，在得志时能施展抱负，语意不符，排除；D项“意志坚定”本意就已经包含信念坚定之意，不能再用来形容信念，语意重复，排除。
故正确答案为B。
【文段出处】《深刻把握抗战精神的丰富内涵》
相辅相成
xiāngfǔxiāngchéng
意思是指两件事物互相配合，互相补充，缺一不可。出自《历书眼序》：“诹日者与推命者必相辅而行，而后两者之说始得无蔽”。
例 句
学习和复习，是用以掌握知识和巩固知识的两个方面，相辅相成，缺一不可。
【例题】“国家兴则麋鹿兴”，研究专家指出，麋鹿是我国独有的特殊物种，传奇色彩浓厚，它们曾在中国自由自在生活，在清末乱世中________，新中国成立后幸运回归，它的经历体现了中华民族复兴与中国生态保护工作________、互促共荣的特点。
依次填入画横线部分最恰当的一项是：
A.流离 相辅相成
B.消亡 荣辱与共
C.消逝 风雨同舟
D.流浪 血脉相连
点击空白处查看答案
A
本题可从第二空入手，横线处所填词语与“互促共荣”意思相近，指两件事互相促进。A项“相辅相成”指两件事物互相配合，互相补充，缺一不可，符合文意，保留；B项“荣辱与共”指光荣与耻辱共同分享与承担，文段介绍麋鹿在新中国成立后幸运回归，没有体现出“耻辱”，排除；C项“风雨同舟”比喻共同经历患难，文段没有体现出“中华民族复兴与中国生态保护工作”共同患难，排除；D项“血脉相连”比喻关系非常密切，不可分离，侧重不能分离，而非互相促进，排除。锁定A项。
第一空代入验证，A项“流离”指离散、流落，符合文意，当选。
故正确答案为A。
【文段出处】《洞庭深处的“麋鹿奶爸”》
周一至周五，每天一个常识（7:30）
周六和周日，每天两个成语（7:30）
相辅相成的意思是什么，出处是哪里？
xiāng fǔ xiāng chéng
成语释义 相：互相；辅：帮助；成：促成。指两件事物互相配合；互相辅助；缺一不可。
成语出处 明·张岱《历书眼序》：“诹日者与推命者必相辅而行；而后二者之说始得无蔽。”
感情色彩 中性
成语结构 联合式成语
成语用法 联合式；作谓语、定语；指事物相互依存
产生年代 近代成语
近义词 相得益彰,相反相成
成语例句
学习和复习，是用以掌握知识和巩固知识的两个方面，相辅相成，缺一不可。
相辅相成与相得益彰意思？
相辅相成，意思是相互补充，相互促成。这个成语一般用在具有不同能力的人、不同的事物放在一起时，各自发挥各自的长处和作用，使整个事物丰富完整。
相得益彰，也写作“相得益章”，指互相配合、补充，更能发挥作用。这个成语一般用在两种或几种有益的事物在一起，使事物更加完美。
相辅相成的意思
互相帮助
相辅相成还是承？
相辅相成。
相辅相成，汉语成语，拼音是xiāngfǔxiāngchéng，意思是指两件事物互相配合，互相补充，缺一不可。
成语出处
明·张岱《历书眼序》：“诹日者与推命者必相辅而行，而后两者之说始得无蔽”。
白话释义
明·张岱《历书眼序》：“讯日前与算命的人必定相辅相成地进行，然后两人的说法才得以无蔽”。
扩展资料：
近义词
相得益彰，汉语成语，拼音是xiāngdéyìzhāng，意思是指两个人或两件事物互相配合，双方的能力和作用更能显示出来。
成语出处
《史记·伯夷列传》：“伯夷、叔齐虽贤，得夫子而名益彰。”
白话释义
《史记·伯夷列传》：“伯夷、叔齐虽然贤明，得到老师而名声更加显著。”
相辅相成的释义及造句
相辅相成拼音：[xiāngfǔxiāngchéng]基本解释：指两件事物互相补充，互相配合，缺一不可。造句：1、自由和必要的限制是相辅相成的；别人的限制多了，我们受的就少了，因此也就更自由了。韦伯斯特2、心理工作与思想政治工作是鸟之双翼，车之双轮，二者相辅相成，缺一不可。3、这两个环节相辅相成，缺一不可。4、经济的繁荣与政治的稳定相辅相成。5、习惯与人格的关系是相辅相成的。习惯影响人格，人格更会影响习惯。也许可以说，年龄越小，习惯对人格的影响越大；年龄越大，人格对习惯的影响越大。6、你消灭的每一种缺点都存在着与它对应的长处，两者相辅相成，生死与共。阿纳托尔·法朗士7、学与问是相辅相成的，只有在学中问，在问中学，才能求得真知。8、家庭关系建立在婚姻之上，婚姻则植根于两性间天然的相辅相成或互相联系之上。9、这两个目的是可以相辅相成，相得益彰的。10、疏导和堵塞是相辅相成的两个方面，缺一不可，走惯正大光明道路的人对阴暗潮湿的路是不感兴趣的。11、家庭阅读活动、访书会与图书馆三者环环相扣，相辅相成，共创知书达礼的书香社会。12、丰富的知识和健康的身体是事业成功的基础,二者相辅相成,缺一不可,都要受到足够的重视。13、其实读书与生活并不矛盾,是相辅相成的。14、微笑与牙齿是相辅相成的。没有漂亮的牙齿你就不好意思露出牙齿笑，不笑就不能让阳光亲吻你的牙齿。全国爱牙日，保护牙齿，天天微笑！15、何怀硕的美学理论与他的画二者相辅相成，互相提升。在这两方面，他都采取超然独立的姿态。16、这三人相辅相成，谁也不能少掉谁。17、工作与娱乐并不互相冲突，事实上，它们之间地关系还相辅相成。18、新旧观念可以相辅相成。19、两种补偿方式相辅相成，互为补充，共同贯穿于运动训练的整个过程。20、现在的人们认为只要是不吃肉就是在持斋了，岂不知古人持斋是和守戒连在一起的，两者相辅相成，缺一不可。详细解释：1.【解释】：辅：辅助。指两件事物互相配合，互相辅助，缺一不可。2.【示例】：学习和复习，是用以掌握知识和巩固知识的两个方面，相辅相成，缺一不可。近义词：相得益彰毛将焉附毛将安傅珠联璧合相反相成反义词：蚌鹬相持鹬蚌相争,渔翁得利鹬蚌相争渔翁得利
相辅相成辅的意思相辅相成辅的解释
1、相辅相成的辅释义：帮助，佐助。相辅相成，汉语成语，拼音是xiāngfǔxiāngchéng，意思是指两件事物互相配合，互相补充，缺一不可。2、成语出处：明·张岱《历书眼序》：“诹日者与推命者必相辅而行，而后两者之说始得无蔽”。
相辅相成的意思
相辅相成[xiāngfǔxiāngchéng]1.【解释】：辅：辅助。指两件事物互相配合，互相辅助，缺一不可。2.【示例】：学习和复习，是用以掌握知识和巩固知识的两个方面，相辅相成，缺一不可。
相辅相成的知识图谱与预训练语言模型
复旦大学数据智能与社会计算实验室LabofDataIntelligenceandSocialComputing(DISC)
每天给你送来NLP技术干货！
来自：复旦DISC
作者：石霭青
引言
随着预训练技术与硬件的不断发展，预训练语言模型已经成为自然语言处理领域较为成熟且不可或缺的一环，但由于预训练模型架构本身往往不具备获取常识、实体知识的能力，在一些基于知识的任务（例如涉及逻辑推理或认知）上力有不逮。而知识图谱提供了对知识的显式建模，因此可以提供丰富的结构化知识和常识来帮助语言理解、强化语言模型的表示能力，同时，基于大规模语料训练的语言模型也能够帮助强化知识图谱的表示。因此近年来，将知识图谱与预训练语言模型相结合已经成为一个非常活跃的研究领域。
本次分享将介绍三篇相关论文，分别关于基于知识图谱的语言模型训练、基于预训练语言模型的知识图谱构建、预训练语言模型与知识图谱表示的联合训练。
文章概览
论文地址：https://aclanthology.org/D19-1005/
这篇文章提出了一种高效且通用的方法（KnowBERT），采用知识注意和语境重构（KAR）机制，将多个知识库（KBs）嵌入到大规模的语言模型中，从而用结构化的、由人类产生的先验知识来增强其表示。
论文地址：https://arxiv.org/abs/2010.11967
这篇文章提出了一种使用预训练的语言模型(如BERT,GPT-2)自动生成知识图谱的方法，通过一种两阶段无监督的方法从预训练语言模型中自动生成知识图谱，只需要一次前向过程，并且不需要微调语言模型。
论文地址：https://arxiv.org/abs/2010.00309
这篇文章提出了语境化语言和知识嵌入（CoLAKE），通过扩展的MLM目标共同学习语言和知识的语境化表示。CoLAKE作为一种新的方法，不是只注入实体嵌入，而是从大规模知识库中提取实体的知识背景；文章还设计了一种新的数据结构word-knowledge图，来处理知识背景和语言背景的异质性，将它们整合到统一的空间中。CoLAKE通过改进的TransformerEncoder对大规模WK图进行预训练，从而得到语言模型与知识图谱实体嵌入。
论文细节
1
KnowBert使用知识注意和重构语境（KAR）机制将知识库纳入BERT中。采用的训练方式是多任务联合的端到端训练。
论文中使用的语言模型是Bert，但方法是通用的，可以应用于任何深度预训练语言模型，包括从左到右或从右到左的语言模型，如ELMo和GPT。对于知识库，KnowBERT采用的是一个很宽泛的定义，也就是一组固定的K个实体节点的集合，并且从中可以计算出每个实体的嵌入。这个定义里包含了典型的关系三元组图结构的知识图谱、只包含实体元数据而没有图的知识库、以及结合了两者的知识库。
此外，KnowBERT假设知识库都伴随有一个实体候选选择器，将文本作为输入，可以返回一个由C个潜在的实体链接组成的列表，每个链接由潜在的mentionspan和知识库中M个对应候选实体的起始和结束索引组成。在这项工作中，实体候选选择器是固定的，但是它们的输出被传递给一个可依赖上下文进行学习的实体链接器，以消除候选mentions的歧义。
1.知识注意力与语境重构机制（KAR机制）
KAR机制（TheKnowledgeAttentionandRecontextualizationcomponent）是KnowBert的核心。这个组件可以被插入到预训练语言模型的任意两层之间，比如接受Bert某一层输出的表示作为输入，KAR组件的输出可以作为Bert下一层的输入。然后Bert的剩余部分都照常运行。
KAR的关键组成部分有四个：mention-span表示、实体链接器、知识增强的entity-span表示、语境重构。
(1) Mention-span表示
知识库的实体候选选择器提供了一个候选mentions的列表，列表大小为C，用来计算mention-span的表示。
语言模型的某一层输出首先被线性投射到实体嵌入的维度。
然后使用self-attentivespanpooling的方式对一个mention-span里的所有token进行pooling，计算出C个mention-span的表示，并堆叠成一个矩阵。
(2)实体链接器
实体链接器负责为前面的每个mention从它的候选entity中进行实体消歧。它首先对mention-span表示计算自注意力,这使得KnowBert能够将全局信息纳入每个链接决策中,从而能够利用例如实体共现之类的信息，解决重叠mention中到底哪一个应该被链接的问题。
每个候选span都有一个相关的mention-span向量，且其每个候选实体会有一个来自知识库的实体嵌入，此外还有先验概率。使用mention-span向量与实体嵌入的点乘与先验拼接，根据两层MLP来计算对于span而言每个候选实体的分数。
如果实体链接是有监督的，还可以用golden实体来计算链接损失，损失的确切形式取决于知识库，在文章中同时使用了这两种损失函数。
(3)知识增强的entity-span表示
知识增强的entity-span表示负责将知识库的实体信息注入到前面由Bert向量计算的mention-span表示中，形成entity-span表示。
对于一个给定的span，首先过滤所有得分低于固定阈值的候选实体，并对剩余的得分进行softmax标准化。
用这些实体的得分以及它们在知识库中计算的实体嵌入计算加权的实体嵌入，最后，用加权的实体嵌入来更新entity-span表示。
(4)语境重构
用加权实体嵌入更新entity-span表征后，KnowBert用它们来重构单词表示。基于一个修改的Transformer层，用上一层输出的词表示投影和知识增强的entity-span嵌入之间的多头注意力取代了多头自注意力，具体来说就是将词表示的投影作为query，知识增强的entity-span嵌入作为key和value。从而使得每个词都能注意到上下文中的所有entity-spans，进而在文本中传播实体信息。
最后将这个重建后的表示矩阵线性投射回Bert的维度，并添加一个残差连接。
对于可用的预训练Bert和知识库及其实体候选选择器，加入知识库时，先对实体嵌入进行预训练，然后在所有后续训练以及微调中冻结它们，如果实体链接是有监督的，再用链接损失对链接器进行训练。最后通过BERT和EL的多任务设置进行训练。当有多个知识库可用时，它们在网络中是从下往上添加的，从而试图最大限度地减少对网络的干扰。训练伪代码如下。
实验
文章用不同知识库训练了三个模型，KnowBert-Wiki,KnowBert-WordNet,以及同时用到wiki和wordnet的模型KnowBert-W+W，并对他们与原始Bertbase、Bertlarge进行了评估对比。
可以看到，所有的KnowBert模型的困惑度都优于Bertlarge，尽管它们是基于Bertbase进行训练的。用MRR评估Factualrecall的能力，可见它们都优于原始的bert模型。并且KnowBert几乎和Bertbase一样快。
对于下游任务，在关系抽取中，KnowBert-W+W明显优于包括ERNIE在内的同类Bertbase系统，比Bertlarge也提高了1.4%。在wordincontext任务中，KnowBert-W+W比Bertlarge提高了1.4%。在entitytyping中，KnowBert-W+W的F1比ERNIE提高0.6%，比Bertbase提高2.5%。
2
这篇文章动机主要来源于目前的知识图谱的构建对人力要求很高，成本昂贵；而最近的深度语言模型通过预训练从大规模语料库中自动获取知识，储存的知识使语言模型能够改善下游的NLP任务。因此文章认为可以利用预训练语言模型来自动生成知识图谱。
文章提出了一种两阶段无监督的方法从预训练语言模型中自动生成知识图谱，只需要一次前向过程，并且不需要微调语言模型。这个方法包含match和map两个阶段，简称为MAMA。并最终生成了一个新型的开放式知识图谱。
文章的MAMA方法包括match和map两个阶段。
Match从语料库中生成一组候选事实。预训练模型包含从大规模语料库中学习到的全局知识，这些知识通常与目标语料库中的知识不完全匹配。这一阶段的目标是将存储在预训练语言模型中的知识与语料库中的事实相匹配。每个事实都被表示为一个三元组（head,relation,tail），并将这些事实传递给Map阶段。
Map使用Match阶段匹配的候选事实产生一个开放的KG。构建的开放的KG有两部分，一是在固定的KG模式中的映射候选事实，二是在开放模式中的非映射候选事实。
Match阶段本质上是一个搜索问题，搜索文本中具有最高匹配度的候选事实。匹配度是从预训练语言模型的注意力权重矩阵中搜索得到的，注意力权重矩阵是预训练语言模型中知识的容器。
论文设计了一个简单的beamsearch来寻找最佳匹配的候选事实。beamsearch搜索的是一个头尾对的相应关系。给定一个头尾对（Dylan,songwriter），beamsearch从head词汇开始，不断添加与当前词汇具有最大注意力分数的词，直到到达tail词汇。而头尾对是通过识别输入文本中的所有名词组合形成的。因为有些事实的head和tail位置在句子中反序，所以beamsearch会双向运行两次。
而通过搜索获得的三元组可能不是合适的关系三元组，因此作者设置了一些过滤三元组的条件，包括：只保留注意力权重之和超过阈值的三元组，保证提取的三元组对实体有特殊意义；提取出来的关系必须在整个语料库中出现足够多的次数，防止出现过于细节和冷门的关系；关系序列必须是句子中出现的连续token，防止提取出没有意义的关系。
2. Map
Map阶段的目标是生成一个开放的KG。开放的KG包含现有KG中的映射事实以及开放模式中的非映射事实。
模型首先试图将一个候选事实三元组映射到现有KG模式中的一个事实。对于headtail实体，利用一个基于mention-to-entity字典的无监督实体链接器来将实体链接到知识图谱，使用上下文的词嵌入来消除实体的歧义。对于关系，利用关系映射的方法，在候选事实和知识图谱事实之间，链接的头尾对越频繁地共同出现，相应的关系就越可能被映射。
对于上一步未被映射到现有知识图谱形式的事实，分为部分未映射的事实和完全未映射的事实，也将它们保存在知识图谱中，作为半开放或开放形式的知识事实。这样的操作提高了知识图谱的覆盖率，最后产生了一个开放的知识图谱。
下图是MAMA使用BERTLARGE从与“BobDylan”相关的维基百科页面中生成的开放式KG的快照子图。蓝色节点和箭头代表维基数据模式中的映射事实，而黄色节点和箭头则表示开放模式中未映射的事实。
为了衡量语言模型在生成知识图谱方面的能力，文章直接测量所产生的开放式知识图谱的质量。
对于映射到现有知识图谱模式的事实，将它们与相应知识图谱中的事实直接进行比较。使用的知识图谱有TACKBP和wikidata两种。
可见在这两个知识图谱上，文章提出的方法在利用Bert或GPT时全都明显超越了baseline方法，且较深的LM产生质量较高的KG。
对于未映射的事实，从Wikidata和TACKBP的100个抽样文件中分别对生成的未映射事实进行人工判断，发现维基数据中35.3%的未映射事实是真实的，其中83.2%的真实事实是部分未映射事实，且维基数据中45.5%的不真实的未映射事实是由于spaCy检测到的不正确的实体造成的。在TACKBP上也有类似趋势。
3
这篇文章提出了语境化语言和知识嵌入（CoLAKE），它通过扩展的MLM目标同时学习语言和知识的语境化表示。
其动机主要来自以下几点：预训练语言模型难以捕捉事实性知识、之前的结合知识图谱的语言模型使用的实体嵌入是单独用一些知识嵌入模型（如TransE）预先训练的，并在训练语言模型时固定下来，不是真正的联合模型，不能同时学习知识嵌入和语言嵌入；而且，只采取实体嵌入来增强预训练语言模型导致很难完全捕捉到知识图谱中实体丰富的上下文信息；此外，预训练的实体嵌入是静态的，当知识图谱发生轻微变化时，例如增加了一个新的实体，就需要重新训练，拓展性很差。这些因素限制了以往的结合知识图谱的语言模型表现。
因此，CoLAKE作为一种新的方法，不是只注入实体嵌入，而是从大规模知识库中提取实体的知识背景；文章还设计了一种新的数据结构word-knowledge图，来处理知识背景和语言背景的异质性，将它们整合到统一的空间中。CoLAKE通过改进的TransformerEncoder对大规模WK图进行预训练，从而得到语言模型与知识图谱实体嵌入。
对于每个实体，CoLAKE将其在知识图谱周围的子图视为其知识背景，知识背景中包含关于该实体的事实（也就是关系三元组）。通过这种方式，CoLAKE可以动态地访问不同的事实作为背景知识来帮助理解当前的文本。
如上图（a）部分所示，为了理解不同的句子，CoLAKE可以利用关于链接实体HarryPotter的不同事实。哈利-波特的知识背景是一个包含了与它有关的三元组的子图。通过实体的上下文，CoLAKE能够直接访问（HarryPotter,enemyof,LordVoldemort）以帮助理解这里的句子（1），并访问（HarryPotter,mother,LilyPoter）以帮助理解句子（2）。
而为了处理语言和知识的异质结构，文章建立了一个图，将它们整合到一个统一的数据结构中，称为词-知识图（wk图）。受到Transformer自注意力机制的启发，wk图也将文本中所有单词视为全连接的词图，但是wk是知识增强的词图，利用句子中提到的实体，从知识图谱中提取以这些提到的实体为中心的子图，然后将这些子图和词图放在一个统一的异质图中，就得到WK图。一个wk图的示例如图（b）部分所示,内部虚线圈表示全连接的词图,外部虚线圈表示从大型知识图谱中提取的知识子图。
模型架构采用的是稍作修改的Transformerencoder，训练目标是扩展的MLM目标。
1.建立WK图
构建WK图的核心是将词图和知识子图整合到统一的WK图中。首先将一个句子标记为一连串的tokens，并将它们全连接为一个词图。然后识别句子中的mention，并使用一个实体链接器来找到mention在某个KG中的相应实体。然后，mention节点被其链接的实体取代，这些节点被称为anchornodes。通过这种替换，试图鼓励模型在向量空间中把注入的实体和mention的表示相互靠近。以anchor节点为中心，可以从知识图谱提取它们的知识背景，也就是与他们有关的关系三元组，来形成子图，其中的关系也被转化为图节点。然后将提取的知识子图和词图用anchor节点串联起来，就得到WK图。
2.模型架构
构建的WK图被送入Transformerencoder，文章中修改了Transformer的嵌入层和编码层，以适应WK图的形式的输入。
对于嵌入层，输入的嵌入是token嵌入、type嵌入和位置嵌入的总和。对于单词，token嵌入来自RoBERTa，对于实体和关系，token嵌入是学习得来的。使用type嵌入来表示节点类型，即词、实体和关系。对于位置嵌入，给每个注入的实体和关系分配一个软位置索引，允许重复的位置索引，并保持同一三元组中的token连续。
上图中是一个CoLAKE架构及其输入的示例，在这种情况下，三个三元组，（哈利-波特，母亲，莉莉-波特），（哈利-波特，配偶，金妮-韦斯莱），和（哈利-波特，敌人，伏地魔）被注入到原始序列。该模型被要求预测被mask的单词魔杖、被mask的实体莉莉-波特和被mask的关系敌人。
此外使用masked多头自注意力来控制信息流，以反映WK图的结构。具体而言，就是在wk图中没有1跳关联的两个节点之间的注意力分数应当被mask。
3.预训练目标
文章将MLM目标从单词序列扩展到WK图，对wk图中的所有节点进行随机mask并预测。通过使得不同类型的节点被屏蔽，鼓励CoLAKE学习不同方面的能力：
屏蔽单词节点时，有助于CoLAKE学习语言学知识；
屏蔽实体节点有助于CoLAKE将单词和实体映射到一个共同的表示空间，以及为实体学习上下文表示；
屏蔽关系节点有助于CoLAKE学习做关系提取，和学习关系的上下文表示。
在模型训练方面，由于将Softmax函数应用于数量庞大的实体是非常耗时的，采用了负采样对每个实体进行预测，而不是对知识图谱中的所有n个实体进行预测。
文章对两个知识驱动的任务进行了实验：实体分类和关系抽取。实体分类的任务是根据实体和上下文，对给定实体的语义类型进行分类。关系抽取是对给定句子中提到的两个实体之间的关系进行分类。
可以看到CoLAKE在大部分指标上都报告了最先进的结果。
在KnowledgeProbing任务中，CoLAKE在Lama上进行了评估，可见CoLAKE比它的基线RoBERTaBASE要好得多。
CoLAKE还在一系列NLU任务上进行了实验，因为NLU任务几乎不需要事实知识，所以这么做的目的是探索CoLAKE是否会降低这些NLU任务的性能。实验结果显示。CoLAKE与RoBERTa相比略有下降，但比KEPLER平均提高了1.4%。
实验表明，CoLAKE极大地提高了知识需求任务的性能，同时在语言理解任务上也取得了相当的结果。
此外，文章也构建了一个新任务，WK图补全任务，将几个经典的KE模型作为基线，CoLAKE的效果明显好于其他模型。文章认为是因为CoLAKE能够同时利用结构知识和丰富的文本语义，而传统的KE模型只能处理结构知识。
总结
本次分享我们介绍了三篇将知识图谱与预训练语言模型相结合的论文，分别从三个角度展示了知识图谱与预训练语言模型之间相辅相成的关系：基于知识图谱增强预训练语言模型的表示、基于预训练语言模型增强知识图谱、将知识图谱与语言模型联合训练。
[1] PetersME,NeumannM,LoganIVRL,etal.Knowledgeenhancedcontextualwordrepresentations[J].arXivpreprintarXiv:1909.04164,2019.
[2] WangC,LiuX,Song D.Languagemodelsareopenknowledgegraphs[J].arXivpreprintarXiv:2010.11967,2020.
[3] SunT,ShaoY,QiuX,etal.Colake:Contextualizedlanguageandknowledgeembedding[J].arXivpreprintarXiv:2010.00309,2020.
最近文章
EMNLP2022和COLING2022，投哪个会议比较好？
一种全新易用的基于Word-Word关系的NER统一模型，刷新了14种数据集并达到新SoTA
阿里+北大|在梯度上做简单mask竟有如此的神奇效果
投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。
方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。
记得备注呦
整理不易，还望给个在看！