從預訓練語言模型看MLM預測任務

為了解決這一問題，本文主要從預訓練語言模型看MLM預測任務、引入prompt_template的MLM預測任務、引入verblize類別映射的Promp...

2022-11-14 標簽：語言模型nlp 3.6k 0

CogBERT：腦認知指導的預訓練語言模型

另一方面，從語言處理的角度來看，認知神經(jīng)科學研究人類大腦中語言處理的生物和認知過程。研究人員專門設計了預訓練的模型來捕捉大腦如何表示語言的意義。之前的工...

2022-11-03 標簽：語言模型數(shù)據(jù)集 1.6k 0

KT利用NVIDIA AI平臺訓練大型語言模型

韓國先進的移動運營商構建包含數(shù)百億個參數(shù)的大型語言模型，并使用 NVIDIA DGX SuperPOD 平臺和 NeMo Megatron 框架訓練該模型。

2022-09-27 標簽：NVIDIAAI語言模型 1.8k 0

針對文本生成任務提出一種基于提示的遷移學習方法

理解是一個復雜且多面的能力，包括對文本詞匯、背景知識、語言結構的理解。因此，我們采用GLUE, SuperGLUE, SQuAD v1.1, SQuAD...

2022-09-23 標簽：語言模型數(shù)據(jù)集遷移學習 1.9k 0

預先訓練的語言模型能像人類一樣聰明地解釋明喻嗎？

明喻主要分為兩類：封閉式明喻(ClosedSimile)，以及開放式明喻(OpenSimile)。如圖2所示，二者區(qū)別在于是否顯式地指明本體、喻體的共同...

2022-09-23 標簽：模型語言模型數(shù)據(jù)集 1.2k 0

NVIDIA NeMo最新語言模型服務幫助開發(fā)者定制大規(guī)模語言模型

NVIDIA NeMo 大型語言模型（LLM）服務幫助開發(fā)者定制大規(guī)模語言模型；NVIDIA BioNeMo 服務幫助研究人員生成和預測分子、蛋白質及 DNA

2022-09-22 標簽：NVIDIAAI語言模型 1.1k 0

一種將知識圖譜與語言模型結合的具體方式分享

知識嵌入（Knowledge Embedding）將知識圖譜中的關系和實體嵌入向量空間進行表示。

2022-09-05 標簽：編碼CLS語言模型 2.2k 0

計算語言學的發(fā)展趨勢、不足與挑戰(zhàn)

NAACL 會議是 ACL 的北美分會，每年舉辦一次，也是 NLP 領域備受關注的頂會之一。NAACL 主要涉及對話、信息抽取、信息檢索、語言生成、機器...

2022-08-18 標簽：神經(jīng)網(wǎng)絡計算語言模型 2.3k 0

如何進行MLM訓練

Bert的MLM是靜態(tài)mask，而在后續(xù)的其他預訓練模型中，這一策略通常被替換成了動態(tài)mask。除此之外還有 whole word mask 的模型，這...

2022-08-13 標簽：模型語言模型mask 3.2k 0

基于對抗自注意力機制的預訓練語言模型

表示輸入的特征，在傳統(tǒng)的對抗訓練中， 通常是 token 序列或者是 token 的 embedding， 表示 ground truth. 對于由 參...

2022-07-08 標簽：自動化語言模型 1.8k 0

匯總在事件抽取方向的相關廠商調研結果

值得關注的是在論元提?。ㄒ爻槿。╇A段，除了CRF外，他們也嘗試了MRC（閱讀理解范式）、Biaffine。其中Biaffine思想來自論文Named ...

2022-07-07 標簽：事件語言模型 1.4k 0

Zero-shot-CoT是multi-task的方法

大規(guī)模預訓練語言模型借助于針對特定任務設計的prompt（無論是few shot還是zero shot），在單步驟的system-1任務上有著出色表現(xiàn)，...

2022-06-15 標簽：自動化語言模型 3.2k 0

一種緩解負采樣偏差的對比學習句表示框架DCLR

近年來，預訓練語言模型在各種 NLP 任務上取得了令人矚目的表現(xiàn)。然而，一些研究發(fā)現(xiàn)，由預訓練模型得出的原始句表示相似度都很高，在向量空間中并不是均勻分...

2022-06-07 標簽：框架語言模型nlp 2.4k 0

一種基于亂序語言模型的預訓練模型-PERT

由于亂序語言模型不使用[MASK]標記，減輕了預訓練任務與微調任務之間的gap，并由于預測空間大小為輸入序列長度，使得計算效率高于掩碼語言模型。PERT...

2022-05-10 標簽：語言模型自然語言處理 2k 0

Multilingual多語言預訓練語言模型的套路

Facebook在Crosslingual language model pretraining（NIPS 2019）一文中提出XLM預訓練多語言模型，...

2022-05-05 標簽：語言模型數(shù)據(jù)集nlp 3.7k 0

基于神經(jīng)轉移模型的論辯挖掘任務

論文提出了一種針對論辯挖掘任務的新方法，該方法通過產(chǎn)生一系列的動作來逐步構建出一個論證圖，從而有效地避免了枚舉操作；此外，該方法還可以在不引入任何新的結...

2022-03-30 標簽：模型語言模型 1.5k 0

谷歌開發(fā)出一個新的語言模型，包含了超過1．6萬億個參數(shù)

開發(fā)人工智能的語言模型，一直是人工智能的重要細分領域。人工智能語言模型應用包括搜索引擎、文字生成、個性化的對話工具以及軟件生成等。 2020年5月，Op...

2021-01-19 標簽：AI人工智能語言模型 2.2k 0

Google科學家設計簡化稀疏架構Switch Transformer，語言模型的參數(shù)量可擴展至 1.6 萬億

剛剛，Google Brain 高級研究科學家 Barret Zoph 發(fā)帖表示，他們設計了一個名叫「Switch Transformer」的簡化稀疏架...

2021-01-13 標簽：Google架構語言模型 3.8k 0