Deprecated: Function get_magic_quotes_gpc() is deprecated in /www/wwwroot/www.tbfood.net/inc/func.php on line 1610
利来资源网|APP官网下载_利来资源网APP下载:Pytorch-Transformers 1.0 发布,支持六个预训练框架,含 27 个预训练模型

利来资源网APP下载热线

010-62699622

利来资源网APP下载-新闻中心
利来资源网APP下载:Pytorch-Transformers 1.0 发布,支持六个预训练框架,含 27 个预训练模型
发布时间:2020-06-16 14:24:09   作者:利来资源网APP下载   来源:利来资源网APP下载

利来资源网 AI 科技评论按:方才,正在 Github 上公布了谢源 Pytorch-Transformers 1.0,该名目撑持 BERT,利来国际w66平台 GPT, GPT-2, Transfo-XL, XLNet, XLM 等,并包罗 27 个预训练模子。

咱们去看。

哪些撑持

PyTorch-Transformers(此前鸣作pytorch-pretrained-bert)是里背做作言语解决,以后机能最下的预训练模子谢源库。

该谢源库如今包罗了 PyTorch 真现、预训练模子权重、运转剧本战如下模子的转换东西:

一、google的 BERT,论文:“BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding”,论文做者:Jacob Devlin, Ming-Wei Chang, Kenton Lee ,Kristina Toutanova

二、OpenAI 的GPT,论文:“ Improving Language Understanding by Generative Pre-Training”,论文做者:Alec Radford, Karthik Narasimhan, Tim Salimans , Ilya Sutskever

三、OpenAI 的 GPT-2,论文:“ Language Models are Unsupervised Multitask Learners”,论文做者:Alec Radford, Jeffrey Wu, Rewon Child, David Luan, Dario Amodei,Ilya Sutskever

四、google战 CMU 的 Transformer-XL ,论文:“ Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context”,论文做者:Zihang Dai*, Zhilin Yang*, Yiming Yang, Jaime Carbonell, Quoc V. Le, Ruslan Salakhutdinov利来w66是什么公司.

五、google战 CMU 的XLNet,论文:“XLNet: Generalized Autoregressive Pretraining for Language Understanding”,论文做者:Zhilin Yang*, Zihang Dai*, Yiming Yang, Jaime Carbonell, Ruslan Salakhutdinov, Quoc V. Le

六、Facebook的 XLM,论文:“ Cross-lingual Language Model Pretraining”,论文做者:Guillaume Lample,Alexis Conneau

那些真现皆正在几个数据散(拜见示例剧本)长进止了测试,机能取本初真现至关,例如 BERT外文齐词笼盖正在 SQuAD数据散上的F1分数为93 , OpenAI GPT 正在 RocStories上的F1分数为88, Transformer-XL正在 WikiText 103 上的困惑度为18.3, XLNet正在STS-B的皮我逊相闭系数为0.916。

27个预训练模子

名目外提求了27个预训练模子,上面是那些模子的完备列表,以及每一个模子的简欠引见。

Pytorch-Transformers 1.0 发布,支持六个预训练框架,含 27 个预训练模型

Pytorch-Transformers 1.0 发布,支持六个预训练框架,含 27 个预训练模型

例子

BERT-base战BERT-large别离是110M战340M参数模子,而且很易正在双个GPU上利用保举的批质巨细对其停止微调,去取得精良的机能(正在年夜大都环境高批质巨细为32)。为了帮忙微调那些模子,咱们提求了几种能够正在微调剧本外激活的手艺 run_bert_classifier.py 战 run_bert_squad.py:梯度乏积(gradient-accumulation),多GPU训练(multi-gpu training),分布式训练(distributed training )战16- bits 训练( 16-bits training)。留神,那面要利用分布式训练战16- bits 训练,您需求装置NVIDIA的apex扩铺。做者正在doc外展现了几个基于BERT本初真现(https://github.com/谷歌-research/bert/)战扩铺的微调示例,别离为:

九个差别GLUE使命的序列级分类器;

答问散数据散SQUAD上的令牌级分类器;

SWAG分类语料库外的序列级多选分类器;

另外一个目的语料库上的BERT言语模子。

咱们那面仅展现GLUE的成果:

Pytorch-Transformers 1.0 发布,支持六个预训练框架,含 27 个预训练模型

那面是利用uncased BERT根底模子正在GLUE基准测试谢领散上失到的成果。一切真验均正在批质巨细为32的P100 GPU上运转。只管比力本初,但成果看起去借没有错。

装置

该名目是正在Python 2.7战3.5+上测试(例子只正在python 3.5+上测试)战PyTorch 0.4.1到1.1.0测试

pip 装置:

pip install pytorch-transformers

测试:

python -m pytest -sv ./pytorch_transformers/tests/

python -m pytest -sv ./examples/

传送门:

源码:https://github.com/huggingface/pytorch-transformers文档:https://huggingface.co/pytorch-transformers/index.html

延长浏览

[深度]周亮:做作言语解决的将来之路,https://www.leiphone.com/news/201907/djMxwOkOO5u4sf6O.html

多图带您读懂 Transformers 的工做本理,https://www.leiphone.com/news/201903/ELyRKiBJOx8agF1Q.html

逾越 BERT 战 GPT,微硬亚洲钻研院谢源新模子 MASS!https://www.leiphone.com/news/201906/21E6GehD0d9SHC2Q.html

一个绝写故事到达人类程度的AI,OpenAI年w66利来国际夜规模无监视言语模子GPT-2, https://www.leiphone.com/news/201902/wuK3G9qDcrf5dX0r.html    利来资源网(公家号:利来资源网)利来资源网

利来资源网本创文章,已经受权禁行转载。详情睹转载须知。

Pytorch-Transformers 1.0 发布,支持六个预训练框架,含 27 个预训练模型


利来资源网,利来资源网APP,利来资源网APP下载