NLP/Bert 源码解读

NLP/Bert 源码解读

在上一篇文章中,我用图解详细讲述了 Bert 的组成部分和内部原理。

今天这篇文章,我们来看 Bert 的源码。下面使用的 Bert 源码,来自于 Hugging Face 的 https://huggingface.co/transformers/。这个项目里不仅包含 Bert 模型,还包含了 GPT-2,RoBERTa,XLM,DistilBert,XLNet,T5,CTRL 等模型。你可以点击 model-architectures 来查看所有的模型。

代码实现包括 PyTorch 和 Tensorflow,我这里只讲其中的 PyTorch 的源码。

你可以使用 pip install transformers 来安装 Transformer。


如果你觉得这篇文章对你有帮助,不妨点个赞,让我有更多动力写出好文章。

我的文章会首发在公众号上,欢迎扫码关注我的公众号张贤同学


评论