Transformer_Related_Modules

Various models based on transformer to start the road to advancement

待完成

• [✓] transformer翻译模组--dreamgonfly/transformer-pytorch::可训练、推理、评估

• [✓] transformer翻译模组--Reproduce_the_Transformer_model-master项目::可建模评估, 修改后可推理
  

• [   ] transformer预测模组

已完成

• [✓] transformer翻译模组--吕秀才博客系列::详细各部分代码
  
• [✓] transformer翻译模组--External-Attention-pytorch::核心模块代码可正常运行
        pip install -i https://pypi.tuna.tsinghua.edu.cn/simple fightingcv_attention
  
• [×] transformer翻译模组--attention-is-all-you-need-pytorch::版本较陈旧，难以运行
  
• [×] transformer翻译模组--huggingface/transformer::目前发现项目文件运行需要代理
  
• ...
  

Ref.

• dreamgonfly/transformer-pytorch
  
• huggingface/transformers
  
• External-Attention-pytorch
  
• attention-is-all-you-need-pytorch
  
• trax
  
• tensor2tensor（trax前代版本）
  
• Reproduce_the_Transformer_model-master项目
  
• 吕秀才博客系列