xformers

xFormers（えっくすふぉーまーず）とは、Transformerの研究を加速させるためのツールボックス（ツール集）、ようするに小難しいTransformerを簡単かつ便利に利用できるようにするライブラリです。

つい最近までCUDA専用でしたが、いつの間にかCUDA以外でも使えるようになったようです。 なお、CUDA以外でまともに動くかは知りません。