解决flash-attn安装报错的问题

一、适用问题类型

直接pip安装flash-attn会出现各种各样的报错。

二、解决办法

！注意安装flash-attn之前需要先安装pytorch和CUDA！

然后进行下面步骤：

1.查看版本

需要查看的有：

pytorch

python -c "import torch; print(torch.__version__)"

CUDA

nvcc --version

python

python3 --version

2.选择对应包

到这个网站页面选择和你的pytorch、CUDA、python对应的flash-attn:

https://github.com/Dao-AILab/flash-attention/releases

注意选择abiFALSE的那种包，另一种也会出现错误。例如，CUDA版本12.1，pytorch版本2.7.1，python版本3.11.13，那么选择的包就是flash_attn-2.8.0.post2+cu12torch2.7cxx11abiFALSE-cp311-cp311-linux_x86_64.whl。然后执行下面命令：

wget https://github.com/Dao-AILab/flash-attention/releases/tag/v2.8.0.post2/flash_attn-2.8.0.post2+cu12torch2.7cxx11abiFALSE-cp311-cp311-linux_x86_64.whl

3.安装

最后一步直接pip安装即可

pip3 flash_attn-2.8.0.post2+cu12torch2.7cxx11abiFALSE-cp311-cp311-linux_x86_64.whl