Flash Attention

Flash Attention — способ организовать вычисления внимания так, чтобы перемещать меньше данных в памяти.