关于 Attention 计算的疑问

[vicety]

1. ComputeQK 时为什么需要 ^1 操作呢（以及为什么稍后的 ComputePV 又没有这么做）？
   const int nn = n ^ 1;
   Ref
2. 为什么 mask_iter 的值是 2 呢？在 K 方向上迭代的循环中应该只有第一轮需要 mask，实测改为 1 也是 ok 的
   int mask_iter = (CTA_Q + CTA_S - 1) / CTA_S + 1;
   Ref
3. 我只看了 sm70 impl884 的部分，ComputePV 使用的是 mma_m8n8k4_row_row，我的理解相对于 row_col 的优势是可以使用 128位 读，那么为什么 ComputeQK 使用的是 row_col 呢？

提前感谢解答

[lvhan028]

@lzhangzz

[vicety]

@lzhangzz
可否抽空解答一下呢，谢谢