Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

update flashmask doc #6748

Open
wants to merge 13 commits into
base: develop
Choose a base branch
from
Open

Conversation

kircle888
Copy link

No description provided.

Copy link

paddle-bot bot commented Jul 4, 2024

感谢你贡献飞桨文档,文档预览构建中,Docs-New 跑完后即可预览,预览链接:http://preview-pr-6748.paddle-docs-preview.paddlepaddle.org.cn/documentation/docs/zh/api/index_cn.html
预览工具的更多说明,请参考:飞桨文档预览工具

Comment on lines 27 to 38
- **startend_row_indices** (Tensor)
- 稀疏掩码索引,shape 为 [batch_size, num_heads, seq_len, {1, 2, 4}],数据类型为 int32。
num_heads 为 1 或与 k 的 num_heads 相同,num_heads 取 1 时将被广播到与 k 的 num_heads 相同。
根据 causal 参数的取值不同,startend_row_indices 可取不同形状并具有不同含义。
- 当 `causal=True` 且 shape 取 [batch_size, num_heads, seq_len, 1] 时,
startend_row_indices 的值 r 表示 Score 矩阵中左下三角从第 r 行下方(包括)的元素将被 mask
- 当 `causal=True` 且 shape 取 [batch_size, num_heads, seq_len, 2] 时,
startend_row_indices 的值 r1,r2 表示 Score 矩阵中左下三角从第 r1 行下方(包括)但在第 r2 行上方(不包括)的元素将被 mask
- 当 `causal=False` 且 shape 取 [batch_size, num_heads, seq_len, 2] 时,
startend_row_indices 的值 r1,r2 表示 Score 矩阵中左下三角从第 r1 行下方(包括)的元素将被 mask,右上三角从第 r2 行上方(不包括)的元素将被 mask
- 当 `causal=False` 且 shape 取 [batch_size, num_heads, seq_len, 4] 时 (尚未支持),
startend_row_indices 的值 r1,r2,r3,r4 表示 Score 矩阵中左下三角从第 r1 行下方(包括)但在第 r2 行上方(不包括)的元素将被 mask,右上三角从第 r3 行下方(包括)但在第 r4 行上方(不包括)的元素将被 mask
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

Suggested change
- **startend_row_indices** (Tensor)
- 稀疏掩码索引,shape 为 [batch_size, num_heads, seq_len, {1, 2, 4}],数据类型为 int32。
num_heads 为 1 或与 k 的 num_heads 相同,num_heads 取 1 时将被广播到与 k 的 num_heads 相同。
根据 causal 参数的取值不同,startend_row_indices 可取不同形状并具有不同含义。
- 当 `causal=True` 且 shape 取 [batch_size, num_heads, seq_len, 1] 时,
startend_row_indices 的值 r 表示 Score 矩阵中左下三角从第 r 行下方(包括)的元素将被 mask
- 当 `causal=True` 且 shape 取 [batch_size, num_heads, seq_len, 2] 时,
startend_row_indices 的值 r1,r2 表示 Score 矩阵中左下三角从第 r1 行下方(包括)但在第 r2 行上方(不包括)的元素将被 mask
- 当 `causal=False` 且 shape 取 [batch_size, num_heads, seq_len, 2] 时,
startend_row_indices 的值 r1,r2 表示 Score 矩阵中左下三角从第 r1 行下方(包括)的元素将被 mask,右上三角从第 r2 行上方(不包括)的元素将被 mask
- 当 `causal=False` 且 shape 取 [batch_size, num_heads, seq_len, 4] 时 (尚未支持),
startend_row_indices 的值 r1,r2,r3,r4 表示 Score 矩阵中左下三角从第 r1 行下方(包括)但在第 r2 行上方(不包括)的元素将被 mask,右上三角从第 r3 行下方(包括)但在第 r4 行上方(不包括)的元素将被 mask
- **startend_row_indices** (Tensor)
- 稀疏掩码索引,shape 为 [batch_size, num_heads, seq_len, {1, 2, 4}],数据类型为 int32。
num_heads 为 1 或与 k 的 num_heads 相同,num_heads 取 1 时将被广播到与 k 的 num_heads 相同。
根据 causal 参数的取值不同,startend_row_indices 可取不同形状并具有不同含义。
- 当 `causal=True` 且 shape 取 [batch_size, num_heads, seq_len, 1] 时,
startend_row_indices 的值 r 表示 Score 矩阵中左下三角从第 r 行下方(包括)的元素将被 mask
- 当 `causal=True` 且 shape 取 [batch_size, num_heads, seq_len, 2] 时,
startend_row_indices 的值 r1,r2 表示 Score 矩阵中左下三角从第 r1 行下方(包括)但在第 r2 行上方(不包括)的元素将被 mask
- 当 `causal=False` 且 shape 取 [batch_size, num_heads, seq_len, 2] 时,
startend_row_indices 的值 r1,r2 表示 Score 矩阵中左下三角从第 r1 行下方(包括)的元素将被 mask,右上三角从第 r2 行上方(不包括)的元素将被 mask
- 当 `causal=False` 且 shape 取 [batch_size, num_heads, seq_len, 4] 时 (尚未支持),
startend_row_indices 的值 r1,r2,r3,r4 表示 Score 矩阵中左下三角从第 r1 行下方(包括)但在第 r2 行上方(不包括)的元素将被 mask,右上三角从第 r3 行下方(包括)但在第 r4 行上方(不包括)的元素将被 mask。

Comment on lines 12 to 15
.. image:: ../../../../images/flashmask.jpeg
:width: 1000px
:height: 2000px
:align: center
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

可以参考

.. image:: ./images/pipeline-1.png
:width: 400
:alt: pipeline
:align: center

- **return_softmax_lse** (bool,可选) - 是否返回 softmax_lse 的结果。默认值为 False。
- **return_seed_offset** (bool,可选) - 是否返回 seed_offset 的结果。默认值为 False。
- **fixed_seed_offset** (Tensor,可选) - 固定 Dropout 的 offset seed.
- **rng_name** (str,可选) - 随机数生成器名称
Copy link
Collaborator

Choose a reason for hiding this comment

The reason will be displayed to describe this comment to others. Learn more.

顺便加个默认的说明

@CLAassistant
Copy link

CLA assistant check
Thank you for your submission! We really appreciate it. Like many open source projects, we ask that you sign our Contributor License Agreement before we can accept your contribution.
You have signed the CLA already but the status is still pending? Let us recheck it.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

3 participants