mlkem/native/aarch64/src/ntt_opt.S

///
/// Copyright (c) 2022 Arm Limited
/// Copyright (c) 2022 Hanno Becker
/// Copyright (c) 2023 Amin Abdulrahman, Matthias Kannwischer
/// Copyright (c) 2024 The mlkem-native project authors
// SPDX-License-Identifier: MIT
///
/// Permission is hereby granted, free of charge, to any person obtaining a copy
/// of this software and associated documentation files (the "Software"), to deal
/// in the Software without restriction, including without limitation the rights
/// to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
/// copies of the Software, and to permit persons to whom the Software is
/// furnished to do so, subject to the following conditions:
///
/// The above copyright notice and this permission notice shall be included in all
/// copies or substantial portions of the Software.
///
/// THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
/// IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
/// FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
/// AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
/// LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
/// OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
/// SOFTWARE.
///

#include "../../../common.h"
#if defined(MLKEM_NATIVE_ARITH_BACKEND_AARCH64_OPT)
/* simpasm: header-end */

// Bounds:
// If C is chosen so that |src| < q * C, then |dst| < q * (0.0508 * C + 1/2)

// See mlken/reduce.c and test/test_bounds.py for more details.
.macro mulmodq dst, src, const, idx0, idx1
        // Signed barrett multiplication using
        // round-to-nearest-even-integer approximation.
        // Following https: // eprint.iacr.org/2021/986.pdf, this
        // is functionally the same as a signed Montgomery multiplication
        // with a suitable constant of absolute value < q.
        sqrdmulh t2.8h,      \src\().8h, \const\().h[\idx1\()]
        mul      \dst\().8h, \src\().8h, \const\().h[\idx0\()]
        mls      \dst\().8h, t2.8h,      consts.h[0]
.endm

.macro mulmod dst, src, const, const_twisted
        sqrdmulh t2.8h,   \src\().8h, \const_twisted\().8h
        mul      \dst\().8h, \src\().8h, \const\().8h
        mls      \dst\().8h, t2.8h,   consts.h[0]
.endm

.macro ct_butterfly a, b, root, idx0, idx1
        mulmodq tmp, \b, \root, \idx0, \idx1
        sub \b\().8h, \a\().8h, tmp.8h
        add \a\().8h, \a\().8h, tmp.8h
.endm

.macro ct_butterfly_v a, b, root, root_twisted
        mulmod tmp, \b, \root, \root_twisted
        sub \b\().8h, \a\().8h, tmp.8h
        add \a\().8h, \a\().8h, tmp.8h
.endm

.macro load_roots_012
        ldr q_root0, [r01234_ptr], #32
        ldr q_root1, [r01234_ptr, #-16]
.endm

.macro load_next_roots_34
        ldr q_root0, [r01234_ptr], #16
.endm

.macro load_next_roots_56
        ldr q_root0,    [r56_ptr], #(6*16)
        ldr q_root0_tw, [r56_ptr, #(-6*16 + 1*16)]
        ldr q_root1,    [r56_ptr, #(-6*16 + 2*16)]
        ldr q_root1_tw, [r56_ptr, #(-6*16 + 3*16)]
        ldr q_root2,    [r56_ptr, #(-6*16 + 4*16)]
        ldr q_root2_tw, [r56_ptr, #(-6*16 + 5*16)]
.endm

.macro transpose4 data
        trn1 t0.4s, \data\()0.4s, \data\()1.4s
        trn2 t1.4s, \data\()0.4s, \data\()1.4s
        trn1 t2.4s, \data\()2.4s, \data\()3.4s
        trn2 t3.4s, \data\()2.4s, \data\()3.4s

        trn2 \data\()2.2d, t0.2d, t2.2d
        trn2 \data\()3.2d, t1.2d, t3.2d
        trn1 \data\()0.2d, t0.2d, t2.2d
        trn1 \data\()1.2d, t1.2d, t3.2d
.endm

.macro save_vregs
        sub sp, sp, #(16*4)
        stp  d8,  d9, [sp, #16*0]
        stp d10, d11, [sp, #16*1]
        stp d12, d13, [sp, #16*2]
        stp d14, d15, [sp, #16*3]
.endm

.macro restore_vregs
        ldp  d8,  d9, [sp, #16*0]
        ldp d10, d11, [sp, #16*1]
        ldp d12, d13, [sp, #16*2]
        ldp d14, d15, [sp, #16*3]
        add sp, sp, #(16*4)
.endm

.macro push_stack
        save_vregs
.endm

.macro pop_stack
        restore_vregs
.endm

        // Arguments
        in         .req x0 // Input/output buffer
        r01234_ptr .req x1 // twiddles for layer 0,1,2,3,4
        r56_ptr    .req x2 // twiddles for layer 5,6

        inp     .req x3
        count   .req x4
        wtmp    .req w5

        data0  .req v8
        data1  .req v9
        data2  .req v10
        data3  .req v11
        data4  .req v12
        data5  .req v13
        data6  .req v14
        data7  .req v15

        q_data0  .req q8
        q_data1  .req q9
        q_data2  .req q10
        q_data3  .req q11
        q_data4  .req q12
        q_data5  .req q13
        q_data6  .req q14
        q_data7  .req q15

        root0    .req v0
        root1    .req v1
        root2    .req v2
        root0_tw .req v4
        root1_tw .req v5
        root2_tw .req v6

        q_root0    .req q0
        q_root1    .req q1
        q_root2    .req q2
        q_root0_tw .req q4
        q_root1_tw .req q5
        q_root2_tw .req q6

        consts    .req v7
        q_consts  .req q7

        tmp .req v24
        t0  .req v25
        t1  .req v26
        t2  .req v27
        t3  .req v28

        .text
        .global MLKEM_ASM_NAMESPACE(ntt_asm_opt)
        .balign 4
MLKEM_ASM_NAMESPACE(ntt_asm_opt):
        push_stack

        mov wtmp, #3329
        mov consts.h[0], wtmp
        mov wtmp, #20159
        mov consts.h[1], wtmp

        mov inp, in
        mov count, #4

        load_roots_012

        .p2align 2

        // Bounds reasoning:
        // - There are 7 layers
        // - When passing from layer N to layer N+1, each layer-N value
        // is modified through the addition/subtraction of a Montgomery
        // product of a twiddle of absolute value < q/2 and a layer-N value.
        // - Recalling that for C such that |a| < C * q and |t|<q/2, we have
        // |fqmul(a,t)| < q * (0.0254*C + 1/2), we see that the coefficients
        // of layer N (starting with layer 0 = input data) are bound by q * f^N(1),
        // where f(C) = 1/2 + 1.0508*C.
        // For N=7, we get the bound of f^7(1) * q < 18295.

        // See test/test_bounds.py for more details.

                                           // Instructions:    10
                                           // Expected cycles: 17
                                           // Expected IPC:    0.59
                                           //
                                           // Cycle bound:     17.0
                                           // IPC bound:       0.59
                                           //
                                           // Wall time:     0.01s
                                           // User time:     0.01s
                                           //
                                           // ----- cycle (expected) ------>
                                           // 0                        25
                                           // |------------------------|----
        ldr q21, [x0, #0]                  // *.............................
        ldr q26, [x0, #64]                 // ..*...........................
        ldr q29, [x0, #128]                // ....*.........................
        ldr q20, [x0, #192]                // ......*.......................
        ldr q23, [x0, #256]                // ........*.....................
        ldr q11, [x0, #448]                // ..........*...................
        mul v2.8H, v23.8H, v0.H[0]         // ............*.................
        ldr q17, [x0, #320]                // .............*................
        mul v15.8H, v11.8H, v0.H[0]        // ...............*..............
        ldr q13, [x0, #384]                // ................*.............

                                            // ------ cycle (expected) ------>
                                            // 0                        25
                                            // |------------------------|-----
        // ldr q21, [x0, #0]                // *..............................
        // ldr q26, [x0, #64]               // ..*............................
        // ldr q29, [x0, #128]              // ....*..........................
        // ldr q20, [x0, #192]              // ......*........................
        // ldr q23, [x0, #256]              // ........*......................
        // ldr q17, [x0, #320]              // .............*.................
        // mul v2.8H, v23.8H, v0.H[0]       // ............*..................
        // ldr q11, [x0, #448]              // ..........*....................
        // ldr q13, [x0, #384]              // ................*..............
        // mul v15.8H, v11.8H, v0.H[0]      // ...............*...............

        sub count, count, #1
ntt_opt_loop0:
                                                // Instructions:    76
                                                // Expected cycles: 84
                                                // Expected IPC:    0.90
                                                //
                                                // Cycle bound:     84.0
                                                // IPC bound:       0.90
                                                //
                                                // Wall time:     2.36s
                                                // User time:     2.36s
                                                //
                                                // -------------------------------- cycle (expected) --------------------------------->
                                                // 0                        25                       50                       75
                                                // |------------------------|------------------------|------------------------|--------
        sqrdmulh v14.8H, v23.8H, v0.H[1]        // *...................................................................................
        sqrdmulh v23.8H, v17.8H, v0.H[1]        // .*..................................................................................
        mul v17.8H, v17.8H, v0.H[0]             // ..*.................................................................................
        sqrdmulh v28.8H, v13.8H, v0.H[1]        // ...*................................................................................
        mls v2.8H, v14.8H, v7.H[0]              // ....*...............................................................................
        mul v14.8H, v13.8H, v0.H[0]             // .....*..............................................................................
        mls v17.8H, v23.8H, v7.H[0]             // ......*.............................................................................
        sqrdmulh v23.8H, v11.8H, v0.H[1]        // .......*............................................................................
        sub v11.8H, v21.8H, v2.8H               // ........*...........................................................................
        mls v14.8H, v28.8H, v7.H[0]             // .........*..........................................................................
        sub v28.8H, v26.8H, v17.8H              // ..........*.........................................................................
        add v17.8H, v26.8H, v17.8H              // ...........*........................................................................
        add v2.8H, v21.8H, v2.8H                // ............*.......................................................................
        sub v13.8H, v29.8H, v14.8H              // .............*......................................................................
        add v14.8H, v29.8H, v14.8H              // ..............*.....................................................................
        mls v15.8H, v23.8H, v7.H[0]             // ...............*....................................................................
        sqrdmulh v23.8H, v13.8H, v0.H[5]        // ................*...................................................................
        mul v13.8H, v13.8H, v0.H[4]             // .................*..................................................................
        sqrdmulh v21.8H, v14.8H, v0.H[3]        // ..................*.................................................................
        sub v26.8H, v20.8H, v15.8H              // ...................*................................................................
        add v15.8H, v20.8H, v15.8H              // ....................*...............................................................
        mls v13.8H, v23.8H, v7.H[0]             // .....................*..............................................................
        sqrdmulh v23.8H, v26.8H, v0.H[5]        // ......................*.............................................................
        mul v26.8H, v26.8H, v0.H[4]             // .......................*............................................................
        mul v14.8H, v14.8H, v0.H[2]             // ........................*...........................................................
        sub v29.8H, v11.8H, v13.8H              // .........................*..........................................................
        add v11.8H, v11.8H, v13.8H              // ..........................*.........................................................
        mls v26.8H, v23.8H, v7.H[0]             // ...........................*........................................................
        sqrdmulh v23.8H, v15.8H, v0.H[3]        // ............................*.......................................................
        mul v13.8H, v15.8H, v0.H[2]             // .............................*......................................................
        mls v14.8H, v21.8H, v7.H[0]             // ..............................*.....................................................
        sub v15.8H, v28.8H, v26.8H              // ...............................*....................................................
        add v28.8H, v28.8H, v26.8H              // ................................*...................................................
        mls v13.8H, v23.8H, v7.H[0]             // .................................*..................................................
        sub v23.8H, v2.8H, v14.8H               // ..................................*.................................................
        add v14.8H, v2.8H, v14.8H               // ...................................*................................................
        sqrdmulh v2.8H, v28.8H, v1.H[3]         // ....................................*...............................................
        sub v21.8H, v17.8H, v13.8H              // .....................................*..............................................
        add v17.8H, v17.8H, v13.8H              // ......................................*.............................................
        mul v28.8H, v28.8H, v1.H[2]             // .......................................*............................................
        sqrdmulh v13.8H, v21.8H, v1.H[1]        // ........................................*...........................................
        sqrdmulh v26.8H, v17.8H, v0.H[7]        // .........................................*..........................................
        mul v17.8H, v17.8H, v0.H[6]             // ..........................................*.........................................
        mul v21.8H, v21.8H, v1.H[0]             // ...........................................*........................................
        mls v28.8H, v2.8H, v7.H[0]              // ............................................*.......................................
        sqrdmulh v2.8H, v15.8H, v1.H[5]         // .............................................*......................................
        mls v17.8H, v26.8H, v7.H[0]             // ..............................................*.....................................
        mls v21.8H, v13.8H, v7.H[0]             // ...............................................*....................................
        sub v13.8H, v11.8H, v28.8H              // ................................................*...................................
        add v28.8H, v11.8H, v28.8H              // .................................................*..................................
        sub v11.8H, v14.8H, v17.8H              // ..................................................*.................................
        mul v15.8H, v15.8H, v1.H[4]             // ...................................................*................................
        add v14.8H, v14.8H, v17.8H              // ....................................................*...............................
        sub v17.8H, v23.8H, v21.8H              // .....................................................*..............................
        add v23.8H, v23.8H, v21.8H              // ......................................................*.............................
        mls v15.8H, v2.8H, v7.H[0]              // .......................................................*............................
        str q14, [x0], #(16)                    // ........................................................*...........................
        ldr q21, [x0, #0]                       // .........................................................e..........................
        sub v14.8H, v29.8H, v15.8H              // ...........................................................*........................
        add v2.8H, v29.8H, v15.8H               // ............................................................*.......................
        str q11, [x0, #48]                      // .............................................................*......................
        ldr q26, [x0, #64]                      // ..............................................................e.....................
        str q23, [x0, #112]                     // ................................................................*...................
        ldr q29, [x0, #128]                     // .................................................................e..................
        str q17, [x0, #176]                     // ...................................................................*................
        ldr q20, [x0, #192]                     // ....................................................................e...............
        str q28, [x0, #240]                     // ......................................................................*.............
        ldr q23, [x0, #256]                     // .......................................................................e............
        str q13, [x0, #304]                     // .........................................................................*..........
        ldr q17, [x0, #320]                     // ..........................................................................e.........
        str q2, [x0, #368]                      // ............................................................................*.......
        mul v2.8H, v23.8H, v0.H[0]              // .............................................................................e......
        str q14, [x0, #432]                     // ..............................................................................*.....
        ldr q11, [x0, #448]                     // ...............................................................................e....
        ldr q13, [x0, #384]                     // .................................................................................e..
        mul v15.8H, v11.8H, v0.H[0]             // ...................................................................................e

                                                      // ------------------------------------------- cycle (expected) -------------------------------------------->
                                                      // 0                        25                       50                       75                       100
                                                      // |------------------------|------------------------|------------------------|------------------------|-----
        // ldr q8, [x0, #0]                           // e..........................'........................................................~.....................
        // ldr q9, [x0, #(1*(512/8))]                 // .....e.....................'.............................................................~................
        // ldr q10, [x0, #(2*(512/8))]                // ........e..................'................................................................~.............
        // ldr q11, [x0, #(3*(512/8))]                // ...........e...............'...................................................................~..........
        // ldr q12, [x0, #(4*(512/8))]                // ..............e............'......................................................................~.......
        // ldr q13, [x0, #(5*(512/8))]                // .................e.........'.........................................................................~....
        // ldr q14, [x0, #(6*(512/8))]                // ........................e..'..............................................................................
        // ldr q15, [x0, #(7*(512/8))]                // ......................e....'..............................................................................
        // sqrdmulh v27.8h,      v12.8h, v0.h[1]      // ...........................*..............................................................................
        // mul      v24.8h, v12.8h, v0.h[0]           // ....................e......'............................................................................~.
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'...*..........................................................................
        // sub v12.8h, v8.8h, v24.8h                  // ...........................'.......*......................................................................
        // add v8.8h, v8.8h, v24.8h                   // ...........................'...........*..................................................................
        // sqrdmulh v27.8h,      v13.8h, v0.h[1]      // ...........................'*.............................................................................
        // mul      v24.8h, v13.8h, v0.h[0]           // ...........................'.*............................................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'.....*........................................................................
        // sub v13.8h, v9.8h, v24.8h                  // ...........................'.........*....................................................................
        // add v9.8h, v9.8h, v24.8h                   // ...........................'..........*...................................................................
        // sqrdmulh v27.8h,      v14.8h, v0.h[1]      // ...........................'..*...........................................................................
        // mul      v24.8h, v14.8h, v0.h[0]           // ...........................'....*.........................................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'........*.....................................................................
        // sub v14.8h, v10.8h, v24.8h                 // ...........................'............*.................................................................
        // add v10.8h, v10.8h, v24.8h                 // ...........................'.............*................................................................
        // sqrdmulh v27.8h,      v15.8h, v0.h[1]      // ...........................'......*.......................................................................
        // mul      v24.8h, v15.8h, v0.h[0]           // ..........................e'..............................................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'..............*...............................................................
        // sub v15.8h, v11.8h, v24.8h                 // ...........................'..................*...........................................................
        // add v11.8h, v11.8h, v24.8h                 // ...........................'...................*..........................................................
        // sqrdmulh v27.8h,      v10.8h, v0.h[3]      // ...........................'.................*............................................................
        // mul      v24.8h, v10.8h, v0.h[2]           // ...........................'.......................*......................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'.............................*................................................
        // sub v10.8h, v8.8h, v24.8h                  // ...........................'.................................*............................................
        // add v8.8h, v8.8h, v24.8h                   // ...........................'..................................*...........................................
        // sqrdmulh v27.8h,      v11.8h, v0.h[3]      // ...........................'...........................*..................................................
        // mul      v24.8h, v11.8h, v0.h[2]           // ...........................'............................*.................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'................................*.............................................
        // sub v11.8h, v9.8h, v24.8h                  // ...........................'....................................*.........................................
        // add v9.8h, v9.8h, v24.8h                   // ...........................'.....................................*........................................
        // sqrdmulh v27.8h,      v14.8h, v0.h[5]      // ...........................'...............*..............................................................
        // mul      v24.8h, v14.8h, v0.h[4]           // ...........................'................*.............................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'....................*.........................................................
        // sub v14.8h, v12.8h, v24.8h                 // ...........................'........................*.....................................................
        // add v12.8h, v12.8h, v24.8h                 // ...........................'.........................*....................................................
        // sqrdmulh v27.8h,      v15.8h, v0.h[5]      // ...........................'.....................*........................................................
        // mul      v24.8h, v15.8h, v0.h[4]           // ...........................'......................*.......................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'..........................*...................................................
        // sub v15.8h, v13.8h, v24.8h                 // ...........................'..............................*...............................................
        // add v13.8h, v13.8h, v24.8h                 // ...........................'...............................*..............................................
        // sqrdmulh v27.8h,      v9.8h, v0.h[7]       // ...........................'........................................*.....................................
        // mul      v24.8h, v9.8h, v0.h[6]            // ...........................'.........................................*....................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'.............................................*................................
        // sub v9.8h, v8.8h, v24.8h                   // ...........................'.................................................*............................
        // add v8.8h, v8.8h, v24.8h                   // ...........................'...................................................*..........................
        // sqrdmulh v27.8h,      v11.8h, v1.h[1]      // ...........................'.......................................*......................................
        // mul      v24.8h, v11.8h, v1.h[0]           // ...........................'..........................................*...................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'..............................................*...............................
        // sub v11.8h, v10.8h, v24.8h                 // ...........................'....................................................*.........................
        // add v10.8h, v10.8h, v24.8h                 // ...........................'.....................................................*........................
        // sqrdmulh v27.8h,      v13.8h, v1.h[3]      // ...........................'...................................*..........................................
        // mul      v24.8h, v13.8h, v1.h[2]           // ...........................'......................................*.......................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'...........................................*..................................
        // sub v13.8h, v12.8h, v24.8h                 // ...........................'...............................................*..............................
        // add v12.8h, v12.8h, v24.8h                 // ...........................'................................................*.............................
        // sqrdmulh v27.8h,      v15.8h, v1.h[5]      // ...........................'............................................*.................................
        // mul      v24.8h, v15.8h, v1.h[4]           // ...........................'..................................................*...........................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........................'......................................................*.......................
        // sub v15.8h, v14.8h, v24.8h                 // ..~........................'..........................................................*...................
        // add v14.8h, v14.8h, v24.8h                 // ...~.......................'...........................................................*..................
        // str q8, [x0], #(16)                        // ...........................'.......................................................*......................
        // str q9, [x0, #(-16 + 1*(512/8))]           // ....~......................'............................................................*.................
        // str q10, [x0, #(-16 + 2*(512/8))]          // .......~...................'...............................................................*..............
        // str q11, [x0, #(-16 + 3*(512/8))]          // ..........~................'..................................................................*...........
        // str q12, [x0, #(-16 + 4*(512/8))]          // .............~.............'.....................................................................*........
        // str q13, [x0, #(-16 + 5*(512/8))]          // ................~..........'........................................................................*.....
        // str q14, [x0, #(-16 + 6*(512/8))]          // ...................~.......'...........................................................................*..
        // str q15, [x0, #(-16 + 7*(512/8))]          // .....................~.....'.............................................................................*

        sub count, count, 1
        cbnz count, ntt_opt_loop0
                                                // Instructions:    66
                                                // Expected cycles: 67
                                                // Expected IPC:    0.99
                                                //
                                                // Cycle bound:     67.0
                                                // IPC bound:       0.99
                                                //
                                                // Wall time:     7.51s
                                                // User time:     7.51s
                                                //
                                                // ------------------------ cycle (expected) ------------------------>
                                                // 0                        25                       50
                                                // |------------------------|------------------------|----------------
        sqrdmulh v27.8H, v11.8H, v0.H[1]        // *..................................................................
        mul v8.8H, v13.8H, v0.H[0]              // .*.................................................................
        sqrdmulh v22.8H, v13.8H, v0.H[1]        // ..*................................................................
        mul v11.8H, v17.8H, v0.H[0]             // ...*...............................................................
        mls v15.8H, v27.8H, v7.H[0]             // ....*..............................................................
        sqrdmulh v28.8H, v17.8H, v0.H[1]        // .....*.............................................................
        mls v8.8H, v22.8H, v7.H[0]              // ......*............................................................
        sqrdmulh v5.8H, v23.8H, v0.H[1]         // .......*...........................................................
        add v16.8H, v20.8H, v15.8H              // ........*..........................................................
        mls v11.8H, v28.8H, v7.H[0]             // .........*.........................................................
        sub v6.8H, v29.8H, v8.8H                // ..........*........................................................
        sqrdmulh v17.8H, v16.8H, v0.H[3]        // ...........*.......................................................
        mul v23.8H, v16.8H, v0.H[2]             // ............*......................................................
        mul v13.8H, v6.8H, v0.H[4]              // .............*.....................................................
        sqrdmulh v28.8H, v6.8H, v0.H[5]         // ..............*....................................................
        mls v2.8H, v5.8H, v7.H[0]               // ...............*...................................................
        mls v23.8H, v17.8H, v7.H[0]             // ................*..................................................
        add v27.8H, v26.8H, v11.8H              // .................*.................................................
        mls v13.8H, v28.8H, v7.H[0]             // ..................*................................................
        sub v9.8H, v21.8H, v2.8H                // ...................*...............................................
        add v18.8H, v29.8H, v8.8H               // ....................*..............................................
        sub v14.8H, v27.8H, v23.8H              // .....................*.............................................
        add v29.8H, v9.8H, v13.8H               // ......................*............................................
        sub v30.8H, v9.8H, v13.8H               // .......................*...........................................
        mul v28.8H, v14.8H, v1.H[0]             // ........................*..........................................
        sqrdmulh v9.8H, v18.8H, v0.H[3]         // .........................*.........................................
        mul v22.8H, v18.8H, v0.H[2]             // ..........................*........................................
        sqrdmulh v17.8H, v14.8H, v1.H[1]        // ...........................*.......................................
        sub v14.8H, v20.8H, v15.8H              // ............................*......................................
        add v24.8H, v21.8H, v2.8H               // .............................*.....................................
        mls v22.8H, v9.8H, v7.H[0]              // ..............................*....................................
        sqrdmulh v9.8H, v14.8H, v0.H[5]         // ...............................*...................................
        mul v13.8H, v14.8H, v0.H[4]             // ................................*..................................
        mls v28.8H, v17.8H, v7.H[0]             // .................................*.................................
        sub v5.8H, v24.8H, v22.8H               // ..................................*................................
        sub v2.8H, v26.8H, v11.8H               // ...................................*...............................
        mls v13.8H, v9.8H, v7.H[0]              // ....................................*..............................
        sub v17.8H, v5.8H, v28.8H               // .....................................*.............................
        add v14.8H, v5.8H, v28.8H               // ......................................*............................
        add v28.8H, v27.8H, v23.8H              // .......................................*...........................
        str q17, [x0, #192]                     // ........................................*..........................
        add v17.8H, v2.8H, v13.8H               // .........................................*.........................
        str q14, [x0, #128]                     // ..........................................*........................
        sub v13.8H, v2.8H, v13.8H               // ...........................................*.......................
        sqrdmulh v26.8H, v17.8H, v1.H[3]        // ............................................*......................
        mul v15.8H, v17.8H, v1.H[2]             // .............................................*.....................
        add v5.8H, v24.8H, v22.8H               // ..............................................*....................
        sqrdmulh v23.8H, v13.8H, v1.H[5]        // ...............................................*...................
        mul v13.8H, v13.8H, v1.H[4]             // ................................................*..................
        mls v15.8H, v26.8H, v7.H[0]             // .................................................*.................
        sqrdmulh v14.8H, v28.8H, v0.H[7]        // ..................................................*................
        mul v17.8H, v28.8H, v0.H[6]             // ...................................................*...............
        mls v13.8H, v23.8H, v7.H[0]             // ....................................................*..............
        add v6.8H, v29.8H, v15.8H               // .....................................................*.............
        sub v28.8H, v29.8H, v15.8H              // ......................................................*............
        mls v17.8H, v14.8H, v7.H[0]             // .......................................................*...........
        str q6, [x0, #256]                      // ........................................................*..........
        add v14.8H, v30.8H, v13.8H              // .........................................................*.........
        str q28, [x0, #320]                     // ..........................................................*........
        sub v23.8H, v30.8H, v13.8H              // ...........................................................*.......
        str q14, [x0, #384]                     // ............................................................*......
        add v3.8H, v5.8H, v17.8H                // .............................................................*.....
        str q23, [x0, #448]                     // ..............................................................*....
        sub v28.8H, v5.8H, v17.8H               // ...............................................................*...
        str q3, [x0], #(16)                     // ................................................................*..
        str q28, [x0, #48]                      // ..................................................................*

                                                 // ------------------------ cycle (expected) ------------------------>
                                                 // 0                        25                       50
                                                 // |------------------------|------------------------|----------------
        // sqrdmulh v14.8H, v23.8H, v0.H[1]      // .......*...........................................................
        // sqrdmulh v23.8H, v17.8H, v0.H[1]      // .....*.............................................................
        // mul v17.8H, v17.8H, v0.H[0]           // ...*...............................................................
        // sqrdmulh v28.8H, v13.8H, v0.H[1]      // ..*................................................................
        // mls v2.8H, v14.8H, v7.H[0]            // ...............*...................................................
        // mul v14.8H, v13.8H, v0.H[0]           // .*.................................................................
        // mls v17.8H, v23.8H, v7.H[0]           // .........*.........................................................
        // sqrdmulh v23.8H, v11.8H, v0.H[1]      // *..................................................................
        // sub v11.8H, v21.8H, v2.8H             // ...................*...............................................
        // mls v14.8H, v28.8H, v7.H[0]           // ......*............................................................
        // sub v28.8H, v26.8H, v17.8H            // ...................................*...............................
        // add v17.8H, v26.8H, v17.8H            // .................*.................................................
        // add v2.8H, v21.8H, v2.8H              // .............................*.....................................
        // sub v13.8H, v29.8H, v14.8H            // ..........*........................................................
        // add v14.8H, v29.8H, v14.8H            // ....................*..............................................
        // mls v15.8H, v23.8H, v7.H[0]           // ....*..............................................................
        // sqrdmulh v23.8H, v13.8H, v0.H[5]      // ..............*....................................................
        // mul v13.8H, v13.8H, v0.H[4]           // .............*.....................................................
        // sqrdmulh v21.8H, v14.8H, v0.H[3]      // .........................*.........................................
        // sub v26.8H, v20.8H, v15.8H            // ............................*......................................
        // add v15.8H, v20.8H, v15.8H            // ........*..........................................................
        // mls v13.8H, v23.8H, v7.H[0]           // ..................*................................................
        // sqrdmulh v23.8H, v26.8H, v0.H[5]      // ...............................*...................................
        // mul v26.8H, v26.8H, v0.H[4]           // ................................*..................................
        // mul v14.8H, v14.8H, v0.H[2]           // ..........................*........................................
        // sub v29.8H, v11.8H, v13.8H            // .......................*...........................................
        // add v11.8H, v11.8H, v13.8H            // ......................*............................................
        // mls v26.8H, v23.8H, v7.H[0]           // ....................................*..............................
        // sqrdmulh v23.8H, v15.8H, v0.H[3]      // ...........*.......................................................
        // mul v13.8H, v15.8H, v0.H[2]           // ............*......................................................
        // mls v14.8H, v21.8H, v7.H[0]           // ..............................*....................................
        // sub v15.8H, v28.8H, v26.8H            // ...........................................*.......................
        // add v28.8H, v28.8H, v26.8H            // .........................................*.........................
        // mls v13.8H, v23.8H, v7.H[0]           // ................*..................................................
        // sub v23.8H, v2.8H, v14.8H             // ..................................*................................
        // add v14.8H, v2.8H, v14.8H             // ..............................................*....................
        // sqrdmulh v2.8H, v28.8H, v1.H[3]       // ............................................*......................
        // sub v21.8H, v17.8H, v13.8H            // .....................*.............................................
        // add v17.8H, v17.8H, v13.8H            // .......................................*...........................
        // mul v28.8H, v28.8H, v1.H[2]           // .............................................*.....................
        // sqrdmulh v13.8H, v21.8H, v1.H[1]      // ...........................*.......................................
        // sqrdmulh v26.8H, v17.8H, v0.H[7]      // ..................................................*................
        // mul v17.8H, v17.8H, v0.H[6]           // ...................................................*...............
        // mul v21.8H, v21.8H, v1.H[0]           // ........................*..........................................
        // mls v28.8H, v2.8H, v7.H[0]            // .................................................*.................
        // sqrdmulh v2.8H, v15.8H, v1.H[5]       // ...............................................*...................
        // mls v17.8H, v26.8H, v7.H[0]           // .......................................................*...........
        // mls v21.8H, v13.8H, v7.H[0]           // .................................*.................................
        // sub v13.8H, v11.8H, v28.8H            // ......................................................*............
        // add v28.8H, v11.8H, v28.8H            // .....................................................*.............
        // sub v11.8H, v14.8H, v17.8H            // ...............................................................*...
        // mul v15.8H, v15.8H, v1.H[4]           // ................................................*..................
        // add v14.8H, v14.8H, v17.8H            // .............................................................*.....
        // sub v17.8H, v23.8H, v21.8H            // .....................................*.............................
        // add v23.8H, v23.8H, v21.8H            // ......................................*............................
        // mls v15.8H, v2.8H, v7.H[0]            // ....................................................*..............
        // str q14, [x0], #(16)                  // ................................................................*..
        // sub v14.8H, v29.8H, v15.8H            // ...........................................................*.......
        // add v2.8H, v29.8H, v15.8H             // .........................................................*.........
        // str q11, [x0, #48]                    // ..................................................................*
        // str q23, [x0, #112]                   // ..........................................*........................
        // str q17, [x0, #176]                   // ........................................*..........................
        // str q28, [x0, #240]                   // ........................................................*..........
        // str q13, [x0, #304]                   // ..........................................................*........
        // str q2, [x0, #368]                    // ............................................................*......
        // str q14, [x0, #432]                   // ..............................................................*....


        mov in, inp
        mov count, #8

        .p2align 2
                                                // Instructions:    24
                                                // Expected cycles: 31
                                                // Expected IPC:    0.77
                                                //
                                                // Cycle bound:     31.0
                                                // IPC bound:       0.77
                                                //
                                                // Wall time:     0.08s
                                                // User time:     0.08s
                                                //
                                                // ------ cycle (expected) ------>
                                                // 0                        25
                                                // |------------------------|-----
        ldr q2, [x1], #16                       // *..............................
        ldr q14, [x0, #48]                      // ..*............................
        ldr q1, [x0, #32]                       // ....*..........................
        mul v17.8H, v14.8H, v2.H[0]             // ......*........................
        sqrdmulh v14.8H, v14.8H, v2.H[1]        // .......*.......................
        mul v8.8H, v1.8H, v2.H[0]               // ........*......................
        ldr q23, [x0, #16]                      // .........*.....................
        mls v17.8H, v14.8H, v7.H[0]             // ...........*...................
        sqrdmulh v1.8H, v1.8H, v2.H[1]          // ............*..................
        ldr q30, [x2], #(6*16)                  // .............*.................
        sub v14.8H, v23.8H, v17.8H              // ...............*...............
        add v10.8H, v23.8H, v17.8H              // ................*..............
        mls v8.8H, v1.8H, v7.H[0]               // .................*.............
        sqrdmulh v1.8H, v14.8H, v2.H[5]         // ..................*............
        mul v14.8H, v14.8H, v2.H[4]             // ...................*...........
        ldr q27, [x0, #0]                       // ....................*..........
        mul v23.8H, v10.8H, v2.H[2]             // ......................*........
        mls v14.8H, v1.8H, v7.H[0]              // .......................*.......
        sub v1.8H, v27.8H, v8.8H                // ........................*......
        ldr q28, [x2, #-64]                     // .........................*.....
        add v12.8H, v1.8H, v14.8H               // ...........................*...
        sqrdmulh v21.8H, v10.8H, v2.H[3]        // ............................*..
        sub v5.8H, v1.8H, v14.8H                // .............................*.
        ldr q13, [x2, #-16]                     // ..............................*

                                                 // ------ cycle (expected) ------>
                                                 // 0                        25
                                                 // |------------------------|-----
        // ldr q19, [x0, #48]                    // ..*............................
        // ldr q1, [x1], #16                     // *..............................
        // mul v4.8H, v19.8H, v1.H[0]            // ......*........................
        // sqrdmulh v19.8H, v19.8H, v1.H[1]      // .......*.......................
        // ldr q25, [x0, #16]                    // .........*.....................
        // mls v4.8H, v19.8H, v7.H[0]            // ...........*...................
        // sub v24.8H, v25.8H, v4.8H             // ...............*...............
        // add v4.8H, v25.8H, v4.8H              // ................*..............
        // sqrdmulh v23.8H, v24.8H, v1.H[5]      // ..................*............
        // mul v20.8H, v24.8H, v1.H[4]           // ...................*...........
        // sqrdmulh v21.8H, v4.8H, v1.H[3]       // ............................*..
        // mls v20.8H, v23.8H, v7.H[0]           // .......................*.......
        // mul v23.8H, v4.8H, v1.H[2]            // ......................*........
        // ldr q31, [x0, #32]                    // ....*..........................
        // mul v8.8H, v31.8H, v1.H[0]            // ........*......................
        // sqrdmulh v1.8H, v31.8H, v1.H[1]       // ............*..................
        // mls v8.8H, v1.8H, v7.H[0]             // .................*.............
        // ldr q27, [x0, #0]                     // ....................*..........
        // sub v10.8H, v27.8H, v8.8H             // ........................*......
        // add v12.8H, v10.8H, v20.8H            // ...........................*...
        // ldr q30, [x2], #(6*16)                // .............*.................
        // ldr q28, [x2, #-64]                   // .........................*.....
        // sub v5.8H, v10.8H, v20.8H             // .............................*.
        // ldr q13, [x2, #-16]                   // ..............................*

        sub count, count, #1
ntt_opt_loop1:
                                                // Instructions:    71
                                                // Expected cycles: 82
                                                // Expected IPC:    0.87
                                                //
                                                // Cycle bound:     82.0
                                                // IPC bound:       0.87
                                                //
                                                // Wall time:     11.93s
                                                // User time:     11.93s
                                                //
                                                // ------------------------------- cycle (expected) -------------------------------->
                                                // 0                        25                       50                       75
                                                // |------------------------|------------------------|------------------------|------
        ldr q19, [x0, #112]                     // e.................................................................................
        ldr q1, [x1], #16                       // ..e...............................................................................
        mls v23.8H, v21.8H, v7.H[0]             // ....*.............................................................................
        add v6.8H, v27.8H, v8.8H                // .....*............................................................................
        mul v4.8H, v19.8H, v1.H[0]              // ......e...........................................................................
        sqrdmulh v19.8H, v19.8H, v1.H[1]        // .......e..........................................................................
        ldr q25, [x0, #80]                      // ........e.........................................................................
        trn1 v11.4S, v12.4S, v5.4S              // ..........*.......................................................................
        mls v4.8H, v19.8H, v7.H[0]              // ...........e......................................................................
        sub v0.8H, v6.8H, v23.8H                // ............*.....................................................................
        ldr q16, [x2, #-80]                     // .............*....................................................................
        sub v24.8H, v25.8H, v4.8H               // ...............e..................................................................
        add v26.8H, v6.8H, v23.8H               // ................*.................................................................
        add v4.8H, v25.8H, v4.8H                // .................e................................................................
        sqrdmulh v23.8H, v24.8H, v1.H[5]        // ..................e...............................................................
        mul v20.8H, v24.8H, v1.H[4]             // ...................e..............................................................
        sqrdmulh v21.8H, v4.8H, v1.H[3]         // ....................e.............................................................
        trn1 v27.4S, v26.4S, v0.4S              // .....................*............................................................
        trn2 v25.4S, v12.4S, v5.4S              // ......................*...........................................................
        mls v20.8H, v23.8H, v7.H[0]             // .......................e..........................................................
        mul v23.8H, v4.8H, v1.H[2]              // ........................e.........................................................
        ldr q31, [x0, #96]                      // .........................e........................................................
        trn2 v12.4S, v26.4S, v0.4S              // ...........................*......................................................
        trn2 v19.2D, v27.2D, v11.2D             // ............................*.....................................................
        mul v8.8H, v31.8H, v1.H[0]              // .............................e....................................................
        sqrdmulh v1.8H, v31.8H, v1.H[1]         // ..............................e...................................................
        trn2 v10.2D, v12.2D, v25.2D             // ...............................*..................................................
        sqrdmulh v0.8H, v19.8H, v16.8H          // ................................*.................................................
        sqrdmulh v18.8H, v10.8H, v16.8H         // .................................*................................................
        trn1 v16.2D, v27.2D, v11.2D             // ..................................*...............................................
        trn1 v2.2D, v12.2D, v25.2D              // ...................................*..............................................
        mul v12.8H, v10.8H, v30.8H              // ....................................*.............................................
        mul v10.8H, v19.8H, v30.8H              // .....................................*............................................
        mls v8.8H, v1.8H, v7.H[0]               // ......................................e...........................................
        ldr q14, [x2, #-48]                     // .......................................*..........................................
        mls v10.8H, v0.8H, v7.H[0]              // .........................................*........................................
        mls v12.8H, v18.8H, v7.H[0]             // ..........................................*.......................................
        ldr q27, [x0, #64]                      // ...........................................e......................................
        add v9.8H, v16.8H, v10.8H               // .............................................*....................................
        sub v16.8H, v16.8H, v10.8H              // ..............................................*...................................
        sub v25.8H, v2.8H, v12.8H               // ...............................................*..................................
        add v30.8H, v2.8H, v12.8H               // ................................................*.................................
        sub v10.8H, v27.8H, v8.8H               // .................................................e................................
        sqrdmulh v22.8H, v25.8H, v13.8H         // ..................................................*...............................
        sqrdmulh v13.8H, v30.8H, v14.8H         // ...................................................*..............................
        ldr q14, [x2, #-32]                     // ....................................................*.............................
        add v12.8H, v10.8H, v20.8H              // ......................................................e...........................
        mul v5.8H, v30.8H, v28.8H               // .......................................................*..........................
        mul v26.8H, v25.8H, v14.8H              // ........................................................*.........................
        ldr q30, [x2], #(6*16)                  // .........................................................e........................
        mls v5.8H, v13.8H, v7.H[0]              // ...........................................................*......................
        mls v26.8H, v22.8H, v7.H[0]             // ............................................................*.....................
        ldr q28, [x2, #-64]                     // .............................................................e....................
        add v13.8H, v9.8H, v5.8H                // ...............................................................*..................
        sub v9.8H, v9.8H, v5.8H                 // ................................................................*.................
        sub v5.8H, v16.8H, v26.8H               // .................................................................*................
        add v25.8H, v16.8H, v26.8H              // ..................................................................*...............
        trn1 v15.4S, v13.4S, v9.4S              // ...................................................................*..............
        trn2 v3.4S, v13.4S, v9.4S               // ....................................................................*.............
        trn1 v13.4S, v25.4S, v5.4S              // .....................................................................*............
        trn2 v31.4S, v25.4S, v5.4S              // ......................................................................*...........
        sub v5.8H, v10.8H, v20.8H               // .......................................................................e..........
        trn1 v2.2D, v15.2D, v13.2D              // ........................................................................*.........
        trn2 v9.2D, v15.2D, v13.2D              // .........................................................................*........
        str q2, [x0], #(16*4)                   // ..........................................................................*.......
        trn1 v29.2D, v3.2D, v31.2D              // ...........................................................................*......
        str q9, [x0, #-32]                      // ............................................................................*.....
        trn2 v9.2D, v3.2D, v31.2D               // .............................................................................*....
        str q29, [x0, #-48]                     // ..............................................................................*...
        ldr q13, [x2, #-16]                     // ...............................................................................e..
        str q9, [x0, #-16]                      // .................................................................................*

                                                      // ------------------------------------------------------------------------ cycle (expected) ------------------------------------------------------------------------->
                                                      // 0                        25                       50                       75                       100                      125                      150
                                                      // |------------------------|------------------------|------------------------|------------------------|------------------------|------------------------|-------------
        // ldr q8, [x0, #(16*0)]                      // ...........................................e......................................'..........................................~......................................
        // ldr q9, [x0, #(16*1)]                      // ........e.........................................................................'.......~.........................................................................
        // ldr q10, [x0, #(16*2)]                     // .........................e........................................................'........................~........................................................
        // ldr q11, [x0, #(16*3)]                     // e.................................................................................~.................................................................................
        // ldr q0, [x1], #16                          // ..e...............................................................................'.~...............................................................................
        // sqrdmulh v27.8h,      v10.8h, v0.h[1]      // ..............................e...................................................'.............................~...................................................
        // mul      v24.8h, v10.8h, v0.h[0]           // .............................e....................................................'............................~....................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ......................................e...........................................'.....................................~...........................................
        // sub v10.8h, v8.8h, v24.8h                  // .................................................e................................'................................................~................................
        // add v8.8h, v8.8h, v24.8h                   // .....~............................................................................'....*............................................................................
        // sqrdmulh v27.8h,      v11.8h, v0.h[1]      // .......e..........................................................................'......~..........................................................................
        // mul      v24.8h, v11.8h, v0.h[0]           // ......e...........................................................................'.....~...........................................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ...........e......................................................................'..........~......................................................................
        // sub v11.8h, v9.8h, v24.8h                  // ...............e..................................................................'..............~..................................................................
        // add v9.8h, v9.8h, v24.8h                   // .................e................................................................'................~................................................................
        // sqrdmulh v27.8h,      v9.8h, v0.h[3]       // ....................e.............................................................'...................~.............................................................
        // mul      v24.8h, v9.8h, v0.h[2]            // ........................e.........................................................'.......................~.........................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // ....~.............................................................................'...*.............................................................................
        // sub v9.8h, v8.8h, v24.8h                   // ............~.....................................................................'...........*.....................................................................
        // add v8.8h, v8.8h, v24.8h                   // ................~.................................................................'...............*.................................................................
        // sqrdmulh v27.8h,      v11.8h, v0.h[5]      // ..................e...............................................................'.................~...............................................................
        // mul      v24.8h, v11.8h, v0.h[4]           // ...................e..............................................................'..................~..............................................................
        // mls      v24.8h, v27.8h,      v7.h[0]      // .......................e..........................................................'......................~..........................................................
        // sub v11.8h, v10.8h, v24.8h                 // .......................................................................e..........'......................................................................~..........
        // add v10.8h, v10.8h, v24.8h                 // ......................................................e...........................'.....................................................~...........................
        // trn1 v25.4s, v8.4s, v9.4s                  // .....................~............................................................'....................*............................................................
        // trn2 v26.4s, v8.4s, v9.4s                  // ...........................~......................................................'..........................*......................................................
        // trn1 v27.4s, v10.4s, v11.4s                // ..........~.......................................................................'.........*.......................................................................
        // trn2 v28.4s, v10.4s, v11.4s                // ......................~...........................................................'.....................*...........................................................
        // trn2 v10.2d, v25.2d, v27.2d                // ............................~.....................................................'...........................*.....................................................
        // trn2 v11.2d, v26.2d, v28.2d                // ...............................~..................................................'..............................*..................................................
        // trn1 v8.2d, v25.2d, v27.2d                 // ..................................~...............................................'.................................*...............................................
        // trn1 v9.2d, v26.2d, v28.2d                 // ...................................~..............................................'..................................*..............................................
        // ldr q0,    [x2], #(6*16)                   // .........................................................e........................'........................................................~........................
        // ldr q4, [x2, #(-6*16 + 1*16)]              // .............~....................................................................'............*....................................................................
        // ldr q1,    [x2, #(-6*16 + 2*16)]           // .............................................................e....................'............................................................~....................
        // ldr q5, [x2, #(-6*16 + 3*16)]              // .......................................~..........................................'......................................*..........................................
        // ldr q2,    [x2, #(-6*16 + 4*16)]           // ....................................................~.............................'...................................................*.............................
        // ldr q6, [x2, #(-6*16 + 5*16)]              // ...............................................................................e..'..............................................................................~..
        // sqrdmulh v27.8h,   v10.8h, v4.8h           // ................................~.................................................'...............................*.................................................
        // mul      v24.8h, v10.8h, v0.8h             // .....................................~............................................'....................................*............................................
        // mls      v24.8h, v27.8h,   v7.h[0]         // .........................................~........................................'........................................*........................................
        // sub v10.8h, v8.8h, v24.8h                  // ..............................................~...................................'.............................................*...................................
        // add v8.8h, v8.8h, v24.8h                   // .............................................~....................................'............................................*....................................
        // sqrdmulh v27.8h,   v11.8h, v4.8h           // .................................~................................................'................................*................................................
        // mul      v24.8h, v11.8h, v0.8h             // ....................................~.............................................'...................................*.............................................
        // mls      v24.8h, v27.8h,   v7.h[0]         // ..........................................~.......................................'.........................................*.......................................
        // sub v11.8h, v9.8h, v24.8h                  // ...............................................~..................................'..............................................*..................................
        // add v9.8h, v9.8h, v24.8h                   // ................................................~.................................'...............................................*.................................
        // sqrdmulh v27.8h,   v9.8h, v5.8h            // ...................................................~..............................'..................................................*..............................
        // mul      v24.8h, v9.8h, v1.8h              // .......................................................~..........................'......................................................*..........................
        // mls      v24.8h, v27.8h,   v7.h[0]         // ...........................................................~......................'..........................................................*......................
        // sub v9.8h, v8.8h, v24.8h                   // ................................................................~.................'...............................................................*.................
        // add v8.8h, v8.8h, v24.8h                   // ...............................................................~..................'..............................................................*..................
        // sqrdmulh v27.8h,   v11.8h, v6.8h           // ..................................................~...............................'.................................................*...............................
        // mul      v24.8h, v11.8h, v2.8h             // ........................................................~.........................'.......................................................*.........................
        // mls      v24.8h, v27.8h,   v7.h[0]         // ............................................................~.....................'...........................................................*.....................
        // sub v11.8h, v10.8h, v24.8h                 // .................................................................~................'................................................................*................
        // add v10.8h, v10.8h, v24.8h                 // ..................................................................~...............'.................................................................*...............
        // trn1 v25.4s, v8.4s, v9.4s                  // ...................................................................~..............'..................................................................*..............
        // trn2 v26.4s, v8.4s, v9.4s                  // ....................................................................~.............'...................................................................*.............
        // trn1 v27.4s, v10.4s, v11.4s                // .....................................................................~............'....................................................................*............
        // trn2 v28.4s, v10.4s, v11.4s                // ......................................................................~...........'.....................................................................*...........
        // trn2 v10.2d, v25.2d, v27.2d                // .........................................................................~........'........................................................................*........
        // trn2 v11.2d, v26.2d, v28.2d                // .............................................................................~....'............................................................................*....
        // trn1 v8.2d, v25.2d, v27.2d                 // ........................................................................~.........'.......................................................................*.........
        // trn1 v9.2d, v26.2d, v28.2d                 // ...........................................................................~......'..........................................................................*......
        // str q8, [x0], #(16*4)                      // ..........................................................................~.......'.........................................................................*.......
        // str q9, [x0, #(-16*3)]                     // ..............................................................................~...'.............................................................................*...
        // str q10, [x0, #(-16*2)]                    // ............................................................................~.....'...........................................................................*.....
        // str q11, [x0, #(-16*1)]                    // .................................................................................~'................................................................................*

        sub count, count, 1
        cbnz count, ntt_opt_loop1
                                               // Instructions:    47
                                               // Expected cycles: 52
                                               // Expected IPC:    0.90
                                               //
                                               // Cycle bound:     52.0
                                               // IPC bound:       0.90
                                               //
                                               // Wall time:     5.32s
                                               // User time:     5.32s
                                               //
                                               // ---------------- cycle (expected) ----------------->
                                               // 0                        25                       50
                                               // |------------------------|------------------------|-
        mls v23.8H, v21.8H, v7.H[0]            // *...................................................
        add v14.8H, v27.8H, v8.8H              // .*..................................................
        ldr q1, [x2, #-32]                     // ..*.................................................
        add v17.8H, v14.8H, v23.8H             // ....*...............................................
        sub v23.8H, v14.8H, v23.8H             // .....*..............................................
        trn2 v11.4S, v12.4S, v5.4S             // ......*.............................................
        trn1 v27.4S, v12.4S, v5.4S             // .......*............................................
        trn2 v2.4S, v17.4S, v23.4S             // ........*...........................................
        ldr q26, [x2, #-80]                    // .........*..........................................
        trn2 v14.2D, v2.2D, v11.2D             // ...........*........................................
        trn1 v15.4S, v17.4S, v23.4S            // ............*.......................................
        mul v5.8H, v14.8H, v30.8H              // .............*......................................
        sqrdmulh v23.8H, v14.8H, v26.8H        // ..............*.....................................
        trn2 v17.2D, v15.2D, v27.2D            // ...............*....................................
        trn1 v14.2D, v2.2D, v11.2D             // ................*...................................
        mul v21.8H, v17.8H, v30.8H             // .................*..................................
        mls v5.8H, v23.8H, v7.H[0]             // ..................*.................................
        sqrdmulh v17.8H, v17.8H, v26.8H        // ...................*................................
        ldr q2, [x2, #-48]                     // ....................*...............................
        sub v23.8H, v14.8H, v5.8H              // ......................*.............................
        add v14.8H, v14.8H, v5.8H              // .......................*............................
        mls v21.8H, v17.8H, v7.H[0]            // ........................*...........................
        mul v1.8H, v23.8H, v1.8H               // .........................*..........................
        sqrdmulh v17.8H, v23.8H, v13.8H        // ..........................*.........................
        mul v23.8H, v14.8H, v28.8H             // ...........................*........................
        sqrdmulh v14.8H, v14.8H, v2.8H         // ............................*.......................
        trn1 v28.2D, v15.2D, v27.2D            // .............................*......................
        mls v1.8H, v17.8H, v7.H[0]             // ..............................*.....................
        sub v11.8H, v28.8H, v21.8H             // ...............................*....................
        mls v23.8H, v14.8H, v7.H[0]            // ................................*...................
        add v17.8H, v28.8H, v21.8H             // .................................*..................
        sub v14.8H, v11.8H, v1.8H              // ..................................*.................
        add v1.8H, v11.8H, v1.8H               // ...................................*................
        sub v28.8H, v17.8H, v23.8H             // ....................................*...............
        add v2.8H, v17.8H, v23.8H              // .....................................*..............
        trn1 v23.4S, v1.4S, v14.4S             // ......................................*.............
        trn2 v14.4S, v1.4S, v14.4S             // .......................................*............
        trn2 v17.4S, v2.4S, v28.4S             // ........................................*...........
        trn1 v28.4S, v2.4S, v28.4S             // .........................................*..........
        trn2 v1.2D, v17.2D, v14.2D             // ...........................................*........
        trn1 v14.2D, v17.2D, v14.2D            // ............................................*.......
        str q1, [x0, #48]                      // .............................................*......
        trn2 v1.2D, v28.2D, v23.2D             // ..............................................*.....
        str q14, [x0, #16]                     // ...............................................*....
        trn1 v14.2D, v28.2D, v23.2D            // ................................................*...
        str q1, [x0, #32]                      // .................................................*..
        str q14, [x0], #(16*4)                 // ...................................................*

                                                // ---------------- cycle (expected) ----------------->
                                                // 0                        25                       50
                                                // |------------------------|------------------------|-
        // mls v23.8H, v21.8H, v7.H[0]          // *...................................................
        // add v6.8H, v27.8H, v8.8H             // .*..................................................
        // trn1 v11.4S, v12.4S, v5.4S           // .......*............................................
        // sub v0.8H, v6.8H, v23.8H             // .....*..............................................
        // ldr q16, [x2, #-80]                  // .........*..........................................
        // add v26.8H, v6.8H, v23.8H            // ....*...............................................
        // trn1 v27.4S, v26.4S, v0.4S           // ............*.......................................
        // trn2 v25.4S, v12.4S, v5.4S           // ......*.............................................
        // trn2 v12.4S, v26.4S, v0.4S           // ........*...........................................
        // trn2 v19.2D, v27.2D, v11.2D          // ...............*....................................
        // trn2 v10.2D, v12.2D, v25.2D          // ...........*........................................
        // sqrdmulh v0.8H, v19.8H, v16.8H       // ...................*................................
        // sqrdmulh v18.8H, v10.8H, v16.8H      // ..............*.....................................
        // trn1 v16.2D, v27.2D, v11.2D          // .............................*......................
        // trn1 v2.2D, v12.2D, v25.2D           // ................*...................................
        // mul v12.8H, v10.8H, v30.8H           // .............*......................................
        // mul v10.8H, v19.8H, v30.8H           // .................*..................................
        // ldr q14, [x2, #-48]                  // ....................*...............................
        // mls v10.8H, v0.8H, v7.H[0]           // ........................*...........................
        // mls v12.8H, v18.8H, v7.H[0]          // ..................*.................................
        // add v9.8H, v16.8H, v10.8H            // .................................*..................
        // sub v16.8H, v16.8H, v10.8H           // ...............................*....................
        // sub v25.8H, v2.8H, v12.8H            // ......................*.............................
        // add v30.8H, v2.8H, v12.8H            // .......................*............................
        // sqrdmulh v22.8H, v25.8H, v13.8H      // ..........................*.........................
        // sqrdmulh v13.8H, v30.8H, v14.8H      // ............................*.......................
        // ldr q14, [x2, #-32]                  // ..*.................................................
        // mul v5.8H, v30.8H, v28.8H            // ...........................*........................
        // mul v26.8H, v25.8H, v14.8H           // .........................*..........................
        // mls v5.8H, v13.8H, v7.H[0]           // ................................*...................
        // mls v26.8H, v22.8H, v7.H[0]          // ..............................*.....................
        // add v13.8H, v9.8H, v5.8H             // .....................................*..............
        // sub v9.8H, v9.8H, v5.8H              // ....................................*...............
        // sub v5.8H, v16.8H, v26.8H            // ..................................*.................
        // add v25.8H, v16.8H, v26.8H           // ...................................*................
        // trn1 v15.4S, v13.4S, v9.4S           // .........................................*..........
        // trn2 v3.4S, v13.4S, v9.4S            // ........................................*...........
        // trn1 v13.4S, v25.4S, v5.4S           // ......................................*.............
        // trn2 v31.4S, v25.4S, v5.4S           // .......................................*............
        // trn1 v2.2D, v15.2D, v13.2D           // ................................................*...
        // trn2 v9.2D, v15.2D, v13.2D           // ..............................................*.....
        // str q2, [x0], #(16*4)                // ...................................................*
        // trn1 v29.2D, v3.2D, v31.2D           // ............................................*.......
        // str q9, [x0, #-32]                   // .................................................*..
        // trn2 v9.2D, v3.2D, v31.2D            // ...........................................*........
        // str q29, [x0, #-48]                  // ...............................................*....
        // str q9, [x0, #-16]                   // .............................................*......


        pop_stack
        ret

/****************** REGISTER DEALLOCATIONS *******************/
    .unreq in
    .unreq r01234_ptr
    .unreq r56_ptr
    .unreq inp
    .unreq count
    .unreq wtmp
    .unreq data0
    .unreq data1
    .unreq data2
    .unreq data3
    .unreq data4
    .unreq data5
    .unreq data6
    .unreq data7
    .unreq q_data0
    .unreq q_data1
    .unreq q_data2
    .unreq q_data3
    .unreq q_data4
    .unreq q_data5
    .unreq q_data6
    .unreq q_data7
    .unreq root0
    .unreq root1
    .unreq root2
    .unreq root0_tw
    .unreq root1_tw
    .unreq root2_tw
    .unreq q_root0
    .unreq q_root1
    .unreq q_root2
    .unreq q_root0_tw
    .unreq q_root1_tw
    .unreq q_root2_tw
    .unreq consts
    .unreq q_consts
    .unreq tmp
    .unreq t0
    .unreq t1
    .unreq t2
    .unreq t3

/* simpasm: footer-start */
#endif /* MLKEM_NATIVE_ARITH_BACKEND_AARCH64_OPT */