grub-savannah-mirror/grub-core/lib/libgcrypt/cipher/keccak-armv7-neon.S

/* keccak-armv7-neon.S  -  ARMv7/NEON implementation of Keccak
 *
 * Copyright (C) 2015 Jussi Kivilinna <jussi.kivilinna@iki.fi>
 *
 * This file is part of Libgcrypt.
 *
 * Libgcrypt is free software; you can redistribute it and/or modify
 * it under the terms of the GNU Lesser General Public License as
 * published by the Free Software Foundation; either version 2.1 of
 * the License, or (at your option) any later version.
 *
 * Libgcrypt is distributed in the hope that it will be useful,
 * but WITHOUT ANY WARRANTY; without even the implied warranty of
 * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
 * GNU Lesser General Public License for more details.
 *
 * You should have received a copy of the GNU Lesser General Public
 * License along with this program; if not, see <http://www.gnu.org/licenses/>.
 */

#include <config.h>

#if defined(HAVE_ARM_ARCH_V6) && defined(__ARMEL__) && \
    defined(HAVE_COMPATIBLE_GCC_ARM_PLATFORM_AS) && \
    defined(HAVE_GCC_INLINE_ASM_NEON)

/* Based on public-domain/CC0 implementation from SUPERCOP package
 * (keccakc1024/inplace-armv7a-neon/keccak2.s)
 *
 * Original copyright header follows:
 */

@ The Keccak sponge function, designed by Guido Bertoni, Joan Daemen,
@ Michaël Peeters and Gilles Van Assche. For more information, feedback or
@ questions, please refer to our website: http://keccak.noekeon.org/
@
@ Implementation by Ronny Van Keer, hereby denoted as "the implementer".
@
@ To the extent possible under law, the implementer has waived all copyright
@ and related or neighboring rights to the source code in this file.
@ http://creativecommons.org/publicdomain/zero/1.0/

.text

.syntax unified
.fpu neon
.arm


.extern _gcry_keccak_round_consts_64bit;

#ifdef __PIC__
#  define GET_DATA_POINTER(reg, name, rtmp) \
		ldr reg, 1f; \
		ldr rtmp, 2f; \
		b 3f; \
	1:	.word _GLOBAL_OFFSET_TABLE_-(3f+8); \
	2:	.word name(GOT); \
	3:	add reg, pc, reg; \
		ldr reg, [reg, rtmp];
#else
#  define GET_DATA_POINTER(reg, name, rtmp) ldr reg, =name
#endif


@//  --- offsets in state
.equ Aba, 0*8
.equ Aga, 1*8
.equ Aka, 2*8
.equ Ama, 3*8
.equ Asa, 4*8

@// --- macros

.macro    KeccakThetaRhoPiChiIota argA1, argA2, argA3, argA4, argA5

    @Prepare Theta
    @Ca = Aba^Aga^Aka^Ama^Asa@
    @Ce = Abe^Age^Ake^Ame^Ase@
    @Ci = Abi^Agi^Aki^Ami^Asi@
    @Co = Abo^Ago^Ako^Amo^Aso@
    @Cu = Abu^Agu^Aku^Amu^Asu@
    @De = Ca^ROL64(Ci, 1)@
    @Di = Ce^ROL64(Co, 1)@
    @Do = Ci^ROL64(Cu, 1)@
    @Du = Co^ROL64(Ca, 1)@
    @Da = Cu^ROL64(Ce, 1)@

    veor.64 q4, q6, q7
    veor.64 q5, q9, q10
    veor.64 d8,  d8,   d9
    veor.64 d10,  d10,   d11
    veor.64 d1,  d8,   d16
    veor.64 d2,  d10,   d17

    veor.64 q4, q11, q12
    veor.64 q5, q14, q15
    veor.64 d8,  d8,   d9
    veor.64 d10,  d10,   d11
    veor.64 d3,  d8,   d26

    vadd.u64 q4, q1, q1
    veor.64 d4,  d10,   d27
    vmov.64  d0, d5
    vsri.64 q4, q1, #63

    vadd.u64 q5, q2, q2
    veor.64 q4, q4, q0
    vsri.64 q5, q2, #63
    vadd.u64 d7, d1, d1
    veor.64 \argA2, \argA2, d8
    veor.64 q5, q5, q1

    vsri.64 d7, d1, #63
    vshl.u64 d1, \argA2, #44
    veor.64 \argA3, \argA3, d9
    veor.64 d7, d7, d4

    @Ba = argA1^Da@
    @Be = ROL64((argA2^De), 44)@
    @Bi = ROL64((argA3^Di), 43)@
    @Bo = ROL64((argA4^Do), 21)@
    @Bu = ROL64((argA5^Du), 14)@
    @argA2 =   Be ^((~Bi)& Bo )@
    @argA3 =   Bi ^((~Bo)& Bu )@
    @argA4 =   Bo ^((~Bu)& Ba )@
    @argA5 =   Bu ^((~Ba)& Be )@
    @argA1 =   Ba ^((~Be)& Bi )@ argA1 ^= KeccakF1600RoundConstants[i+round]@
    vsri.64 d1, \argA2, #64-44
    vshl.u64 d2, \argA3, #43
    vldr.64 d0, [sp, #\argA1]
    veor.64 \argA4, \argA4, d10
    vsri.64 d2, \argA3, #64-43
    vshl.u64 d3, \argA4, #21
    veor.64 \argA5, \argA5, d11
    veor.64 d0, d0, d7
    vsri.64 d3, \argA4, #64-21
    vbic.64   d5, d2, d1
    vshl.u64 d4, \argA5, #14
    vbic.64   \argA2, d3, d2
    vld1.64   d6, [ip]!
    veor.64   d5, d0
    vsri.64 d4, \argA5, #64-14
    veor.64   d5, d6
    vbic.64   \argA5, d1, d0
    vbic.64   \argA3, d4, d3
    vbic.64   \argA4, d0, d4
    veor.64   \argA2, d1
    vstr.64   d5, [sp, #\argA1]
    veor.64   \argA3, d2
    veor.64   \argA4, d3
    veor.64   \argA5, d4

    .endm

.macro    KeccakThetaRhoPiChi1   argA1, argA2, argA3, argA4, argA5

    @d2 = ROL64((argA1^Da), 3)@
    @d3 = ROL64((argA2^De), 45)@
    @d4 = ROL64((argA3^Di), 61)@
    @d0 = ROL64((argA4^Do), 28)@
    @d1 = ROL64((argA5^Du), 20)@
    @argA1 =   Ba ^((~Be)&  Bi )@ Ca ^= argA1@
    @argA2 =   Be ^((~Bi)&  Bo )@
    @argA3 =   Bi ^((~Bo)&  Bu )@
    @argA4 =   Bo ^((~Bu)&  Ba )@
    @argA5 =   Bu ^((~Ba)&  Be )@

    veor.64 \argA2, \argA2, d8
    veor.64 \argA3, \argA3, d9
    vshl.u64  d3, \argA2, #45
    vldr.64 d6, [sp, #\argA1]
    vshl.u64  d4, \argA3, #61
    veor.64 \argA4, \argA4, d10
    vsri.64  d3, \argA2, #64-45
    veor.64 \argA5, \argA5, d11
    vsri.64  d4, \argA3, #64-61
    vshl.u64  d0, \argA4, #28
    veor.64 d6, d6, d7
    vshl.u64  d1, \argA5, #20
    vbic.64   \argA3, d4, d3
    vsri.64  d0, \argA4, #64-28
    vbic.64   \argA4, d0, d4
    vshl.u64  d2, d6, #3
    vsri.64  d1, \argA5, #64-20
    veor.64   \argA4, d3
    vsri.64  d2, d6, #64-3
    vbic.64   \argA5, d1, d0
    vbic.64   d6, d2, d1
    vbic.64   \argA2, d3, d2
    veor.64   d6, d0
    veor.64   \argA2, d1
    vstr.64   d6, [sp, #\argA1]
    veor.64   \argA3, d2
    veor.64  d5, d6
    veor.64   \argA5, d4

    .endm

.macro    KeccakThetaRhoPiChi2 argA1, argA2, argA3, argA4, argA5

    @d4 = ROL64((argA1^Da), 18)@
    @d0 = ROL64((argA2^De), 1)@
    @d1 = ROL64((argA3^Di), 6)@
    @d2 = ROL64((argA4^Do), 25)@
    @d3 = ROL64((argA5^Du), 8)@
    @argA1 =   Ba ^((~Be)&  Bi )@ Ca ^= argA1@
    @argA2 =   Be ^((~Bi)&  Bo )@
    @argA3 =   Bi ^((~Bo)&  Bu )@
    @argA4 =   Bo ^((~Bu)&  Ba )@
    @argA5 =   Bu ^((~Ba)&  Be )@

    veor.64 \argA3, \argA3, d9
    veor.64 \argA4, \argA4, d10
    vshl.u64  d1, \argA3, #6
    vldr.64 d6, [sp, #\argA1]
    vshl.u64  d2, \argA4, #25
    veor.64 \argA5, \argA5, d11
    vsri.64  d1, \argA3, #64-6
    veor.64 \argA2, \argA2, d8
    vsri.64  d2, \argA4, #64-25
    vext.8  d3, \argA5, \argA5, #7
    veor.64 d6, d6, d7
    vbic.64  \argA3, d2, d1
    vadd.u64  d0, \argA2, \argA2
    vbic.64   \argA4, d3, d2
    vsri.64  d0, \argA2, #64-1
    vshl.u64  d4, d6, #18
    veor.64  \argA2, d1, \argA4
    veor.64  \argA3, d0
    vsri.64  d4, d6, #64-18
    vstr.64   \argA3, [sp, #\argA1]
    veor.64  d5, \argA3
    vbic.64   \argA5, d1, d0
    vbic.64   \argA3, d4, d3
    vbic.64   \argA4, d0, d4
    veor.64   \argA3, d2
    veor.64   \argA4, d3
    veor.64   \argA5, d4

    .endm

.macro    KeccakThetaRhoPiChi3 argA1, argA2, argA3, argA4, argA5

    @d1 = ROL64((argA1^Da), 36)@
    @d2 = ROL64((argA2^De), 10)@
    @d3 = ROL64((argA3^Di), 15)@
    @d4 = ROL64((argA4^Do), 56)@
    @d0 = ROL64((argA5^Du), 27)@
    @argA1 =   Ba ^((~Be)&  Bi )@ Ca ^= argA1@
    @argA2 =   Be ^((~Bi)&  Bo )@
    @argA3 =   Bi ^((~Bo)&  Bu )@
    @argA4 =   Bo ^((~Bu)&  Ba )@
    @argA5 =   Bu ^((~Ba)&  Be )@

    veor.64 \argA2, \argA2, d8
    veor.64 \argA3, \argA3, d9
    vshl.u64  d2, \argA2, #10
    vldr.64 d6, [sp, #\argA1]
    vshl.u64  d3, \argA3, #15
    veor.64 \argA4, \argA4, d10
    vsri.64  d2, \argA2, #64-10
    vsri.64  d3, \argA3, #64-15
    veor.64 \argA5, \argA5, d11
    vext.8  d4, \argA4, \argA4, #1
    vbic.64   \argA2, d3, d2
    vshl.u64  d0, \argA5, #27
    veor.64 d6, d6, d7
    vbic.64   \argA3, d4, d3
    vsri.64  d0, \argA5, #64-27
    vshl.u64  d1, d6, #36
    veor.64   \argA3, d2
    vbic.64   \argA4, d0, d4
    vsri.64  d1, d6, #64-36

    veor.64   \argA4, d3
    vbic.64   d6, d2, d1
    vbic.64   \argA5, d1, d0
    veor.64   d6, d0
    veor.64   \argA2, d1
    vstr.64   d6, [sp, #\argA1]
    veor.64  d5, d6
    veor.64   \argA5, d4

    .endm

.macro    KeccakThetaRhoPiChi4 argA1, argA2, argA3, argA4, argA5

    @d3 = ROL64((argA1^Da), 41)@
    @d4 = ROL64((argA2^De), 2)@
    @d0 = ROL64((argA3^Di), 62)@
    @d1 = ROL64((argA4^Do), 55)@
    @d2 = ROL64((argA5^Du), 39)@
    @argA1 =   Ba ^((~Be)&  Bi )@ Ca ^= argA1@
    @argA2 =   Be ^((~Bi)&  Bo )@
    @argA3 =   Bi ^((~Bo)&  Bu )@
    @argA4 =   Bo ^((~Bu)&  Ba )@
    @argA5 =   Bu ^((~Ba)&  Be )@

    veor.64 \argA2, \argA2, d8
    veor.64 \argA3, \argA3, d9
    vshl.u64  d4, \argA2, #2
    veor.64 \argA5, \argA5, d11
    vshl.u64  d0, \argA3, #62
    vldr.64 d6, [sp, #\argA1]
    vsri.64  d4, \argA2, #64-2
    veor.64 \argA4, \argA4, d10
    vsri.64  d0, \argA3, #64-62

    vshl.u64  d1, \argA4, #55
    veor.64 d6, d6, d7
    vshl.u64  d2, \argA5, #39
    vsri.64  d1, \argA4, #64-55
    vbic.64  \argA4, d0, d4
    vsri.64  d2, \argA5, #64-39
    vbic.64  \argA2, d1, d0
    vshl.u64  d3, d6, #41
    veor.64  \argA5, d4, \argA2
    vbic.64  \argA2, d2, d1
    vsri.64  d3, d6, #64-41
    veor.64  d6, d0, \argA2

    vbic.64 \argA2, d3, d2
    vbic.64 \argA3, d4, d3
    veor.64 \argA2, d1
    vstr.64 d6, [sp, #\argA1]
    veor.64 d5, d6
    veor.64 \argA3, d2
    veor.64 \argA4, d3

    .endm


@// --- code

@not callable from C!
.p2align 3
.type  KeccakF_armv7a_neon_asm,%function;
KeccakF_armv7a_neon_asm:  @

.LroundLoop:

    KeccakThetaRhoPiChiIota  Aba, d13, d19, d25, d31
    KeccakThetaRhoPiChi1    Aka, d15, d21, d22, d28
    KeccakThetaRhoPiChi2    Asa, d12, d18, d24, d30
    KeccakThetaRhoPiChi3    Aga, d14, d20, d26, d27
    KeccakThetaRhoPiChi4    Ama, d16, d17, d23, d29

    KeccakThetaRhoPiChiIota  Aba, d15, d18, d26, d29
    KeccakThetaRhoPiChi1    Asa, d14, d17, d25, d28
    KeccakThetaRhoPiChi2    Ama, d13, d21, d24, d27
    KeccakThetaRhoPiChi3    Aka, d12, d20, d23, d31
    KeccakThetaRhoPiChi4    Aga, d16, d19, d22, d30

    KeccakThetaRhoPiChiIota Aba, d14, d21, d23, d30
    KeccakThetaRhoPiChi1    Ama, d12, d19, d26, d28
    KeccakThetaRhoPiChi2    Aga, d15, d17, d24, d31
    KeccakThetaRhoPiChi3    Asa, d13, d20, d22, d29
    KeccakThetaRhoPiChi4    Aka, d16, d18, d25, d27

    KeccakThetaRhoPiChiIota Aba, d12, d17, d22, d27
    KeccakThetaRhoPiChi1    Aga, d13, d18, d23, d28
    KeccakThetaRhoPiChi2    Aka, d14, d19, d24, d29
    ldr    r0, [ip]
    KeccakThetaRhoPiChi3    Ama, d15, d20, d25, d30
    cmp    r0, #0xFFFFFFFF
    KeccakThetaRhoPiChi4    Asa, d16, d21, d26, d31

    bne    .LroundLoop
    sub    ip, #(8*24)
    bx    lr
.p2align 2
.ltorg
.size KeccakF_armv7a_neon_asm,.-KeccakF_armv7a_neon_asm;


@//unsigned _gcry_keccak_permute_armv7_neon(u64 *state)  callable from C
.p2align 3
.global   _gcry_keccak_permute_armv7_neon
.type  _gcry_keccak_permute_armv7_neon,%function;
_gcry_keccak_permute_armv7_neon:

    push   {ip, lr}
    vpush  {q4-q7}
    sub    sp,sp, #5*8

    vldr.64  d0,  [r0, #0*8]
    vldr.64  d12, [r0, #1*8]
    vldr.64  d17, [r0, #2*8]
    vldr.64  d22, [r0, #3*8]
    vldr.64  d27, [r0, #4*8]

    GET_DATA_POINTER(ip, _gcry_keccak_round_consts_64bit, lr);

    vldr.64  d1,  [r0, #5*8]
    vldr.64  d13, [r0, #6*8]
    vldr.64  d18, [r0, #7*8]
    vldr.64  d23, [r0, #8*8]
    vldr.64  d28, [r0, #9*8]

    vldr.64  d2,  [r0, #10*8]
    vldr.64  d14, [r0, #11*8]
    vldr.64  d19, [r0, #12*8]
    vldr.64  d24, [r0, #13*8]
    vldr.64  d29, [r0, #14*8]

    vldr.64  d3,  [r0, #15*8]
    vldr.64  d15, [r0, #16*8]
    vldr.64  d20, [r0, #17*8]
    vldr.64  d25, [r0, #18*8]
    vldr.64  d30, [r0, #19*8]

    vldr.64  d4,  [r0, #20*8]
    vldr.64  d16, [r0, #21*8]
    vldr.64  d21, [r0, #22*8]
    vldr.64  d26, [r0, #23*8]
    vldr.64  d31, [r0, #24*8]

    vstr.64  d0, [sp, #Aba]
    vstr.64  d1, [sp, #Aga]
    veor.64 q0, q0, q1
    vstr.64  d2, [sp, #Aka]
    veor.64 d5, d0,  d1
    vstr.64  d3, [sp, #Ama]
    mov      r1, r0
    vstr.64  d4, [sp, #Asa]
    veor.64 d5, d5,  d4

    bl KeccakF_armv7a_neon_asm

    vpop.64  { d0- d4 }

    vstr.64  d0,  [r1, #0*8]
    vstr.64  d12, [r1, #1*8]
    vstr.64  d17, [r1, #2*8]
    vstr.64  d22, [r1, #3*8]
    vstr.64  d27, [r1, #4*8]

    vstr.64  d1,  [r1, #5*8]
    vstr.64  d13, [r1, #6*8]
    vstr.64  d18, [r1, #7*8]
    vstr.64  d23, [r1, #8*8]
    vstr.64  d28, [r1, #9*8]

    vstr.64  d2,  [r1, #10*8]
    vstr.64  d14, [r1, #11*8]
    vstr.64  d19, [r1, #12*8]
    vstr.64  d24, [r1, #13*8]
    vstr.64  d29, [r1, #14*8]

    vstr.64  d3,  [r1, #15*8]
    vstr.64  d15, [r1, #16*8]
    vstr.64  d20, [r1, #17*8]
    vstr.64  d25, [r1, #18*8]
    vstr.64  d30, [r1, #19*8]

    vstr.64  d4,  [r1, #20*8]
    vstr.64  d16, [r1, #21*8]
    vstr.64  d21, [r1, #22*8]
    vstr.64  d26, [r1, #23*8]
    vstr.64  d31, [r1, #24*8]

    mov   r0, #112
    vpop  {q4-q7}
    pop   {ip, pc}
.p2align 2
.ltorg
.size _gcry_keccak_permute_armv7_neon,.-_gcry_keccak_permute_armv7_neon;

@//unsigned _gcry_keccak_absorb_lanes64_armv7_neon(u64 *state, @r4
@						int pos,    @r1
@						const byte *lanes,   @r2
@						size_t nlanes, @r3
@						int blocklanes) @ r5 callable from C
.p2align 3
.global   _gcry_keccak_absorb_lanes64_armv7_neon
.type  _gcry_keccak_absorb_lanes64_armv7_neon,%function;
_gcry_keccak_absorb_lanes64_armv7_neon:

    cmp    r3, #0	@ nlanes == 0
    itt eq
    moveq  r0, #0
    bxeq   lr

    push   {r4-r5, ip, lr}
    beq    .Lout
    mov    r4, r0
    ldr    r5, [sp, #(4*4)]
    vpush  {q4-q7}

    @ load state
    vldr.64  d0,  [r4, #0*8]
    vldr.64  d12, [r4, #1*8]
    vldr.64  d17, [r4, #2*8]
    vldr.64  d22, [r4, #3*8]
    vldr.64  d27, [r4, #4*8]

    GET_DATA_POINTER(ip, _gcry_keccak_round_consts_64bit, lr);

    vldr.64  d1,  [r4, #5*8]
    vldr.64  d13, [r4, #6*8]
    vldr.64  d18, [r4, #7*8]
    vldr.64  d23, [r4, #8*8]
    vldr.64  d28, [r4, #9*8]

    vldr.64  d2,  [r4, #10*8]
    vldr.64  d14, [r4, #11*8]
    vldr.64  d19, [r4, #12*8]
    vldr.64  d24, [r4, #13*8]
    vldr.64  d29, [r4, #14*8]

    vldr.64  d3,  [r4, #15*8]
    vldr.64  d15, [r4, #16*8]
    vldr.64  d20, [r4, #17*8]
    vldr.64  d25, [r4, #18*8]
    vldr.64  d30, [r4, #19*8]

    vldr.64  d4,  [r4, #20*8]
    vldr.64  d16, [r4, #21*8]
    vldr.64  d21, [r4, #22*8]
    vldr.64  d26, [r4, #23*8]
    vldr.64  d31, [r4, #24*8]

.Lmain_loop:

    @ detect absorb mode (full blocks vs lanes)

    cmp r1, #0		@ pos != 0
    bne .Llanes_loop

.Lmain_loop_pos0:

    @ full blocks mode

    @ switch (blocksize)
    cmp r5, #21
    beq .Lfull_block_21
    cmp r5, #18
    beq .Lfull_block_18
    cmp r5, #17
    beq .Lfull_block_17
    cmp r5, #13
    beq .Lfull_block_13
    cmp r5, #9
    beq .Lfull_block_9

    @ unknown blocksize
    b .Llanes_loop

.Lfull_block_21:

    @ SHAKE128

    cmp r3, #21		@ nlanes < blocklanes
    blo .Llanes_loop

    sub    sp,sp, #5*8

    vld1.64 {d5-d8}, [r2]!
    veor d0,  d5
    vld1.64 {d9-d11}, [r2]!
    veor d12, d6
    veor d17, d7
    veor d22, d8
    vld1.64 {d5-d8}, [r2]!
    veor d27, d9

    veor d1,  d10
    veor d13, d11
    vld1.64 {d9-d11}, [r2]!
    veor d18, d5
    veor d23, d6
    veor d28, d7

    veor d2,  d8
    vld1.64 {d5-d8}, [r2]!
    veor d14, d9
    veor d19, d10
    veor d24, d11
    vld1.64 {d9-d11}, [r2]!
    veor d29, d5

    veor d3,  d6
    veor d15, d7
    veor d20, d8
    veor d25, d9
    veor d30, d10

    veor d4,  d11

    vstr.64  d0, [sp, #Aba]
    vstr.64  d1, [sp, #Aga]
    veor.64 q0, q0, q1
    vstr.64  d2, [sp, #Aka]
    veor.64 d5, d0,  d1
    vstr.64  d3, [sp, #Ama]
    vstr.64  d4, [sp, #Asa]
    veor.64 d5, d5,  d4

    bl KeccakF_armv7a_neon_asm

    subs r3, #21	@ nlanes -= 21
    vpop.64  { d0-d4 }

    beq .Ldone

    b .Lfull_block_21

.Lfull_block_18:

    @ SHA3-224

    cmp r3, #18		@ nlanes < blocklanes
    blo .Llanes_loop

    sub    sp,sp, #5*8

    vld1.64 {d5-d8}, [r2]!
    veor d0,  d5
    vld1.64 {d9-d11}, [r2]!
    veor d12, d6
    veor d17, d7
    veor d22, d8
    vld1.64 {d5-d8}, [r2]!
    veor d27, d9

    veor d1,  d10
    veor d13, d11
    vld1.64 {d9-d11}, [r2]!
    veor d18, d5
    veor d23, d6
    veor d28, d7

    veor d2,  d8
    vld1.64 {d5-d8}, [r2]!
    veor d14, d9
    veor d19, d10
    veor d24, d11
    veor d29, d5

    veor d3,  d6
    veor d15, d7
    veor d20, d8

    vstr.64  d0, [sp, #Aba]
    vstr.64  d1, [sp, #Aga]
    veor.64 q0, q0, q1
    vstr.64  d2, [sp, #Aka]
    veor.64 d5, d0,  d1
    vstr.64  d3, [sp, #Ama]
    vstr.64  d4, [sp, #Asa]
    veor.64 d5, d5,  d4

    bl KeccakF_armv7a_neon_asm

    subs r3, #18	@ nlanes -= 18
    vpop.64  { d0-d4 }

    beq .Ldone

    b .Lfull_block_18

.Lfull_block_17:

    @ SHA3-256 & SHAKE256

    cmp r3, #17		@ nlanes < blocklanes
    blo .Llanes_loop

    sub    sp,sp, #5*8

    vld1.64 {d5-d8}, [r2]!
    veor d0,  d5
    vld1.64 {d9-d11}, [r2]!
    veor d12, d6
    veor d17, d7
    veor d22, d8
    vld1.64 {d5-d8}, [r2]!
    veor d27, d9

    veor d1,  d10
    veor d13, d11
    vld1.64 {d9-d11}, [r2]!
    veor d18, d5
    veor d23, d6
    veor d28, d7

    veor d2,  d8
    vld1.64 {d5-d7}, [r2]!
    veor d14, d9
    veor d19, d10
    veor d24, d11
    veor d29, d5

    veor d3,  d6
    veor d15, d7

    vstr.64  d0, [sp, #Aba]
    vstr.64  d1, [sp, #Aga]
    veor.64 q0, q0, q1
    vstr.64  d2, [sp, #Aka]
    veor.64 d5, d0,  d1
    vstr.64  d3, [sp, #Ama]
    vstr.64  d4, [sp, #Asa]
    veor.64 d5, d5,  d4

    bl KeccakF_armv7a_neon_asm

    subs r3, #17	@ nlanes -= 17
    vpop.64  { d0-d4 }

    beq .Ldone

    b .Lfull_block_17

.Lfull_block_13:

    @ SHA3-384

    cmp r3, #13		@ nlanes < blocklanes
    blo .Llanes_loop

    sub    sp,sp, #5*8

    vld1.64 {d5-d8}, [r2]!
    veor d0,  d5
    vld1.64 {d9-d11}, [r2]!
    veor d12, d6
    veor d17, d7
    veor d22, d8
    vld1.64 {d5-d8}, [r2]!
    veor d27, d9

    veor d1,  d10
    veor d13, d11
    vld1.64 {d9-d10}, [r2]!
    veor d18, d5
    veor d23, d6
    veor d28, d7

    veor d2,  d8
    veor d14, d9
    veor d19, d10

    vstr.64  d0, [sp, #Aba]
    vstr.64  d1, [sp, #Aga]
    veor.64 q0, q0, q1
    vstr.64  d2, [sp, #Aka]
    veor.64 d5, d0,  d1
    vstr.64  d3, [sp, #Ama]
    vstr.64  d4, [sp, #Asa]
    veor.64 d5, d5,  d4

    bl KeccakF_armv7a_neon_asm

    subs r3, #13	@ nlanes -= 13
    vpop.64  { d0-d4 }

    beq .Ldone

    b .Lfull_block_13

.Lfull_block_9:

    @ SHA3-512

    cmp r3, #9		@ nlanes < blocklanes
    blo .Llanes_loop

    sub    sp,sp, #5*8

    vld1.64 {d5-d8}, [r2]!
    veor d0,  d5
    vld1.64 {d9-d11}, [r2]!
    veor d12, d6
    veor d17, d7
    veor d22, d8
    vld1.64 {d5-d6}, [r2]!
    veor d27, d9

    veor d1,  d10
    veor d13, d11
    veor d18, d5
    veor d23, d6

    vstr.64  d0, [sp, #Aba]
    vstr.64  d1, [sp, #Aga]
    veor.64 q0, q0, q1
    vstr.64  d2, [sp, #Aka]
    veor.64 d5, d0,  d1
    vstr.64  d3, [sp, #Ama]
    vstr.64  d4, [sp, #Asa]
    veor.64 d5, d5,  d4

    bl KeccakF_armv7a_neon_asm

    subs r3, #9		@ nlanes -= 9
    vpop.64  { d0-d4 }

    beq .Ldone

    b .Lfull_block_9

.Llanes_loop:

    @ per-lane mode

    @ switch (pos)
    ldrb r0, [pc, r1]
    add pc, pc, r0, lsl #2
.Lswitch_table:
    .byte (.Llane0-.Lswitch_table-4)/4
    .byte (.Llane1-.Lswitch_table-4)/4
    .byte (.Llane2-.Lswitch_table-4)/4
    .byte (.Llane3-.Lswitch_table-4)/4
    .byte (.Llane4-.Lswitch_table-4)/4
    .byte (.Llane5-.Lswitch_table-4)/4
    .byte (.Llane6-.Lswitch_table-4)/4
    .byte (.Llane7-.Lswitch_table-4)/4
    .byte (.Llane8-.Lswitch_table-4)/4
    .byte (.Llane9-.Lswitch_table-4)/4
    .byte (.Llane10-.Lswitch_table-4)/4
    .byte (.Llane11-.Lswitch_table-4)/4
    .byte (.Llane12-.Lswitch_table-4)/4
    .byte (.Llane13-.Lswitch_table-4)/4
    .byte (.Llane14-.Lswitch_table-4)/4
    .byte (.Llane15-.Lswitch_table-4)/4
    .byte (.Llane16-.Lswitch_table-4)/4
    .byte (.Llane17-.Lswitch_table-4)/4
    .byte (.Llane18-.Lswitch_table-4)/4
    .byte (.Llane19-.Lswitch_table-4)/4
    .byte (.Llane20-.Lswitch_table-4)/4
    .byte (.Llane21-.Lswitch_table-4)/4
    .byte (.Llane22-.Lswitch_table-4)/4
    .byte (.Llane23-.Lswitch_table-4)/4
    .byte (.Llane24-.Lswitch_table-4)/4
.p2align 2

#define ABSORB_LANE(label, vreg) \
    label: \
      add     r1, #1; \
      vld1.64 d5, [r2]!; \
      cmp     r1, r5; /* pos == blocklanes */ \
      veor    vreg, vreg, d5; \
      beq     .Llanes_permute; \
      subs    r3, #1; \
      beq     .Ldone;

    ABSORB_LANE(.Llane0, d0)
    ABSORB_LANE(.Llane1, d12)
    ABSORB_LANE(.Llane2, d17)
    ABSORB_LANE(.Llane3, d22)
    ABSORB_LANE(.Llane4, d27)

    ABSORB_LANE(.Llane5, d1)
    ABSORB_LANE(.Llane6, d13)
    ABSORB_LANE(.Llane7, d18)
    ABSORB_LANE(.Llane8, d23)
    ABSORB_LANE(.Llane9, d28)

    ABSORB_LANE(.Llane10, d2)
    ABSORB_LANE(.Llane11, d14)
    ABSORB_LANE(.Llane12, d19)
    ABSORB_LANE(.Llane13, d24)
    ABSORB_LANE(.Llane14, d29)

    ABSORB_LANE(.Llane15, d3)
    ABSORB_LANE(.Llane16, d15)
    ABSORB_LANE(.Llane17, d20)
    ABSORB_LANE(.Llane18, d25)
    ABSORB_LANE(.Llane19, d30)

    ABSORB_LANE(.Llane20, d4)
    ABSORB_LANE(.Llane21, d16)
    ABSORB_LANE(.Llane22, d21)
    ABSORB_LANE(.Llane23, d26)
    ABSORB_LANE(.Llane24, d31)

    b .Llanes_loop

.Llanes_permute:

    sub    sp,sp, #5*8
    vstr.64  d0, [sp, #Aba]
    vstr.64  d1, [sp, #Aga]
    veor.64 q0, q0, q1
    vstr.64  d2, [sp, #Aka]
    veor.64 d5, d0,  d1
    vstr.64  d3, [sp, #Ama]
    vstr.64  d4, [sp, #Asa]
    veor.64 d5, d5,  d4

    bl KeccakF_armv7a_neon_asm

    mov  r1, #0   @ pos <= 0
    subs r3, #1

    vpop.64  { d0-d4 }

    beq  .Ldone

    b .Lmain_loop_pos0

.Ldone:

    @ save state
    vstr.64  d0,  [r4, #0*8]
    vstr.64  d12, [r4, #1*8]
    vstr.64  d17, [r4, #2*8]
    vstr.64  d22, [r4, #3*8]
    vstr.64  d27, [r4, #4*8]

    vstr.64  d1,  [r4, #5*8]
    vstr.64  d13, [r4, #6*8]
    vstr.64  d18, [r4, #7*8]
    vstr.64  d23, [r4, #8*8]
    vstr.64  d28, [r4, #9*8]

    vstr.64  d2,  [r4, #10*8]
    vstr.64  d14, [r4, #11*8]
    vstr.64  d19, [r4, #12*8]
    vstr.64  d24, [r4, #13*8]
    vstr.64  d29, [r4, #14*8]

    vstr.64  d3,  [r4, #15*8]
    vstr.64  d15, [r4, #16*8]
    vstr.64  d20, [r4, #17*8]
    vstr.64  d25, [r4, #18*8]
    vstr.64  d30, [r4, #19*8]

    vstr.64  d4,  [r4, #20*8]
    vstr.64  d16, [r4, #21*8]
    vstr.64  d21, [r4, #22*8]
    vstr.64  d26, [r4, #23*8]
    vstr.64  d31, [r4, #24*8]

    mov   r0, #120
    vpop  {q4-q7}
.Lout:
    pop   {r4-r5, ip, pc}
.p2align 2
.ltorg
.size _gcry_keccak_absorb_lanes64_armv7_neon,.-_gcry_keccak_absorb_lanes64_armv7_neon;

#endif