sha512-core.S_shipped 31 KB

12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970717273747576777879808182838485868788899091929394959697989910010110210310410510610710810911011111211311411511611711811912012112212312412512612712812913013113213313413513613713813914014114214314414514614714814915015115215315415515615715815916016116216316416516616716816917017117217317417517617717817918018118218318418518618718818919019119219319419519619719819920020120220320420520620720820921021121221321421521621721821922022122222322422522622722822923023123223323423523623723823924024124224324424524624724824925025125225325425525625725825926026126226326426526626726826927027127227327427527627727827928028128228328428528628728828929029129229329429529629729829930030130230330430530630730830931031131231331431531631731831932032132232332432532632732832933033133233333433533633733833934034134234334434534634734834935035135235335435535635735835936036136236336436536636736836937037137237337437537637737837938038138238338438538638738838939039139239339439539639739839940040140240340440540640740840941041141241341441541641741841942042142242342442542642742842943043143243343443543643743843944044144244344444544644744844945045145245345445545645745845946046146246346446546646746846947047147247347447547647747847948048148248348448548648748848949049149249349449549649749849950050150250350450550650750850951051151251351451551651751851952052152252352452552652752852953053153253353453553653753853954054154254354454554654754854955055155255355455555655755855956056156256356456556656756856957057157257357457557657757857958058158258358458558658758858959059159259359459559659759859960060160260360460560660760860961061161261361461561661761861962062162262362462562662762862963063163263363463563663763863964064164264364464564664764864965065165265365465565665765865966066166266366466566666766866967067167267367467567667767867968068168268368468568668768868969069169269369469569669769869970070170270370470570670770870971071171271371471571671771871972072172272372472572672772872973073173273373473573673773873974074174274374474574674774874975075175275375475575675775875976076176276376476576676776876977077177277377477577677777877978078178278378478578678778878979079179279379479579679779879980080180280380480580680780880981081181281381481581681781881982082182282382482582682782882983083183283383483583683783883984084184284384484584684784884985085185285385485585685785885986086186286386486586686786886987087187287387487587687787887988088188288388488588688788888989089189289389489589689789889990090190290390490590690790890991091191291391491591691791891992092192292392492592692792892993093193293393493593693793893994094194294394494594694794894995095195295395495595695795895996096196296396496596696796896997097197297397497597697797897998098198298398498598698798898999099199299399499599699799899910001001100210031004100510061007100810091010101110121013101410151016101710181019102010211022102310241025102610271028102910301031103210331034103510361037103810391040104110421043104410451046104710481049105010511052105310541055105610571058105910601061106210631064106510661067106810691070107110721073107410751076107710781079108010811082108310841085108610871088108910901091109210931094
  1. // SPDX-License-Identifier: GPL-2.0
  2. // This code is taken from the OpenSSL project but the author (Andy Polyakov)
  3. // has relicensed it under the GPLv2. Therefore this program is free software;
  4. // you can redistribute it and/or modify it under the terms of the GNU General
  5. // Public License version 2 as published by the Free Software Foundation.
  6. //
  7. // The original headers, including the original license headers, are
  8. // included below for completeness.
  9. // Copyright 2014-2016 The OpenSSL Project Authors. All Rights Reserved.
  10. //
  11. // Licensed under the OpenSSL license (the "License"). You may not use
  12. // this file except in compliance with the License. You can obtain a copy
  13. // in the file LICENSE in the source distribution or at
  14. // https://www.openssl.org/source/license.html
  15. // ====================================================================
  16. // Written by Andy Polyakov <appro@openssl.org> for the OpenSSL
  17. // project. The module is, however, dual licensed under OpenSSL and
  18. // CRYPTOGAMS licenses depending on where you obtain it. For further
  19. // details see http://www.openssl.org/~appro/cryptogams/.
  20. // ====================================================================
  21. //
  22. // SHA256/512 for ARMv8.
  23. //
  24. // Performance in cycles per processed byte and improvement coefficient
  25. // over code generated with "default" compiler:
  26. //
  27. // SHA256-hw SHA256(*) SHA512
  28. // Apple A7 1.97 10.5 (+33%) 6.73 (-1%(**))
  29. // Cortex-A53 2.38 15.5 (+115%) 10.0 (+150%(***))
  30. // Cortex-A57 2.31 11.6 (+86%) 7.51 (+260%(***))
  31. // Denver 2.01 10.5 (+26%) 6.70 (+8%)
  32. // X-Gene 20.0 (+100%) 12.8 (+300%(***))
  33. // Mongoose 2.36 13.0 (+50%) 8.36 (+33%)
  34. //
  35. // (*) Software SHA256 results are of lesser relevance, presented
  36. // mostly for informational purposes.
  37. // (**) The result is a trade-off: it's possible to improve it by
  38. // 10% (or by 1 cycle per round), but at the cost of 20% loss
  39. // on Cortex-A53 (or by 4 cycles per round).
  40. // (***) Super-impressive coefficients over gcc-generated code are
  41. // indication of some compiler "pathology", most notably code
  42. // generated with -mgeneral-regs-only is significanty faster
  43. // and the gap is only 40-90%.
  44. //
  45. // October 2016.
  46. //
  47. // Originally it was reckoned that it makes no sense to implement NEON
  48. // version of SHA256 for 64-bit processors. This is because performance
  49. // improvement on most wide-spread Cortex-A5x processors was observed
  50. // to be marginal, same on Cortex-A53 and ~10% on A57. But then it was
  51. // observed that 32-bit NEON SHA256 performs significantly better than
  52. // 64-bit scalar version on *some* of the more recent processors. As
  53. // result 64-bit NEON version of SHA256 was added to provide best
  54. // all-round performance. For example it executes ~30% faster on X-Gene
  55. // and Mongoose. [For reference, NEON version of SHA512 is bound to
  56. // deliver much less improvement, likely *negative* on Cortex-A5x.
  57. // Which is why NEON support is limited to SHA256.]
  58. #ifndef __KERNEL__
  59. # include "arm_arch.h"
  60. #endif
  61. .text
  62. .extern OPENSSL_armcap_P
  63. .globl sha512_block_data_order
  64. .type sha512_block_data_order,%function
  65. .align 6
  66. sha512_block_data_order:
  67. stp x29,x30,[sp,#-128]!
  68. add x29,sp,#0
  69. stp x19,x20,[sp,#16]
  70. stp x21,x22,[sp,#32]
  71. stp x23,x24,[sp,#48]
  72. stp x25,x26,[sp,#64]
  73. stp x27,x28,[sp,#80]
  74. sub sp,sp,#4*8
  75. ldp x20,x21,[x0] // load context
  76. ldp x22,x23,[x0,#2*8]
  77. ldp x24,x25,[x0,#4*8]
  78. add x2,x1,x2,lsl#7 // end of input
  79. ldp x26,x27,[x0,#6*8]
  80. adr x30,.LK512
  81. stp x0,x2,[x29,#96]
  82. .Loop:
  83. ldp x3,x4,[x1],#2*8
  84. ldr x19,[x30],#8 // *K++
  85. eor x28,x21,x22 // magic seed
  86. str x1,[x29,#112]
  87. #ifndef __AARCH64EB__
  88. rev x3,x3 // 0
  89. #endif
  90. ror x16,x24,#14
  91. add x27,x27,x19 // h+=K[i]
  92. eor x6,x24,x24,ror#23
  93. and x17,x25,x24
  94. bic x19,x26,x24
  95. add x27,x27,x3 // h+=X[i]
  96. orr x17,x17,x19 // Ch(e,f,g)
  97. eor x19,x20,x21 // a^b, b^c in next round
  98. eor x16,x16,x6,ror#18 // Sigma1(e)
  99. ror x6,x20,#28
  100. add x27,x27,x17 // h+=Ch(e,f,g)
  101. eor x17,x20,x20,ror#5
  102. add x27,x27,x16 // h+=Sigma1(e)
  103. and x28,x28,x19 // (b^c)&=(a^b)
  104. add x23,x23,x27 // d+=h
  105. eor x28,x28,x21 // Maj(a,b,c)
  106. eor x17,x6,x17,ror#34 // Sigma0(a)
  107. add x27,x27,x28 // h+=Maj(a,b,c)
  108. ldr x28,[x30],#8 // *K++, x19 in next round
  109. //add x27,x27,x17 // h+=Sigma0(a)
  110. #ifndef __AARCH64EB__
  111. rev x4,x4 // 1
  112. #endif
  113. ldp x5,x6,[x1],#2*8
  114. add x27,x27,x17 // h+=Sigma0(a)
  115. ror x16,x23,#14
  116. add x26,x26,x28 // h+=K[i]
  117. eor x7,x23,x23,ror#23
  118. and x17,x24,x23
  119. bic x28,x25,x23
  120. add x26,x26,x4 // h+=X[i]
  121. orr x17,x17,x28 // Ch(e,f,g)
  122. eor x28,x27,x20 // a^b, b^c in next round
  123. eor x16,x16,x7,ror#18 // Sigma1(e)
  124. ror x7,x27,#28
  125. add x26,x26,x17 // h+=Ch(e,f,g)
  126. eor x17,x27,x27,ror#5
  127. add x26,x26,x16 // h+=Sigma1(e)
  128. and x19,x19,x28 // (b^c)&=(a^b)
  129. add x22,x22,x26 // d+=h
  130. eor x19,x19,x20 // Maj(a,b,c)
  131. eor x17,x7,x17,ror#34 // Sigma0(a)
  132. add x26,x26,x19 // h+=Maj(a,b,c)
  133. ldr x19,[x30],#8 // *K++, x28 in next round
  134. //add x26,x26,x17 // h+=Sigma0(a)
  135. #ifndef __AARCH64EB__
  136. rev x5,x5 // 2
  137. #endif
  138. add x26,x26,x17 // h+=Sigma0(a)
  139. ror x16,x22,#14
  140. add x25,x25,x19 // h+=K[i]
  141. eor x8,x22,x22,ror#23
  142. and x17,x23,x22
  143. bic x19,x24,x22
  144. add x25,x25,x5 // h+=X[i]
  145. orr x17,x17,x19 // Ch(e,f,g)
  146. eor x19,x26,x27 // a^b, b^c in next round
  147. eor x16,x16,x8,ror#18 // Sigma1(e)
  148. ror x8,x26,#28
  149. add x25,x25,x17 // h+=Ch(e,f,g)
  150. eor x17,x26,x26,ror#5
  151. add x25,x25,x16 // h+=Sigma1(e)
  152. and x28,x28,x19 // (b^c)&=(a^b)
  153. add x21,x21,x25 // d+=h
  154. eor x28,x28,x27 // Maj(a,b,c)
  155. eor x17,x8,x17,ror#34 // Sigma0(a)
  156. add x25,x25,x28 // h+=Maj(a,b,c)
  157. ldr x28,[x30],#8 // *K++, x19 in next round
  158. //add x25,x25,x17 // h+=Sigma0(a)
  159. #ifndef __AARCH64EB__
  160. rev x6,x6 // 3
  161. #endif
  162. ldp x7,x8,[x1],#2*8
  163. add x25,x25,x17 // h+=Sigma0(a)
  164. ror x16,x21,#14
  165. add x24,x24,x28 // h+=K[i]
  166. eor x9,x21,x21,ror#23
  167. and x17,x22,x21
  168. bic x28,x23,x21
  169. add x24,x24,x6 // h+=X[i]
  170. orr x17,x17,x28 // Ch(e,f,g)
  171. eor x28,x25,x26 // a^b, b^c in next round
  172. eor x16,x16,x9,ror#18 // Sigma1(e)
  173. ror x9,x25,#28
  174. add x24,x24,x17 // h+=Ch(e,f,g)
  175. eor x17,x25,x25,ror#5
  176. add x24,x24,x16 // h+=Sigma1(e)
  177. and x19,x19,x28 // (b^c)&=(a^b)
  178. add x20,x20,x24 // d+=h
  179. eor x19,x19,x26 // Maj(a,b,c)
  180. eor x17,x9,x17,ror#34 // Sigma0(a)
  181. add x24,x24,x19 // h+=Maj(a,b,c)
  182. ldr x19,[x30],#8 // *K++, x28 in next round
  183. //add x24,x24,x17 // h+=Sigma0(a)
  184. #ifndef __AARCH64EB__
  185. rev x7,x7 // 4
  186. #endif
  187. add x24,x24,x17 // h+=Sigma0(a)
  188. ror x16,x20,#14
  189. add x23,x23,x19 // h+=K[i]
  190. eor x10,x20,x20,ror#23
  191. and x17,x21,x20
  192. bic x19,x22,x20
  193. add x23,x23,x7 // h+=X[i]
  194. orr x17,x17,x19 // Ch(e,f,g)
  195. eor x19,x24,x25 // a^b, b^c in next round
  196. eor x16,x16,x10,ror#18 // Sigma1(e)
  197. ror x10,x24,#28
  198. add x23,x23,x17 // h+=Ch(e,f,g)
  199. eor x17,x24,x24,ror#5
  200. add x23,x23,x16 // h+=Sigma1(e)
  201. and x28,x28,x19 // (b^c)&=(a^b)
  202. add x27,x27,x23 // d+=h
  203. eor x28,x28,x25 // Maj(a,b,c)
  204. eor x17,x10,x17,ror#34 // Sigma0(a)
  205. add x23,x23,x28 // h+=Maj(a,b,c)
  206. ldr x28,[x30],#8 // *K++, x19 in next round
  207. //add x23,x23,x17 // h+=Sigma0(a)
  208. #ifndef __AARCH64EB__
  209. rev x8,x8 // 5
  210. #endif
  211. ldp x9,x10,[x1],#2*8
  212. add x23,x23,x17 // h+=Sigma0(a)
  213. ror x16,x27,#14
  214. add x22,x22,x28 // h+=K[i]
  215. eor x11,x27,x27,ror#23
  216. and x17,x20,x27
  217. bic x28,x21,x27
  218. add x22,x22,x8 // h+=X[i]
  219. orr x17,x17,x28 // Ch(e,f,g)
  220. eor x28,x23,x24 // a^b, b^c in next round
  221. eor x16,x16,x11,ror#18 // Sigma1(e)
  222. ror x11,x23,#28
  223. add x22,x22,x17 // h+=Ch(e,f,g)
  224. eor x17,x23,x23,ror#5
  225. add x22,x22,x16 // h+=Sigma1(e)
  226. and x19,x19,x28 // (b^c)&=(a^b)
  227. add x26,x26,x22 // d+=h
  228. eor x19,x19,x24 // Maj(a,b,c)
  229. eor x17,x11,x17,ror#34 // Sigma0(a)
  230. add x22,x22,x19 // h+=Maj(a,b,c)
  231. ldr x19,[x30],#8 // *K++, x28 in next round
  232. //add x22,x22,x17 // h+=Sigma0(a)
  233. #ifndef __AARCH64EB__
  234. rev x9,x9 // 6
  235. #endif
  236. add x22,x22,x17 // h+=Sigma0(a)
  237. ror x16,x26,#14
  238. add x21,x21,x19 // h+=K[i]
  239. eor x12,x26,x26,ror#23
  240. and x17,x27,x26
  241. bic x19,x20,x26
  242. add x21,x21,x9 // h+=X[i]
  243. orr x17,x17,x19 // Ch(e,f,g)
  244. eor x19,x22,x23 // a^b, b^c in next round
  245. eor x16,x16,x12,ror#18 // Sigma1(e)
  246. ror x12,x22,#28
  247. add x21,x21,x17 // h+=Ch(e,f,g)
  248. eor x17,x22,x22,ror#5
  249. add x21,x21,x16 // h+=Sigma1(e)
  250. and x28,x28,x19 // (b^c)&=(a^b)
  251. add x25,x25,x21 // d+=h
  252. eor x28,x28,x23 // Maj(a,b,c)
  253. eor x17,x12,x17,ror#34 // Sigma0(a)
  254. add x21,x21,x28 // h+=Maj(a,b,c)
  255. ldr x28,[x30],#8 // *K++, x19 in next round
  256. //add x21,x21,x17 // h+=Sigma0(a)
  257. #ifndef __AARCH64EB__
  258. rev x10,x10 // 7
  259. #endif
  260. ldp x11,x12,[x1],#2*8
  261. add x21,x21,x17 // h+=Sigma0(a)
  262. ror x16,x25,#14
  263. add x20,x20,x28 // h+=K[i]
  264. eor x13,x25,x25,ror#23
  265. and x17,x26,x25
  266. bic x28,x27,x25
  267. add x20,x20,x10 // h+=X[i]
  268. orr x17,x17,x28 // Ch(e,f,g)
  269. eor x28,x21,x22 // a^b, b^c in next round
  270. eor x16,x16,x13,ror#18 // Sigma1(e)
  271. ror x13,x21,#28
  272. add x20,x20,x17 // h+=Ch(e,f,g)
  273. eor x17,x21,x21,ror#5
  274. add x20,x20,x16 // h+=Sigma1(e)
  275. and x19,x19,x28 // (b^c)&=(a^b)
  276. add x24,x24,x20 // d+=h
  277. eor x19,x19,x22 // Maj(a,b,c)
  278. eor x17,x13,x17,ror#34 // Sigma0(a)
  279. add x20,x20,x19 // h+=Maj(a,b,c)
  280. ldr x19,[x30],#8 // *K++, x28 in next round
  281. //add x20,x20,x17 // h+=Sigma0(a)
  282. #ifndef __AARCH64EB__
  283. rev x11,x11 // 8
  284. #endif
  285. add x20,x20,x17 // h+=Sigma0(a)
  286. ror x16,x24,#14
  287. add x27,x27,x19 // h+=K[i]
  288. eor x14,x24,x24,ror#23
  289. and x17,x25,x24
  290. bic x19,x26,x24
  291. add x27,x27,x11 // h+=X[i]
  292. orr x17,x17,x19 // Ch(e,f,g)
  293. eor x19,x20,x21 // a^b, b^c in next round
  294. eor x16,x16,x14,ror#18 // Sigma1(e)
  295. ror x14,x20,#28
  296. add x27,x27,x17 // h+=Ch(e,f,g)
  297. eor x17,x20,x20,ror#5
  298. add x27,x27,x16 // h+=Sigma1(e)
  299. and x28,x28,x19 // (b^c)&=(a^b)
  300. add x23,x23,x27 // d+=h
  301. eor x28,x28,x21 // Maj(a,b,c)
  302. eor x17,x14,x17,ror#34 // Sigma0(a)
  303. add x27,x27,x28 // h+=Maj(a,b,c)
  304. ldr x28,[x30],#8 // *K++, x19 in next round
  305. //add x27,x27,x17 // h+=Sigma0(a)
  306. #ifndef __AARCH64EB__
  307. rev x12,x12 // 9
  308. #endif
  309. ldp x13,x14,[x1],#2*8
  310. add x27,x27,x17 // h+=Sigma0(a)
  311. ror x16,x23,#14
  312. add x26,x26,x28 // h+=K[i]
  313. eor x15,x23,x23,ror#23
  314. and x17,x24,x23
  315. bic x28,x25,x23
  316. add x26,x26,x12 // h+=X[i]
  317. orr x17,x17,x28 // Ch(e,f,g)
  318. eor x28,x27,x20 // a^b, b^c in next round
  319. eor x16,x16,x15,ror#18 // Sigma1(e)
  320. ror x15,x27,#28
  321. add x26,x26,x17 // h+=Ch(e,f,g)
  322. eor x17,x27,x27,ror#5
  323. add x26,x26,x16 // h+=Sigma1(e)
  324. and x19,x19,x28 // (b^c)&=(a^b)
  325. add x22,x22,x26 // d+=h
  326. eor x19,x19,x20 // Maj(a,b,c)
  327. eor x17,x15,x17,ror#34 // Sigma0(a)
  328. add x26,x26,x19 // h+=Maj(a,b,c)
  329. ldr x19,[x30],#8 // *K++, x28 in next round
  330. //add x26,x26,x17 // h+=Sigma0(a)
  331. #ifndef __AARCH64EB__
  332. rev x13,x13 // 10
  333. #endif
  334. add x26,x26,x17 // h+=Sigma0(a)
  335. ror x16,x22,#14
  336. add x25,x25,x19 // h+=K[i]
  337. eor x0,x22,x22,ror#23
  338. and x17,x23,x22
  339. bic x19,x24,x22
  340. add x25,x25,x13 // h+=X[i]
  341. orr x17,x17,x19 // Ch(e,f,g)
  342. eor x19,x26,x27 // a^b, b^c in next round
  343. eor x16,x16,x0,ror#18 // Sigma1(e)
  344. ror x0,x26,#28
  345. add x25,x25,x17 // h+=Ch(e,f,g)
  346. eor x17,x26,x26,ror#5
  347. add x25,x25,x16 // h+=Sigma1(e)
  348. and x28,x28,x19 // (b^c)&=(a^b)
  349. add x21,x21,x25 // d+=h
  350. eor x28,x28,x27 // Maj(a,b,c)
  351. eor x17,x0,x17,ror#34 // Sigma0(a)
  352. add x25,x25,x28 // h+=Maj(a,b,c)
  353. ldr x28,[x30],#8 // *K++, x19 in next round
  354. //add x25,x25,x17 // h+=Sigma0(a)
  355. #ifndef __AARCH64EB__
  356. rev x14,x14 // 11
  357. #endif
  358. ldp x15,x0,[x1],#2*8
  359. add x25,x25,x17 // h+=Sigma0(a)
  360. str x6,[sp,#24]
  361. ror x16,x21,#14
  362. add x24,x24,x28 // h+=K[i]
  363. eor x6,x21,x21,ror#23
  364. and x17,x22,x21
  365. bic x28,x23,x21
  366. add x24,x24,x14 // h+=X[i]
  367. orr x17,x17,x28 // Ch(e,f,g)
  368. eor x28,x25,x26 // a^b, b^c in next round
  369. eor x16,x16,x6,ror#18 // Sigma1(e)
  370. ror x6,x25,#28
  371. add x24,x24,x17 // h+=Ch(e,f,g)
  372. eor x17,x25,x25,ror#5
  373. add x24,x24,x16 // h+=Sigma1(e)
  374. and x19,x19,x28 // (b^c)&=(a^b)
  375. add x20,x20,x24 // d+=h
  376. eor x19,x19,x26 // Maj(a,b,c)
  377. eor x17,x6,x17,ror#34 // Sigma0(a)
  378. add x24,x24,x19 // h+=Maj(a,b,c)
  379. ldr x19,[x30],#8 // *K++, x28 in next round
  380. //add x24,x24,x17 // h+=Sigma0(a)
  381. #ifndef __AARCH64EB__
  382. rev x15,x15 // 12
  383. #endif
  384. add x24,x24,x17 // h+=Sigma0(a)
  385. str x7,[sp,#0]
  386. ror x16,x20,#14
  387. add x23,x23,x19 // h+=K[i]
  388. eor x7,x20,x20,ror#23
  389. and x17,x21,x20
  390. bic x19,x22,x20
  391. add x23,x23,x15 // h+=X[i]
  392. orr x17,x17,x19 // Ch(e,f,g)
  393. eor x19,x24,x25 // a^b, b^c in next round
  394. eor x16,x16,x7,ror#18 // Sigma1(e)
  395. ror x7,x24,#28
  396. add x23,x23,x17 // h+=Ch(e,f,g)
  397. eor x17,x24,x24,ror#5
  398. add x23,x23,x16 // h+=Sigma1(e)
  399. and x28,x28,x19 // (b^c)&=(a^b)
  400. add x27,x27,x23 // d+=h
  401. eor x28,x28,x25 // Maj(a,b,c)
  402. eor x17,x7,x17,ror#34 // Sigma0(a)
  403. add x23,x23,x28 // h+=Maj(a,b,c)
  404. ldr x28,[x30],#8 // *K++, x19 in next round
  405. //add x23,x23,x17 // h+=Sigma0(a)
  406. #ifndef __AARCH64EB__
  407. rev x0,x0 // 13
  408. #endif
  409. ldp x1,x2,[x1]
  410. add x23,x23,x17 // h+=Sigma0(a)
  411. str x8,[sp,#8]
  412. ror x16,x27,#14
  413. add x22,x22,x28 // h+=K[i]
  414. eor x8,x27,x27,ror#23
  415. and x17,x20,x27
  416. bic x28,x21,x27
  417. add x22,x22,x0 // h+=X[i]
  418. orr x17,x17,x28 // Ch(e,f,g)
  419. eor x28,x23,x24 // a^b, b^c in next round
  420. eor x16,x16,x8,ror#18 // Sigma1(e)
  421. ror x8,x23,#28
  422. add x22,x22,x17 // h+=Ch(e,f,g)
  423. eor x17,x23,x23,ror#5
  424. add x22,x22,x16 // h+=Sigma1(e)
  425. and x19,x19,x28 // (b^c)&=(a^b)
  426. add x26,x26,x22 // d+=h
  427. eor x19,x19,x24 // Maj(a,b,c)
  428. eor x17,x8,x17,ror#34 // Sigma0(a)
  429. add x22,x22,x19 // h+=Maj(a,b,c)
  430. ldr x19,[x30],#8 // *K++, x28 in next round
  431. //add x22,x22,x17 // h+=Sigma0(a)
  432. #ifndef __AARCH64EB__
  433. rev x1,x1 // 14
  434. #endif
  435. ldr x6,[sp,#24]
  436. add x22,x22,x17 // h+=Sigma0(a)
  437. str x9,[sp,#16]
  438. ror x16,x26,#14
  439. add x21,x21,x19 // h+=K[i]
  440. eor x9,x26,x26,ror#23
  441. and x17,x27,x26
  442. bic x19,x20,x26
  443. add x21,x21,x1 // h+=X[i]
  444. orr x17,x17,x19 // Ch(e,f,g)
  445. eor x19,x22,x23 // a^b, b^c in next round
  446. eor x16,x16,x9,ror#18 // Sigma1(e)
  447. ror x9,x22,#28
  448. add x21,x21,x17 // h+=Ch(e,f,g)
  449. eor x17,x22,x22,ror#5
  450. add x21,x21,x16 // h+=Sigma1(e)
  451. and x28,x28,x19 // (b^c)&=(a^b)
  452. add x25,x25,x21 // d+=h
  453. eor x28,x28,x23 // Maj(a,b,c)
  454. eor x17,x9,x17,ror#34 // Sigma0(a)
  455. add x21,x21,x28 // h+=Maj(a,b,c)
  456. ldr x28,[x30],#8 // *K++, x19 in next round
  457. //add x21,x21,x17 // h+=Sigma0(a)
  458. #ifndef __AARCH64EB__
  459. rev x2,x2 // 15
  460. #endif
  461. ldr x7,[sp,#0]
  462. add x21,x21,x17 // h+=Sigma0(a)
  463. str x10,[sp,#24]
  464. ror x16,x25,#14
  465. add x20,x20,x28 // h+=K[i]
  466. ror x9,x4,#1
  467. and x17,x26,x25
  468. ror x8,x1,#19
  469. bic x28,x27,x25
  470. ror x10,x21,#28
  471. add x20,x20,x2 // h+=X[i]
  472. eor x16,x16,x25,ror#18
  473. eor x9,x9,x4,ror#8
  474. orr x17,x17,x28 // Ch(e,f,g)
  475. eor x28,x21,x22 // a^b, b^c in next round
  476. eor x16,x16,x25,ror#41 // Sigma1(e)
  477. eor x10,x10,x21,ror#34
  478. add x20,x20,x17 // h+=Ch(e,f,g)
  479. and x19,x19,x28 // (b^c)&=(a^b)
  480. eor x8,x8,x1,ror#61
  481. eor x9,x9,x4,lsr#7 // sigma0(X[i+1])
  482. add x20,x20,x16 // h+=Sigma1(e)
  483. eor x19,x19,x22 // Maj(a,b,c)
  484. eor x17,x10,x21,ror#39 // Sigma0(a)
  485. eor x8,x8,x1,lsr#6 // sigma1(X[i+14])
  486. add x3,x3,x12
  487. add x24,x24,x20 // d+=h
  488. add x20,x20,x19 // h+=Maj(a,b,c)
  489. ldr x19,[x30],#8 // *K++, x28 in next round
  490. add x3,x3,x9
  491. add x20,x20,x17 // h+=Sigma0(a)
  492. add x3,x3,x8
  493. .Loop_16_xx:
  494. ldr x8,[sp,#8]
  495. str x11,[sp,#0]
  496. ror x16,x24,#14
  497. add x27,x27,x19 // h+=K[i]
  498. ror x10,x5,#1
  499. and x17,x25,x24
  500. ror x9,x2,#19
  501. bic x19,x26,x24
  502. ror x11,x20,#28
  503. add x27,x27,x3 // h+=X[i]
  504. eor x16,x16,x24,ror#18
  505. eor x10,x10,x5,ror#8
  506. orr x17,x17,x19 // Ch(e,f,g)
  507. eor x19,x20,x21 // a^b, b^c in next round
  508. eor x16,x16,x24,ror#41 // Sigma1(e)
  509. eor x11,x11,x20,ror#34
  510. add x27,x27,x17 // h+=Ch(e,f,g)
  511. and x28,x28,x19 // (b^c)&=(a^b)
  512. eor x9,x9,x2,ror#61
  513. eor x10,x10,x5,lsr#7 // sigma0(X[i+1])
  514. add x27,x27,x16 // h+=Sigma1(e)
  515. eor x28,x28,x21 // Maj(a,b,c)
  516. eor x17,x11,x20,ror#39 // Sigma0(a)
  517. eor x9,x9,x2,lsr#6 // sigma1(X[i+14])
  518. add x4,x4,x13
  519. add x23,x23,x27 // d+=h
  520. add x27,x27,x28 // h+=Maj(a,b,c)
  521. ldr x28,[x30],#8 // *K++, x19 in next round
  522. add x4,x4,x10
  523. add x27,x27,x17 // h+=Sigma0(a)
  524. add x4,x4,x9
  525. ldr x9,[sp,#16]
  526. str x12,[sp,#8]
  527. ror x16,x23,#14
  528. add x26,x26,x28 // h+=K[i]
  529. ror x11,x6,#1
  530. and x17,x24,x23
  531. ror x10,x3,#19
  532. bic x28,x25,x23
  533. ror x12,x27,#28
  534. add x26,x26,x4 // h+=X[i]
  535. eor x16,x16,x23,ror#18
  536. eor x11,x11,x6,ror#8
  537. orr x17,x17,x28 // Ch(e,f,g)
  538. eor x28,x27,x20 // a^b, b^c in next round
  539. eor x16,x16,x23,ror#41 // Sigma1(e)
  540. eor x12,x12,x27,ror#34
  541. add x26,x26,x17 // h+=Ch(e,f,g)
  542. and x19,x19,x28 // (b^c)&=(a^b)
  543. eor x10,x10,x3,ror#61
  544. eor x11,x11,x6,lsr#7 // sigma0(X[i+1])
  545. add x26,x26,x16 // h+=Sigma1(e)
  546. eor x19,x19,x20 // Maj(a,b,c)
  547. eor x17,x12,x27,ror#39 // Sigma0(a)
  548. eor x10,x10,x3,lsr#6 // sigma1(X[i+14])
  549. add x5,x5,x14
  550. add x22,x22,x26 // d+=h
  551. add x26,x26,x19 // h+=Maj(a,b,c)
  552. ldr x19,[x30],#8 // *K++, x28 in next round
  553. add x5,x5,x11
  554. add x26,x26,x17 // h+=Sigma0(a)
  555. add x5,x5,x10
  556. ldr x10,[sp,#24]
  557. str x13,[sp,#16]
  558. ror x16,x22,#14
  559. add x25,x25,x19 // h+=K[i]
  560. ror x12,x7,#1
  561. and x17,x23,x22
  562. ror x11,x4,#19
  563. bic x19,x24,x22
  564. ror x13,x26,#28
  565. add x25,x25,x5 // h+=X[i]
  566. eor x16,x16,x22,ror#18
  567. eor x12,x12,x7,ror#8
  568. orr x17,x17,x19 // Ch(e,f,g)
  569. eor x19,x26,x27 // a^b, b^c in next round
  570. eor x16,x16,x22,ror#41 // Sigma1(e)
  571. eor x13,x13,x26,ror#34
  572. add x25,x25,x17 // h+=Ch(e,f,g)
  573. and x28,x28,x19 // (b^c)&=(a^b)
  574. eor x11,x11,x4,ror#61
  575. eor x12,x12,x7,lsr#7 // sigma0(X[i+1])
  576. add x25,x25,x16 // h+=Sigma1(e)
  577. eor x28,x28,x27 // Maj(a,b,c)
  578. eor x17,x13,x26,ror#39 // Sigma0(a)
  579. eor x11,x11,x4,lsr#6 // sigma1(X[i+14])
  580. add x6,x6,x15
  581. add x21,x21,x25 // d+=h
  582. add x25,x25,x28 // h+=Maj(a,b,c)
  583. ldr x28,[x30],#8 // *K++, x19 in next round
  584. add x6,x6,x12
  585. add x25,x25,x17 // h+=Sigma0(a)
  586. add x6,x6,x11
  587. ldr x11,[sp,#0]
  588. str x14,[sp,#24]
  589. ror x16,x21,#14
  590. add x24,x24,x28 // h+=K[i]
  591. ror x13,x8,#1
  592. and x17,x22,x21
  593. ror x12,x5,#19
  594. bic x28,x23,x21
  595. ror x14,x25,#28
  596. add x24,x24,x6 // h+=X[i]
  597. eor x16,x16,x21,ror#18
  598. eor x13,x13,x8,ror#8
  599. orr x17,x17,x28 // Ch(e,f,g)
  600. eor x28,x25,x26 // a^b, b^c in next round
  601. eor x16,x16,x21,ror#41 // Sigma1(e)
  602. eor x14,x14,x25,ror#34
  603. add x24,x24,x17 // h+=Ch(e,f,g)
  604. and x19,x19,x28 // (b^c)&=(a^b)
  605. eor x12,x12,x5,ror#61
  606. eor x13,x13,x8,lsr#7 // sigma0(X[i+1])
  607. add x24,x24,x16 // h+=Sigma1(e)
  608. eor x19,x19,x26 // Maj(a,b,c)
  609. eor x17,x14,x25,ror#39 // Sigma0(a)
  610. eor x12,x12,x5,lsr#6 // sigma1(X[i+14])
  611. add x7,x7,x0
  612. add x20,x20,x24 // d+=h
  613. add x24,x24,x19 // h+=Maj(a,b,c)
  614. ldr x19,[x30],#8 // *K++, x28 in next round
  615. add x7,x7,x13
  616. add x24,x24,x17 // h+=Sigma0(a)
  617. add x7,x7,x12
  618. ldr x12,[sp,#8]
  619. str x15,[sp,#0]
  620. ror x16,x20,#14
  621. add x23,x23,x19 // h+=K[i]
  622. ror x14,x9,#1
  623. and x17,x21,x20
  624. ror x13,x6,#19
  625. bic x19,x22,x20
  626. ror x15,x24,#28
  627. add x23,x23,x7 // h+=X[i]
  628. eor x16,x16,x20,ror#18
  629. eor x14,x14,x9,ror#8
  630. orr x17,x17,x19 // Ch(e,f,g)
  631. eor x19,x24,x25 // a^b, b^c in next round
  632. eor x16,x16,x20,ror#41 // Sigma1(e)
  633. eor x15,x15,x24,ror#34
  634. add x23,x23,x17 // h+=Ch(e,f,g)
  635. and x28,x28,x19 // (b^c)&=(a^b)
  636. eor x13,x13,x6,ror#61
  637. eor x14,x14,x9,lsr#7 // sigma0(X[i+1])
  638. add x23,x23,x16 // h+=Sigma1(e)
  639. eor x28,x28,x25 // Maj(a,b,c)
  640. eor x17,x15,x24,ror#39 // Sigma0(a)
  641. eor x13,x13,x6,lsr#6 // sigma1(X[i+14])
  642. add x8,x8,x1
  643. add x27,x27,x23 // d+=h
  644. add x23,x23,x28 // h+=Maj(a,b,c)
  645. ldr x28,[x30],#8 // *K++, x19 in next round
  646. add x8,x8,x14
  647. add x23,x23,x17 // h+=Sigma0(a)
  648. add x8,x8,x13
  649. ldr x13,[sp,#16]
  650. str x0,[sp,#8]
  651. ror x16,x27,#14
  652. add x22,x22,x28 // h+=K[i]
  653. ror x15,x10,#1
  654. and x17,x20,x27
  655. ror x14,x7,#19
  656. bic x28,x21,x27
  657. ror x0,x23,#28
  658. add x22,x22,x8 // h+=X[i]
  659. eor x16,x16,x27,ror#18
  660. eor x15,x15,x10,ror#8
  661. orr x17,x17,x28 // Ch(e,f,g)
  662. eor x28,x23,x24 // a^b, b^c in next round
  663. eor x16,x16,x27,ror#41 // Sigma1(e)
  664. eor x0,x0,x23,ror#34
  665. add x22,x22,x17 // h+=Ch(e,f,g)
  666. and x19,x19,x28 // (b^c)&=(a^b)
  667. eor x14,x14,x7,ror#61
  668. eor x15,x15,x10,lsr#7 // sigma0(X[i+1])
  669. add x22,x22,x16 // h+=Sigma1(e)
  670. eor x19,x19,x24 // Maj(a,b,c)
  671. eor x17,x0,x23,ror#39 // Sigma0(a)
  672. eor x14,x14,x7,lsr#6 // sigma1(X[i+14])
  673. add x9,x9,x2
  674. add x26,x26,x22 // d+=h
  675. add x22,x22,x19 // h+=Maj(a,b,c)
  676. ldr x19,[x30],#8 // *K++, x28 in next round
  677. add x9,x9,x15
  678. add x22,x22,x17 // h+=Sigma0(a)
  679. add x9,x9,x14
  680. ldr x14,[sp,#24]
  681. str x1,[sp,#16]
  682. ror x16,x26,#14
  683. add x21,x21,x19 // h+=K[i]
  684. ror x0,x11,#1
  685. and x17,x27,x26
  686. ror x15,x8,#19
  687. bic x19,x20,x26
  688. ror x1,x22,#28
  689. add x21,x21,x9 // h+=X[i]
  690. eor x16,x16,x26,ror#18
  691. eor x0,x0,x11,ror#8
  692. orr x17,x17,x19 // Ch(e,f,g)
  693. eor x19,x22,x23 // a^b, b^c in next round
  694. eor x16,x16,x26,ror#41 // Sigma1(e)
  695. eor x1,x1,x22,ror#34
  696. add x21,x21,x17 // h+=Ch(e,f,g)
  697. and x28,x28,x19 // (b^c)&=(a^b)
  698. eor x15,x15,x8,ror#61
  699. eor x0,x0,x11,lsr#7 // sigma0(X[i+1])
  700. add x21,x21,x16 // h+=Sigma1(e)
  701. eor x28,x28,x23 // Maj(a,b,c)
  702. eor x17,x1,x22,ror#39 // Sigma0(a)
  703. eor x15,x15,x8,lsr#6 // sigma1(X[i+14])
  704. add x10,x10,x3
  705. add x25,x25,x21 // d+=h
  706. add x21,x21,x28 // h+=Maj(a,b,c)
  707. ldr x28,[x30],#8 // *K++, x19 in next round
  708. add x10,x10,x0
  709. add x21,x21,x17 // h+=Sigma0(a)
  710. add x10,x10,x15
  711. ldr x15,[sp,#0]
  712. str x2,[sp,#24]
  713. ror x16,x25,#14
  714. add x20,x20,x28 // h+=K[i]
  715. ror x1,x12,#1
  716. and x17,x26,x25
  717. ror x0,x9,#19
  718. bic x28,x27,x25
  719. ror x2,x21,#28
  720. add x20,x20,x10 // h+=X[i]
  721. eor x16,x16,x25,ror#18
  722. eor x1,x1,x12,ror#8
  723. orr x17,x17,x28 // Ch(e,f,g)
  724. eor x28,x21,x22 // a^b, b^c in next round
  725. eor x16,x16,x25,ror#41 // Sigma1(e)
  726. eor x2,x2,x21,ror#34
  727. add x20,x20,x17 // h+=Ch(e,f,g)
  728. and x19,x19,x28 // (b^c)&=(a^b)
  729. eor x0,x0,x9,ror#61
  730. eor x1,x1,x12,lsr#7 // sigma0(X[i+1])
  731. add x20,x20,x16 // h+=Sigma1(e)
  732. eor x19,x19,x22 // Maj(a,b,c)
  733. eor x17,x2,x21,ror#39 // Sigma0(a)
  734. eor x0,x0,x9,lsr#6 // sigma1(X[i+14])
  735. add x11,x11,x4
  736. add x24,x24,x20 // d+=h
  737. add x20,x20,x19 // h+=Maj(a,b,c)
  738. ldr x19,[x30],#8 // *K++, x28 in next round
  739. add x11,x11,x1
  740. add x20,x20,x17 // h+=Sigma0(a)
  741. add x11,x11,x0
  742. ldr x0,[sp,#8]
  743. str x3,[sp,#0]
  744. ror x16,x24,#14
  745. add x27,x27,x19 // h+=K[i]
  746. ror x2,x13,#1
  747. and x17,x25,x24
  748. ror x1,x10,#19
  749. bic x19,x26,x24
  750. ror x3,x20,#28
  751. add x27,x27,x11 // h+=X[i]
  752. eor x16,x16,x24,ror#18
  753. eor x2,x2,x13,ror#8
  754. orr x17,x17,x19 // Ch(e,f,g)
  755. eor x19,x20,x21 // a^b, b^c in next round
  756. eor x16,x16,x24,ror#41 // Sigma1(e)
  757. eor x3,x3,x20,ror#34
  758. add x27,x27,x17 // h+=Ch(e,f,g)
  759. and x28,x28,x19 // (b^c)&=(a^b)
  760. eor x1,x1,x10,ror#61
  761. eor x2,x2,x13,lsr#7 // sigma0(X[i+1])
  762. add x27,x27,x16 // h+=Sigma1(e)
  763. eor x28,x28,x21 // Maj(a,b,c)
  764. eor x17,x3,x20,ror#39 // Sigma0(a)
  765. eor x1,x1,x10,lsr#6 // sigma1(X[i+14])
  766. add x12,x12,x5
  767. add x23,x23,x27 // d+=h
  768. add x27,x27,x28 // h+=Maj(a,b,c)
  769. ldr x28,[x30],#8 // *K++, x19 in next round
  770. add x12,x12,x2
  771. add x27,x27,x17 // h+=Sigma0(a)
  772. add x12,x12,x1
  773. ldr x1,[sp,#16]
  774. str x4,[sp,#8]
  775. ror x16,x23,#14
  776. add x26,x26,x28 // h+=K[i]
  777. ror x3,x14,#1
  778. and x17,x24,x23
  779. ror x2,x11,#19
  780. bic x28,x25,x23
  781. ror x4,x27,#28
  782. add x26,x26,x12 // h+=X[i]
  783. eor x16,x16,x23,ror#18
  784. eor x3,x3,x14,ror#8
  785. orr x17,x17,x28 // Ch(e,f,g)
  786. eor x28,x27,x20 // a^b, b^c in next round
  787. eor x16,x16,x23,ror#41 // Sigma1(e)
  788. eor x4,x4,x27,ror#34
  789. add x26,x26,x17 // h+=Ch(e,f,g)
  790. and x19,x19,x28 // (b^c)&=(a^b)
  791. eor x2,x2,x11,ror#61
  792. eor x3,x3,x14,lsr#7 // sigma0(X[i+1])
  793. add x26,x26,x16 // h+=Sigma1(e)
  794. eor x19,x19,x20 // Maj(a,b,c)
  795. eor x17,x4,x27,ror#39 // Sigma0(a)
  796. eor x2,x2,x11,lsr#6 // sigma1(X[i+14])
  797. add x13,x13,x6
  798. add x22,x22,x26 // d+=h
  799. add x26,x26,x19 // h+=Maj(a,b,c)
  800. ldr x19,[x30],#8 // *K++, x28 in next round
  801. add x13,x13,x3
  802. add x26,x26,x17 // h+=Sigma0(a)
  803. add x13,x13,x2
  804. ldr x2,[sp,#24]
  805. str x5,[sp,#16]
  806. ror x16,x22,#14
  807. add x25,x25,x19 // h+=K[i]
  808. ror x4,x15,#1
  809. and x17,x23,x22
  810. ror x3,x12,#19
  811. bic x19,x24,x22
  812. ror x5,x26,#28
  813. add x25,x25,x13 // h+=X[i]
  814. eor x16,x16,x22,ror#18
  815. eor x4,x4,x15,ror#8
  816. orr x17,x17,x19 // Ch(e,f,g)
  817. eor x19,x26,x27 // a^b, b^c in next round
  818. eor x16,x16,x22,ror#41 // Sigma1(e)
  819. eor x5,x5,x26,ror#34
  820. add x25,x25,x17 // h+=Ch(e,f,g)
  821. and x28,x28,x19 // (b^c)&=(a^b)
  822. eor x3,x3,x12,ror#61
  823. eor x4,x4,x15,lsr#7 // sigma0(X[i+1])
  824. add x25,x25,x16 // h+=Sigma1(e)
  825. eor x28,x28,x27 // Maj(a,b,c)
  826. eor x17,x5,x26,ror#39 // Sigma0(a)
  827. eor x3,x3,x12,lsr#6 // sigma1(X[i+14])
  828. add x14,x14,x7
  829. add x21,x21,x25 // d+=h
  830. add x25,x25,x28 // h+=Maj(a,b,c)
  831. ldr x28,[x30],#8 // *K++, x19 in next round
  832. add x14,x14,x4
  833. add x25,x25,x17 // h+=Sigma0(a)
  834. add x14,x14,x3
  835. ldr x3,[sp,#0]
  836. str x6,[sp,#24]
  837. ror x16,x21,#14
  838. add x24,x24,x28 // h+=K[i]
  839. ror x5,x0,#1
  840. and x17,x22,x21
  841. ror x4,x13,#19
  842. bic x28,x23,x21
  843. ror x6,x25,#28
  844. add x24,x24,x14 // h+=X[i]
  845. eor x16,x16,x21,ror#18
  846. eor x5,x5,x0,ror#8
  847. orr x17,x17,x28 // Ch(e,f,g)
  848. eor x28,x25,x26 // a^b, b^c in next round
  849. eor x16,x16,x21,ror#41 // Sigma1(e)
  850. eor x6,x6,x25,ror#34
  851. add x24,x24,x17 // h+=Ch(e,f,g)
  852. and x19,x19,x28 // (b^c)&=(a^b)
  853. eor x4,x4,x13,ror#61
  854. eor x5,x5,x0,lsr#7 // sigma0(X[i+1])
  855. add x24,x24,x16 // h+=Sigma1(e)
  856. eor x19,x19,x26 // Maj(a,b,c)
  857. eor x17,x6,x25,ror#39 // Sigma0(a)
  858. eor x4,x4,x13,lsr#6 // sigma1(X[i+14])
  859. add x15,x15,x8
  860. add x20,x20,x24 // d+=h
  861. add x24,x24,x19 // h+=Maj(a,b,c)
  862. ldr x19,[x30],#8 // *K++, x28 in next round
  863. add x15,x15,x5
  864. add x24,x24,x17 // h+=Sigma0(a)
  865. add x15,x15,x4
  866. ldr x4,[sp,#8]
  867. str x7,[sp,#0]
  868. ror x16,x20,#14
  869. add x23,x23,x19 // h+=K[i]
  870. ror x6,x1,#1
  871. and x17,x21,x20
  872. ror x5,x14,#19
  873. bic x19,x22,x20
  874. ror x7,x24,#28
  875. add x23,x23,x15 // h+=X[i]
  876. eor x16,x16,x20,ror#18
  877. eor x6,x6,x1,ror#8
  878. orr x17,x17,x19 // Ch(e,f,g)
  879. eor x19,x24,x25 // a^b, b^c in next round
  880. eor x16,x16,x20,ror#41 // Sigma1(e)
  881. eor x7,x7,x24,ror#34
  882. add x23,x23,x17 // h+=Ch(e,f,g)
  883. and x28,x28,x19 // (b^c)&=(a^b)
  884. eor x5,x5,x14,ror#61
  885. eor x6,x6,x1,lsr#7 // sigma0(X[i+1])
  886. add x23,x23,x16 // h+=Sigma1(e)
  887. eor x28,x28,x25 // Maj(a,b,c)
  888. eor x17,x7,x24,ror#39 // Sigma0(a)
  889. eor x5,x5,x14,lsr#6 // sigma1(X[i+14])
  890. add x0,x0,x9
  891. add x27,x27,x23 // d+=h
  892. add x23,x23,x28 // h+=Maj(a,b,c)
  893. ldr x28,[x30],#8 // *K++, x19 in next round
  894. add x0,x0,x6
  895. add x23,x23,x17 // h+=Sigma0(a)
  896. add x0,x0,x5
  897. ldr x5,[sp,#16]
  898. str x8,[sp,#8]
  899. ror x16,x27,#14
  900. add x22,x22,x28 // h+=K[i]
  901. ror x7,x2,#1
  902. and x17,x20,x27
  903. ror x6,x15,#19
  904. bic x28,x21,x27
  905. ror x8,x23,#28
  906. add x22,x22,x0 // h+=X[i]
  907. eor x16,x16,x27,ror#18
  908. eor x7,x7,x2,ror#8
  909. orr x17,x17,x28 // Ch(e,f,g)
  910. eor x28,x23,x24 // a^b, b^c in next round
  911. eor x16,x16,x27,ror#41 // Sigma1(e)
  912. eor x8,x8,x23,ror#34
  913. add x22,x22,x17 // h+=Ch(e,f,g)
  914. and x19,x19,x28 // (b^c)&=(a^b)
  915. eor x6,x6,x15,ror#61
  916. eor x7,x7,x2,lsr#7 // sigma0(X[i+1])
  917. add x22,x22,x16 // h+=Sigma1(e)
  918. eor x19,x19,x24 // Maj(a,b,c)
  919. eor x17,x8,x23,ror#39 // Sigma0(a)
  920. eor x6,x6,x15,lsr#6 // sigma1(X[i+14])
  921. add x1,x1,x10
  922. add x26,x26,x22 // d+=h
  923. add x22,x22,x19 // h+=Maj(a,b,c)
  924. ldr x19,[x30],#8 // *K++, x28 in next round
  925. add x1,x1,x7
  926. add x22,x22,x17 // h+=Sigma0(a)
  927. add x1,x1,x6
  928. ldr x6,[sp,#24]
  929. str x9,[sp,#16]
  930. ror x16,x26,#14
  931. add x21,x21,x19 // h+=K[i]
  932. ror x8,x3,#1
  933. and x17,x27,x26
  934. ror x7,x0,#19
  935. bic x19,x20,x26
  936. ror x9,x22,#28
  937. add x21,x21,x1 // h+=X[i]
  938. eor x16,x16,x26,ror#18
  939. eor x8,x8,x3,ror#8
  940. orr x17,x17,x19 // Ch(e,f,g)
  941. eor x19,x22,x23 // a^b, b^c in next round
  942. eor x16,x16,x26,ror#41 // Sigma1(e)
  943. eor x9,x9,x22,ror#34
  944. add x21,x21,x17 // h+=Ch(e,f,g)
  945. and x28,x28,x19 // (b^c)&=(a^b)
  946. eor x7,x7,x0,ror#61
  947. eor x8,x8,x3,lsr#7 // sigma0(X[i+1])
  948. add x21,x21,x16 // h+=Sigma1(e)
  949. eor x28,x28,x23 // Maj(a,b,c)
  950. eor x17,x9,x22,ror#39 // Sigma0(a)
  951. eor x7,x7,x0,lsr#6 // sigma1(X[i+14])
  952. add x2,x2,x11
  953. add x25,x25,x21 // d+=h
  954. add x21,x21,x28 // h+=Maj(a,b,c)
  955. ldr x28,[x30],#8 // *K++, x19 in next round
  956. add x2,x2,x8
  957. add x21,x21,x17 // h+=Sigma0(a)
  958. add x2,x2,x7
  959. ldr x7,[sp,#0]
  960. str x10,[sp,#24]
  961. ror x16,x25,#14
  962. add x20,x20,x28 // h+=K[i]
  963. ror x9,x4,#1
  964. and x17,x26,x25
  965. ror x8,x1,#19
  966. bic x28,x27,x25
  967. ror x10,x21,#28
  968. add x20,x20,x2 // h+=X[i]
  969. eor x16,x16,x25,ror#18
  970. eor x9,x9,x4,ror#8
  971. orr x17,x17,x28 // Ch(e,f,g)
  972. eor x28,x21,x22 // a^b, b^c in next round
  973. eor x16,x16,x25,ror#41 // Sigma1(e)
  974. eor x10,x10,x21,ror#34
  975. add x20,x20,x17 // h+=Ch(e,f,g)
  976. and x19,x19,x28 // (b^c)&=(a^b)
  977. eor x8,x8,x1,ror#61
  978. eor x9,x9,x4,lsr#7 // sigma0(X[i+1])
  979. add x20,x20,x16 // h+=Sigma1(e)
  980. eor x19,x19,x22 // Maj(a,b,c)
  981. eor x17,x10,x21,ror#39 // Sigma0(a)
  982. eor x8,x8,x1,lsr#6 // sigma1(X[i+14])
  983. add x3,x3,x12
  984. add x24,x24,x20 // d+=h
  985. add x20,x20,x19 // h+=Maj(a,b,c)
  986. ldr x19,[x30],#8 // *K++, x28 in next round
  987. add x3,x3,x9
  988. add x20,x20,x17 // h+=Sigma0(a)
  989. add x3,x3,x8
  990. cbnz x19,.Loop_16_xx
  991. ldp x0,x2,[x29,#96]
  992. ldr x1,[x29,#112]
  993. sub x30,x30,#648 // rewind
  994. ldp x3,x4,[x0]
  995. ldp x5,x6,[x0,#2*8]
  996. add x1,x1,#14*8 // advance input pointer
  997. ldp x7,x8,[x0,#4*8]
  998. add x20,x20,x3
  999. ldp x9,x10,[x0,#6*8]
  1000. add x21,x21,x4
  1001. add x22,x22,x5
  1002. add x23,x23,x6
  1003. stp x20,x21,[x0]
  1004. add x24,x24,x7
  1005. add x25,x25,x8
  1006. stp x22,x23,[x0,#2*8]
  1007. add x26,x26,x9
  1008. add x27,x27,x10
  1009. cmp x1,x2
  1010. stp x24,x25,[x0,#4*8]
  1011. stp x26,x27,[x0,#6*8]
  1012. b.ne .Loop
  1013. ldp x19,x20,[x29,#16]
  1014. add sp,sp,#4*8
  1015. ldp x21,x22,[x29,#32]
  1016. ldp x23,x24,[x29,#48]
  1017. ldp x25,x26,[x29,#64]
  1018. ldp x27,x28,[x29,#80]
  1019. ldp x29,x30,[sp],#128
  1020. ret
  1021. .size sha512_block_data_order,.-sha512_block_data_order
  1022. .align 6
  1023. .type .LK512,%object
  1024. .LK512:
  1025. .quad 0x428a2f98d728ae22,0x7137449123ef65cd
  1026. .quad 0xb5c0fbcfec4d3b2f,0xe9b5dba58189dbbc
  1027. .quad 0x3956c25bf348b538,0x59f111f1b605d019
  1028. .quad 0x923f82a4af194f9b,0xab1c5ed5da6d8118
  1029. .quad 0xd807aa98a3030242,0x12835b0145706fbe
  1030. .quad 0x243185be4ee4b28c,0x550c7dc3d5ffb4e2
  1031. .quad 0x72be5d74f27b896f,0x80deb1fe3b1696b1
  1032. .quad 0x9bdc06a725c71235,0xc19bf174cf692694
  1033. .quad 0xe49b69c19ef14ad2,0xefbe4786384f25e3
  1034. .quad 0x0fc19dc68b8cd5b5,0x240ca1cc77ac9c65
  1035. .quad 0x2de92c6f592b0275,0x4a7484aa6ea6e483
  1036. .quad 0x5cb0a9dcbd41fbd4,0x76f988da831153b5
  1037. .quad 0x983e5152ee66dfab,0xa831c66d2db43210
  1038. .quad 0xb00327c898fb213f,0xbf597fc7beef0ee4
  1039. .quad 0xc6e00bf33da88fc2,0xd5a79147930aa725
  1040. .quad 0x06ca6351e003826f,0x142929670a0e6e70
  1041. .quad 0x27b70a8546d22ffc,0x2e1b21385c26c926
  1042. .quad 0x4d2c6dfc5ac42aed,0x53380d139d95b3df
  1043. .quad 0x650a73548baf63de,0x766a0abb3c77b2a8
  1044. .quad 0x81c2c92e47edaee6,0x92722c851482353b
  1045. .quad 0xa2bfe8a14cf10364,0xa81a664bbc423001
  1046. .quad 0xc24b8b70d0f89791,0xc76c51a30654be30
  1047. .quad 0xd192e819d6ef5218,0xd69906245565a910
  1048. .quad 0xf40e35855771202a,0x106aa07032bbd1b8
  1049. .quad 0x19a4c116b8d2d0c8,0x1e376c085141ab53
  1050. .quad 0x2748774cdf8eeb99,0x34b0bcb5e19b48a8
  1051. .quad 0x391c0cb3c5c95a63,0x4ed8aa4ae3418acb
  1052. .quad 0x5b9cca4f7763e373,0x682e6ff3d6b2b8a3
  1053. .quad 0x748f82ee5defb2fc,0x78a5636f43172f60
  1054. .quad 0x84c87814a1f0ab72,0x8cc702081a6439ec
  1055. .quad 0x90befffa23631e28,0xa4506cebde82bde9
  1056. .quad 0xbef9a3f7b2c67915,0xc67178f2e372532b
  1057. .quad 0xca273eceea26619c,0xd186b8c721c0c207
  1058. .quad 0xeada7dd6cde0eb1e,0xf57d4f7fee6ed178
  1059. .quad 0x06f067aa72176fba,0x0a637dc5a2c898a6
  1060. .quad 0x113f9804bef90dae,0x1b710b35131c471b
  1061. .quad 0x28db77f523047d84,0x32caab7b40c72493
  1062. .quad 0x3c9ebe0a15c9bebc,0x431d67c49c100d4c
  1063. .quad 0x4cc5d4becb3e42b6,0x597f299cfc657e2a
  1064. .quad 0x5fcb6fab3ad6faec,0x6c44198c4a475817
  1065. .quad 0 // terminator
  1066. .size .LK512,.-.LK512
  1067. #ifndef __KERNEL__
  1068. .align 3
  1069. .LOPENSSL_armcap_P:
  1070. # ifdef __ILP32__
  1071. .long OPENSSL_armcap_P-.
  1072. # else
  1073. .quad OPENSSL_armcap_P-.
  1074. # endif
  1075. #endif
  1076. .asciz "SHA512 block transform for ARMv8, CRYPTOGAMS by <appro@openssl.org>"
  1077. .align 2
  1078. #ifndef __KERNEL__
  1079. .comm OPENSSL_armcap_P,4,4
  1080. #endif