Memcpy_utils.S 9.2 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346
  1. #ifndef __ASM_MEMCPY_UTILS
  2. #define __ASM_MEMCPY_UTILS
  3. #include <linux/linkage.h>
  4. #include <asm/asi.h>
  5. #include <asm/visasm.h>
  6. ENTRY(__restore_asi_fp)
  7. VISExitHalf
  8. retl
  9. wr %g0, ASI_AIUS, %asi
  10. ENDPROC(__restore_asi_fp)
  11. ENTRY(__restore_asi)
  12. retl
  13. wr %g0, ASI_AIUS, %asi
  14. ENDPROC(__restore_asi)
  15. ENTRY(memcpy_retl_o2)
  16. ba,pt %xcc, __restore_asi
  17. mov %o2, %o0
  18. ENDPROC(memcpy_retl_o2)
  19. ENTRY(memcpy_retl_o2_plus_1)
  20. ba,pt %xcc, __restore_asi
  21. add %o2, 1, %o0
  22. ENDPROC(memcpy_retl_o2_plus_1)
  23. ENTRY(memcpy_retl_o2_plus_3)
  24. ba,pt %xcc, __restore_asi
  25. add %o2, 3, %o0
  26. ENDPROC(memcpy_retl_o2_plus_3)
  27. ENTRY(memcpy_retl_o2_plus_4)
  28. ba,pt %xcc, __restore_asi
  29. add %o2, 4, %o0
  30. ENDPROC(memcpy_retl_o2_plus_4)
  31. ENTRY(memcpy_retl_o2_plus_5)
  32. ba,pt %xcc, __restore_asi
  33. add %o2, 5, %o0
  34. ENDPROC(memcpy_retl_o2_plus_5)
  35. ENTRY(memcpy_retl_o2_plus_6)
  36. ba,pt %xcc, __restore_asi
  37. add %o2, 6, %o0
  38. ENDPROC(memcpy_retl_o2_plus_6)
  39. ENTRY(memcpy_retl_o2_plus_7)
  40. ba,pt %xcc, __restore_asi
  41. add %o2, 7, %o0
  42. ENDPROC(memcpy_retl_o2_plus_7)
  43. ENTRY(memcpy_retl_o2_plus_8)
  44. ba,pt %xcc, __restore_asi
  45. add %o2, 8, %o0
  46. ENDPROC(memcpy_retl_o2_plus_8)
  47. ENTRY(memcpy_retl_o2_plus_15)
  48. ba,pt %xcc, __restore_asi
  49. add %o2, 15, %o0
  50. ENDPROC(memcpy_retl_o2_plus_15)
  51. ENTRY(memcpy_retl_o2_plus_15_8)
  52. add %o2, 15, %o2
  53. ba,pt %xcc, __restore_asi
  54. add %o2, 8, %o0
  55. ENDPROC(memcpy_retl_o2_plus_15_8)
  56. ENTRY(memcpy_retl_o2_plus_16)
  57. ba,pt %xcc, __restore_asi
  58. add %o2, 16, %o0
  59. ENDPROC(memcpy_retl_o2_plus_16)
  60. ENTRY(memcpy_retl_o2_plus_24)
  61. ba,pt %xcc, __restore_asi
  62. add %o2, 24, %o0
  63. ENDPROC(memcpy_retl_o2_plus_24)
  64. ENTRY(memcpy_retl_o2_plus_31)
  65. ba,pt %xcc, __restore_asi
  66. add %o2, 31, %o0
  67. ENDPROC(memcpy_retl_o2_plus_31)
  68. ENTRY(memcpy_retl_o2_plus_32)
  69. ba,pt %xcc, __restore_asi
  70. add %o2, 32, %o0
  71. ENDPROC(memcpy_retl_o2_plus_32)
  72. ENTRY(memcpy_retl_o2_plus_31_32)
  73. add %o2, 31, %o2
  74. ba,pt %xcc, __restore_asi
  75. add %o2, 32, %o0
  76. ENDPROC(memcpy_retl_o2_plus_31_32)
  77. ENTRY(memcpy_retl_o2_plus_31_24)
  78. add %o2, 31, %o2
  79. ba,pt %xcc, __restore_asi
  80. add %o2, 24, %o0
  81. ENDPROC(memcpy_retl_o2_plus_31_24)
  82. ENTRY(memcpy_retl_o2_plus_31_16)
  83. add %o2, 31, %o2
  84. ba,pt %xcc, __restore_asi
  85. add %o2, 16, %o0
  86. ENDPROC(memcpy_retl_o2_plus_31_16)
  87. ENTRY(memcpy_retl_o2_plus_31_8)
  88. add %o2, 31, %o2
  89. ba,pt %xcc, __restore_asi
  90. add %o2, 8, %o0
  91. ENDPROC(memcpy_retl_o2_plus_31_8)
  92. ENTRY(memcpy_retl_o2_plus_63)
  93. ba,pt %xcc, __restore_asi
  94. add %o2, 63, %o0
  95. ENDPROC(memcpy_retl_o2_plus_63)
  96. ENTRY(memcpy_retl_o2_plus_63_64)
  97. add %o2, 63, %o2
  98. ba,pt %xcc, __restore_asi
  99. add %o2, 64, %o0
  100. ENDPROC(memcpy_retl_o2_plus_63_64)
  101. ENTRY(memcpy_retl_o2_plus_63_56)
  102. add %o2, 63, %o2
  103. ba,pt %xcc, __restore_asi
  104. add %o2, 56, %o0
  105. ENDPROC(memcpy_retl_o2_plus_63_56)
  106. ENTRY(memcpy_retl_o2_plus_63_48)
  107. add %o2, 63, %o2
  108. ba,pt %xcc, __restore_asi
  109. add %o2, 48, %o0
  110. ENDPROC(memcpy_retl_o2_plus_63_48)
  111. ENTRY(memcpy_retl_o2_plus_63_40)
  112. add %o2, 63, %o2
  113. ba,pt %xcc, __restore_asi
  114. add %o2, 40, %o0
  115. ENDPROC(memcpy_retl_o2_plus_63_40)
  116. ENTRY(memcpy_retl_o2_plus_63_32)
  117. add %o2, 63, %o2
  118. ba,pt %xcc, __restore_asi
  119. add %o2, 32, %o0
  120. ENDPROC(memcpy_retl_o2_plus_63_32)
  121. ENTRY(memcpy_retl_o2_plus_63_24)
  122. add %o2, 63, %o2
  123. ba,pt %xcc, __restore_asi
  124. add %o2, 24, %o0
  125. ENDPROC(memcpy_retl_o2_plus_63_24)
  126. ENTRY(memcpy_retl_o2_plus_63_16)
  127. add %o2, 63, %o2
  128. ba,pt %xcc, __restore_asi
  129. add %o2, 16, %o0
  130. ENDPROC(memcpy_retl_o2_plus_63_16)
  131. ENTRY(memcpy_retl_o2_plus_63_8)
  132. add %o2, 63, %o2
  133. ba,pt %xcc, __restore_asi
  134. add %o2, 8, %o0
  135. ENDPROC(memcpy_retl_o2_plus_63_8)
  136. ENTRY(memcpy_retl_o2_plus_o5)
  137. ba,pt %xcc, __restore_asi
  138. add %o2, %o5, %o0
  139. ENDPROC(memcpy_retl_o2_plus_o5)
  140. ENTRY(memcpy_retl_o2_plus_o5_plus_1)
  141. add %o5, 1, %o5
  142. ba,pt %xcc, __restore_asi
  143. add %o2, %o5, %o0
  144. ENDPROC(memcpy_retl_o2_plus_o5_plus_1)
  145. ENTRY(memcpy_retl_o2_plus_o5_plus_4)
  146. add %o5, 4, %o5
  147. ba,pt %xcc, __restore_asi
  148. add %o2, %o5, %o0
  149. ENDPROC(memcpy_retl_o2_plus_o5_plus_4)
  150. ENTRY(memcpy_retl_o2_plus_o5_plus_8)
  151. add %o5, 8, %o5
  152. ba,pt %xcc, __restore_asi
  153. add %o2, %o5, %o0
  154. ENDPROC(memcpy_retl_o2_plus_o5_plus_8)
  155. ENTRY(memcpy_retl_o2_plus_o5_plus_16)
  156. add %o5, 16, %o5
  157. ba,pt %xcc, __restore_asi
  158. add %o2, %o5, %o0
  159. ENDPROC(memcpy_retl_o2_plus_o5_plus_16)
  160. ENTRY(memcpy_retl_o2_plus_o5_plus_24)
  161. add %o5, 24, %o5
  162. ba,pt %xcc, __restore_asi
  163. add %o2, %o5, %o0
  164. ENDPROC(memcpy_retl_o2_plus_o5_plus_24)
  165. ENTRY(memcpy_retl_o2_plus_o5_plus_32)
  166. add %o5, 32, %o5
  167. ba,pt %xcc, __restore_asi
  168. add %o2, %o5, %o0
  169. ENDPROC(memcpy_retl_o2_plus_o5_plus_32)
  170. ENTRY(memcpy_retl_o2_plus_o5_64)
  171. add %o5, 32, %o5
  172. ba,pt %xcc, __restore_asi
  173. add %o2, %o5, %o0
  174. ENDPROC(memcpy_retl_o2_plus_o5_64)
  175. ENTRY(memcpy_retl_o2_plus_g1)
  176. ba,pt %xcc, __restore_asi
  177. add %o2, %g1, %o0
  178. ENDPROC(memcpy_retl_o2_plus_g1)
  179. ENTRY(memcpy_retl_o2_plus_g1_plus_1)
  180. add %g1, 1, %g1
  181. ba,pt %xcc, __restore_asi
  182. add %o2, %g1, %o0
  183. ENDPROC(memcpy_retl_o2_plus_g1_plus_1)
  184. ENTRY(memcpy_retl_o2_plus_g1_plus_8)
  185. add %g1, 8, %g1
  186. ba,pt %xcc, __restore_asi
  187. add %o2, %g1, %o0
  188. ENDPROC(memcpy_retl_o2_plus_g1_plus_8)
  189. ENTRY(memcpy_retl_o2_plus_o4)
  190. ba,pt %xcc, __restore_asi
  191. add %o2, %o4, %o0
  192. ENDPROC(memcpy_retl_o2_plus_o4)
  193. ENTRY(memcpy_retl_o2_plus_o4_plus_8)
  194. add %o4, 8, %o4
  195. ba,pt %xcc, __restore_asi
  196. add %o2, %o4, %o0
  197. ENDPROC(memcpy_retl_o2_plus_o4_plus_8)
  198. ENTRY(memcpy_retl_o2_plus_o4_plus_16)
  199. add %o4, 16, %o4
  200. ba,pt %xcc, __restore_asi
  201. add %o2, %o4, %o0
  202. ENDPROC(memcpy_retl_o2_plus_o4_plus_16)
  203. ENTRY(memcpy_retl_o2_plus_o4_plus_24)
  204. add %o4, 24, %o4
  205. ba,pt %xcc, __restore_asi
  206. add %o2, %o4, %o0
  207. ENDPROC(memcpy_retl_o2_plus_o4_plus_24)
  208. ENTRY(memcpy_retl_o2_plus_o4_plus_32)
  209. add %o4, 32, %o4
  210. ba,pt %xcc, __restore_asi
  211. add %o2, %o4, %o0
  212. ENDPROC(memcpy_retl_o2_plus_o4_plus_32)
  213. ENTRY(memcpy_retl_o2_plus_o4_plus_40)
  214. add %o4, 40, %o4
  215. ba,pt %xcc, __restore_asi
  216. add %o2, %o4, %o0
  217. ENDPROC(memcpy_retl_o2_plus_o4_plus_40)
  218. ENTRY(memcpy_retl_o2_plus_o4_plus_48)
  219. add %o4, 48, %o4
  220. ba,pt %xcc, __restore_asi
  221. add %o2, %o4, %o0
  222. ENDPROC(memcpy_retl_o2_plus_o4_plus_48)
  223. ENTRY(memcpy_retl_o2_plus_o4_plus_56)
  224. add %o4, 56, %o4
  225. ba,pt %xcc, __restore_asi
  226. add %o2, %o4, %o0
  227. ENDPROC(memcpy_retl_o2_plus_o4_plus_56)
  228. ENTRY(memcpy_retl_o2_plus_o4_plus_64)
  229. add %o4, 64, %o4
  230. ba,pt %xcc, __restore_asi
  231. add %o2, %o4, %o0
  232. ENDPROC(memcpy_retl_o2_plus_o4_plus_64)
  233. ENTRY(memcpy_retl_o2_plus_o5_plus_64)
  234. add %o5, 64, %o5
  235. ba,pt %xcc, __restore_asi
  236. add %o2, %o5, %o0
  237. ENDPROC(memcpy_retl_o2_plus_o5_plus_64)
  238. ENTRY(memcpy_retl_o2_plus_o3_fp)
  239. ba,pt %xcc, __restore_asi_fp
  240. add %o2, %o3, %o0
  241. ENDPROC(memcpy_retl_o2_plus_o3_fp)
  242. ENTRY(memcpy_retl_o2_plus_o3_plus_1_fp)
  243. add %o3, 1, %o3
  244. ba,pt %xcc, __restore_asi_fp
  245. add %o2, %o3, %o0
  246. ENDPROC(memcpy_retl_o2_plus_o3_plus_1_fp)
  247. ENTRY(memcpy_retl_o2_plus_o3_plus_4_fp)
  248. add %o3, 4, %o3
  249. ba,pt %xcc, __restore_asi_fp
  250. add %o2, %o3, %o0
  251. ENDPROC(memcpy_retl_o2_plus_o3_plus_4_fp)
  252. ENTRY(memcpy_retl_o2_plus_o4_fp)
  253. ba,pt %xcc, __restore_asi_fp
  254. add %o2, %o4, %o0
  255. ENDPROC(memcpy_retl_o2_plus_o4_fp)
  256. ENTRY(memcpy_retl_o2_plus_o4_plus_8_fp)
  257. add %o4, 8, %o4
  258. ba,pt %xcc, __restore_asi_fp
  259. add %o2, %o4, %o0
  260. ENDPROC(memcpy_retl_o2_plus_o4_plus_8_fp)
  261. ENTRY(memcpy_retl_o2_plus_o4_plus_16_fp)
  262. add %o4, 16, %o4
  263. ba,pt %xcc, __restore_asi_fp
  264. add %o2, %o4, %o0
  265. ENDPROC(memcpy_retl_o2_plus_o4_plus_16_fp)
  266. ENTRY(memcpy_retl_o2_plus_o4_plus_24_fp)
  267. add %o4, 24, %o4
  268. ba,pt %xcc, __restore_asi_fp
  269. add %o2, %o4, %o0
  270. ENDPROC(memcpy_retl_o2_plus_o4_plus_24_fp)
  271. ENTRY(memcpy_retl_o2_plus_o4_plus_32_fp)
  272. add %o4, 32, %o4
  273. ba,pt %xcc, __restore_asi_fp
  274. add %o2, %o4, %o0
  275. ENDPROC(memcpy_retl_o2_plus_o4_plus_32_fp)
  276. ENTRY(memcpy_retl_o2_plus_o4_plus_40_fp)
  277. add %o4, 40, %o4
  278. ba,pt %xcc, __restore_asi_fp
  279. add %o2, %o4, %o0
  280. ENDPROC(memcpy_retl_o2_plus_o4_plus_40_fp)
  281. ENTRY(memcpy_retl_o2_plus_o4_plus_48_fp)
  282. add %o4, 48, %o4
  283. ba,pt %xcc, __restore_asi_fp
  284. add %o2, %o4, %o0
  285. ENDPROC(memcpy_retl_o2_plus_o4_plus_48_fp)
  286. ENTRY(memcpy_retl_o2_plus_o4_plus_56_fp)
  287. add %o4, 56, %o4
  288. ba,pt %xcc, __restore_asi_fp
  289. add %o2, %o4, %o0
  290. ENDPROC(memcpy_retl_o2_plus_o4_plus_56_fp)
  291. ENTRY(memcpy_retl_o2_plus_o4_plus_64_fp)
  292. add %o4, 64, %o4
  293. ba,pt %xcc, __restore_asi_fp
  294. add %o2, %o4, %o0
  295. ENDPROC(memcpy_retl_o2_plus_o4_plus_64_fp)
  296. ENTRY(memcpy_retl_o2_plus_o5_fp)
  297. ba,pt %xcc, __restore_asi_fp
  298. add %o2, %o5, %o0
  299. ENDPROC(memcpy_retl_o2_plus_o5_fp)
  300. ENTRY(memcpy_retl_o2_plus_o5_plus_64_fp)
  301. add %o5, 64, %o5
  302. ba,pt %xcc, __restore_asi_fp
  303. add %o2, %o5, %o0
  304. ENDPROC(memcpy_retl_o2_plus_o5_plus_64_fp)
  305. ENTRY(memcpy_retl_o2_plus_o5_plus_56_fp)
  306. add %o5, 56, %o5
  307. ba,pt %xcc, __restore_asi_fp
  308. add %o2, %o5, %o0
  309. ENDPROC(memcpy_retl_o2_plus_o5_plus_56_fp)
  310. ENTRY(memcpy_retl_o2_plus_o5_plus_48_fp)
  311. add %o5, 48, %o5
  312. ba,pt %xcc, __restore_asi_fp
  313. add %o2, %o5, %o0
  314. ENDPROC(memcpy_retl_o2_plus_o5_plus_48_fp)
  315. ENTRY(memcpy_retl_o2_plus_o5_plus_40_fp)
  316. add %o5, 40, %o5
  317. ba,pt %xcc, __restore_asi_fp
  318. add %o2, %o5, %o0
  319. ENDPROC(memcpy_retl_o2_plus_o5_plus_40_fp)
  320. ENTRY(memcpy_retl_o2_plus_o5_plus_32_fp)
  321. add %o5, 32, %o5
  322. ba,pt %xcc, __restore_asi_fp
  323. add %o2, %o5, %o0
  324. ENDPROC(memcpy_retl_o2_plus_o5_plus_32_fp)
  325. ENTRY(memcpy_retl_o2_plus_o5_plus_24_fp)
  326. add %o5, 24, %o5
  327. ba,pt %xcc, __restore_asi_fp
  328. add %o2, %o5, %o0
  329. ENDPROC(memcpy_retl_o2_plus_o5_plus_24_fp)
  330. ENTRY(memcpy_retl_o2_plus_o5_plus_16_fp)
  331. add %o5, 16, %o5
  332. ba,pt %xcc, __restore_asi_fp
  333. add %o2, %o5, %o0
  334. ENDPROC(memcpy_retl_o2_plus_o5_plus_16_fp)
  335. ENTRY(memcpy_retl_o2_plus_o5_plus_8_fp)
  336. add %o5, 8, %o5
  337. ba,pt %xcc, __restore_asi_fp
  338. add %o2, %o5, %o0
  339. ENDPROC(memcpy_retl_o2_plus_o5_plus_8_fp)
  340. #endif