arch/sparc64/lib/U3memcpy.S

   1 /* U3memcpy.S: UltraSparc-III optimized memcpy.
   2  *
   3  * Copyright (C) 1999, 2000, 2004 David S. Miller (davem@redhat.com)
   4  */
   5
   6 #ifdef __KERNEL__
   7 #include <asm/visasm.h>
   8 #include <asm/asi.h>
   9 #else
  10 #define ASI_BLK_P 0xf0
  11 #define FPRS_FEF  0x04
  12 #ifdef MEMCPY_DEBUG
  13 #define VISEntryHalf rd %fprs, %o5; wr %g0, FPRS_FEF, %fprs; \
  14                      clr %g1; clr %g2; clr %g3; subcc %g0, %g0, %g0;
  15 #define VISExitHalf and %o5, FPRS_FEF, %o5; wr %o5, 0x0, %fprs
  16 #else
  17 #define VISEntryHalf rd %fprs, %o5; wr %g0, FPRS_FEF, %fprs
  18 #define VISExitHalf and %o5, FPRS_FEF, %o5; wr %o5, 0x0, %fprs
  19 #endif
  20 #endif
  21
  22 #ifndef EX_LD
  23 #define EX_LD(x)        x
  24 #endif
  25
  26 #ifndef EX_ST
  27 #define EX_ST(x)        x
  28 #endif
  29
  30 #ifndef EX_RETVAL
  31 #define EX_RETVAL(x)    x
  32 #endif
  33
  34 #ifndef LOAD
  35 #define LOAD(type,addr,dest)    type [addr], dest
  36 #endif
  37
  38 #ifndef STORE
  39 #define STORE(type,src,addr)    type src, [addr]
  40 #endif
  41
  42 #ifndef STORE_BLK
  43 #define STORE_BLK(src,addr)     stda src, [addr] ASI_BLK_P
  44 #endif
  45
  46 #ifndef FUNC_NAME
  47 #define FUNC_NAME       U3memcpy
  48 #endif
  49
  50 #ifndef PREAMBLE
  51 #define PREAMBLE
  52 #endif
  53
  54 #ifndef XCC
  55 #define XCC xcc
  56 #endif
  57
  58         .register       %g2,#scratch
  59         .register       %g3,#scratch
  60
  61         /* Special/non-trivial issues of this code:
  62          *
  63          * 1) %o5 is preserved from VISEntryHalf to VISExitHalf
  64          * 2) Only low 32 FPU registers are used so that only the
  65          *    lower half of the FPU register set is dirtied by this
  66          *    code.  This is especially important in the kernel.
  67          * 3) This code never prefetches cachelines past the end
  68          *    of the source buffer.
  69          */
  70
  71         .text
  72         .align          64
  73
  74         /* The cheetah's flexible spine, oversized liver, enlarged heart,
  75          * slender muscular body, and claws make it the swiftest hunter
  76          * in Africa and the fastest animal on land.  Can reach speeds
  77          * of up to 2.4GB per second.
  78          */
  79
  80         .globl  FUNC_NAME
  81         .type   FUNC_NAME,#function
  82 FUNC_NAME:      /* %o0=dst, %o1=src, %o2=len */
  83         srlx            %o2, 31, %g2
  84         cmp             %g2, 0
  85         tne             %xcc, 5
  86         PREAMBLE
  87         mov             %o0, %g5
  88         cmp             %o2, 0
  89         be,pn           %XCC, 85f
  90          or             %o0, %o1, %o3
  91         cmp             %o2, 16
  92         blu,a,pn        %XCC, 80f
  93          or             %o3, %o2, %o3
  94
  95         cmp             %o2, (3 * 64)
  96         blu,pt          %XCC, 70f
  97          andcc          %o3, 0x7, %g0
  98
  99         /* Clobbers o5/g1/g2/g3/g7/icc/xcc.  We must preserve
 100          * o5 from here until we hit VISExitHalf.
 101          */
 102         VISEntryHalf
 103
 104         /* Is 'dst' already aligned on an 64-byte boundary? */
 105         andcc           %o0, 0x3f, %g2
 106         be,pt           %XCC, 2f
 107
 108         /* Compute abs((dst & 0x3f) - 0x40) into %g2.  This is the number
 109          * of bytes to copy to make 'dst' 64-byte aligned.  We pre-
 110          * subtract this from 'len'.
 111          */
 112          sub            %o0, %o1, %o4
 113         sub             %g2, 0x40, %g2
 114         sub             %g0, %g2, %g2
 115         sub             %o2, %g2, %o2
 116         andcc           %g2, 0x7, %g1
 117         be,pt           %icc, 2f
 118          and            %g2, 0x38, %g2
 119
 120 1:      subcc           %g1, 0x1, %g1
 121         EX_LD(LOAD(ldub, %o1 + 0x00, %o3))
 122         EX_ST(STORE(stb, %o3, %o1 + %o4))
 123         bgu,pt          %XCC, 1b
 124          add            %o1, 0x1, %o1
 125
 126         add             %o1, %o4, %o0
 127
 128 2:      cmp             %g2, 0x0
 129         and             %o1, 0x7, %g1
 130         be,pt           %icc, 3f
 131          alignaddr      %o1, %g0, %o1
 132
 133         EX_LD(LOAD(ldd, %o1, %f4))
 134 1:      EX_LD(LOAD(ldd, %o1 + 0x8, %f6))
 135         add             %o1, 0x8, %o1
 136         subcc           %g2, 0x8, %g2
 137         faligndata      %f4, %f6, %f0
 138         EX_ST(STORE(std, %f0, %o0))
 139         be,pn           %icc, 3f
 140          add            %o0, 0x8, %o0
 141
 142         EX_LD(LOAD(ldd, %o1 + 0x8, %f4))
 143         add             %o1, 0x8, %o1
 144         subcc           %g2, 0x8, %g2
 145         faligndata      %f6, %f4, %f2
 146         EX_ST(STORE(std, %f2, %o0))
 147         bne,pt          %icc, 1b
 148          add            %o0, 0x8, %o0
 149
 150 3:      LOAD(prefetch, %o1 + 0x000, #one_read)
 151         LOAD(prefetch, %o1 + 0x040, #one_read)
 152         andn            %o2, (0x40 - 1), %o4
 153         LOAD(prefetch, %o1 + 0x080, #one_read)
 154         LOAD(prefetch, %o1 + 0x0c0, #one_read)
 155         LOAD(prefetch, %o1 + 0x100, #one_read)
 156         EX_LD(LOAD(ldd, %o1 + 0x000, %f0))
 157         LOAD(prefetch, %o1 + 0x140, #one_read)
 158         EX_LD(LOAD(ldd, %o1 + 0x008, %f2))
 159         LOAD(prefetch, %o1 + 0x180, #one_read)
 160         EX_LD(LOAD(ldd, %o1 + 0x010, %f4))
 161         LOAD(prefetch, %o1 + 0x1c0, #one_read)
 162         faligndata      %f0, %f2, %f16
 163         EX_LD(LOAD(ldd, %o1 + 0x018, %f6))
 164         faligndata      %f2, %f4, %f18
 165         EX_LD(LOAD(ldd, %o1 + 0x020, %f8))
 166         faligndata      %f4, %f6, %f20
 167         EX_LD(LOAD(ldd, %o1 + 0x028, %f10))
 168         faligndata      %f6, %f8, %f22
 169
 170         EX_LD(LOAD(ldd, %o1 + 0x030, %f12))
 171         faligndata      %f8, %f10, %f24
 172         EX_LD(LOAD(ldd, %o1 + 0x038, %f14))
 173         faligndata      %f10, %f12, %f26
 174         EX_LD(LOAD(ldd, %o1 + 0x040, %f0))
 175
 176         subcc           %o4, 0x80, %o4
 177         add             %o1, 0x40, %o1
 178         bgu,pt          %XCC, 1f
 179          srl            %o4, 6, %o3
 180         ba,pt           %xcc, 2f
 181          nop
 182
 183         .align          64
 184 1:
 185         EX_LD(LOAD(ldd, %o1 + 0x008, %f2))
 186         faligndata      %f12, %f14, %f28
 187         EX_LD(LOAD(ldd, %o1 + 0x010, %f4))
 188         faligndata      %f14, %f0, %f30
 189         EX_ST(STORE_BLK(%f16, %o0))
 190         EX_LD(LOAD(ldd, %o1 + 0x018, %f6))
 191         faligndata      %f0, %f2, %f16
 192         add             %o0, 0x40, %o0
 193
 194         EX_LD(LOAD(ldd, %o1 + 0x020, %f8))
 195         faligndata      %f2, %f4, %f18
 196         EX_LD(LOAD(ldd, %o1 + 0x028, %f10))
 197         faligndata      %f4, %f6, %f20
 198         EX_LD(LOAD(ldd, %o1 + 0x030, %f12))
 199         subcc           %o3, 0x01, %o3
 200         faligndata      %f6, %f8, %f22
 201         EX_LD(LOAD(ldd, %o1 + 0x038, %f14))
 202
 203         faligndata      %f8, %f10, %f24
 204         EX_LD(LOAD(ldd, %o1 + 0x040, %f0))
 205         LOAD(prefetch, %o1 + 0x1c0, #one_read)
 206         faligndata      %f10, %f12, %f26
 207         bg,pt           %XCC, 1b
 208          add            %o1, 0x40, %o1
 209
 210         /* Finally we copy the last full 64-byte block. */
 211 2:
 212         EX_LD(LOAD(ldd, %o1 + 0x008, %f2))
 213         faligndata      %f12, %f14, %f28
 214         EX_LD(LOAD(ldd, %o1 + 0x010, %f4))
 215         faligndata      %f14, %f0, %f30
 216         EX_ST(STORE_BLK(%f16, %o0))
 217         EX_LD(LOAD(ldd, %o1 + 0x018, %f6))
 218         faligndata      %f0, %f2, %f16
 219         EX_LD(LOAD(ldd, %o1 + 0x020, %f8))
 220         faligndata      %f2, %f4, %f18
 221         EX_LD(LOAD(ldd, %o1 + 0x028, %f10))
 222         faligndata      %f4, %f6, %f20
 223         EX_LD(LOAD(ldd, %o1 + 0x030, %f12))
 224         faligndata      %f6, %f8, %f22
 225         EX_LD(LOAD(ldd, %o1 + 0x038, %f14))
 226         faligndata      %f8, %f10, %f24
 227         cmp             %g1, 0
 228         be,pt           %XCC, 1f
 229          add            %o0, 0x40, %o0
 230         EX_LD(LOAD(ldd, %o1 + 0x040, %f0))
 231 1:      faligndata      %f10, %f12, %f26
 232         faligndata      %f12, %f14, %f28
 233         faligndata      %f14, %f0, %f30
 234         EX_ST(STORE_BLK(%f16, %o0))
 235         add             %o0, 0x40, %o0
 236         add             %o1, 0x40, %o1
 237         membar          #Sync
 238
 239         /* Now we copy the (len modulo 64) bytes at the end.
 240          * Note how we borrow the %f0 loaded above.
 241          *
 242          * Also notice how this code is careful not to perform a
 243          * load past the end of the src buffer.
 244          */
 245         and             %o2, 0x3f, %o2
 246         andcc           %o2, 0x38, %g2
 247         be,pn           %XCC, 2f
 248          subcc          %g2, 0x8, %g2
 249         be,pn           %XCC, 2f
 250          cmp            %g1, 0
 251
 252         sub             %o2, %g2, %o2
 253         be,a,pt         %XCC, 1f
 254          EX_LD(LOAD(ldd, %o1 + 0x00, %f0))
 255
 256 1:      EX_LD(LOAD(ldd, %o1 + 0x08, %f2))
 257         add             %o1, 0x8, %o1
 258         subcc           %g2, 0x8, %g2
 259         faligndata      %f0, %f2, %f8
 260         EX_ST(STORE(std, %f8, %o0))
 261         be,pn           %XCC, 2f
 262          add            %o0, 0x8, %o0
 263         EX_LD(LOAD(ldd, %o1 + 0x08, %f0))
 264         add             %o1, 0x8, %o1
 265         subcc           %g2, 0x8, %g2
 266         faligndata      %f2, %f0, %f8
 267         EX_ST(STORE(std, %f8, %o0))
 268         bne,pn          %XCC, 1b
 269          add            %o0, 0x8, %o0
 270
 271         /* If anything is left, we copy it one byte at a time.
 272          * Note that %g1 is (src & 0x3) saved above before the
 273          * alignaddr was performed.
 274          */
 275 2:
 276         cmp             %o2, 0
 277         add             %o1, %g1, %o1
 278         VISExitHalf
 279         be,pn           %XCC, 85f
 280          sub            %o0, %o1, %o3
 281
 282         andcc           %g1, 0x7, %g0
 283         bne,pn          %icc, 90f
 284          andcc          %o2, 0x8, %g0
 285         be,pt           %icc, 1f
 286          nop
 287         EX_LD(LOAD(ldx, %o1, %o5))
 288         EX_ST(STORE(stx, %o5, %o1 + %o3))
 289         add             %o1, 0x8, %o1
 290
 291 1:      andcc           %o2, 0x4, %g0
 292         be,pt           %icc, 1f
 293          nop
 294         EX_LD(LOAD(lduw, %o1, %o5))
 295         EX_ST(STORE(stw, %o5, %o1 + %o3))
 296         add             %o1, 0x4, %o1
 297
 298 1:      andcc           %o2, 0x2, %g0
 299         be,pt           %icc, 1f
 300          nop
 301         EX_LD(LOAD(lduh, %o1, %o5))
 302         EX_ST(STORE(sth, %o5, %o1 + %o3))
 303         add             %o1, 0x2, %o1
 304
 305 1:      andcc           %o2, 0x1, %g0
 306         be,pt           %icc, 85f
 307          nop
 308         EX_LD(LOAD(ldub, %o1, %o5))
 309         ba,pt           %xcc, 85f
 310          EX_ST(STORE(stb, %o5, %o1 + %o3))
 311
 312         .align          64
 313 70: /* 16 < len <= 64 */
 314         bne,pn          %XCC, 75f
 315          sub            %o0, %o1, %o3
 316
 317 72:
 318         andn            %o2, 0xf, %o4
 319         and             %o2, 0xf, %o2
 320 1:      subcc           %o4, 0x10, %o4
 321         EX_LD(LOAD(ldx, %o1 + 0x00, %o5))
 322         EX_LD(LOAD(ldx, %o1 + 0x08, %g1))
 323         EX_ST(STORE(stx, %o5, %o1 + %o3))
 324         add             %o1, 0x8, %o1
 325         EX_ST(STORE(stx, %g1, %o1 + %o3))
 326         bgu,pt          %XCC, 1b
 327          add            %o1, 0x8, %o1
 328 73:     andcc           %o2, 0x8, %g0
 329         be,pt           %XCC, 1f
 330          nop
 331         sub             %o2, 0x8, %o2
 332         EX_LD(LOAD(ldx, %o1, %o5))
 333         EX_ST(STORE(stx, %o5, %o1 + %o3))
 334         add             %o1, 0x8, %o1
 335 1:      andcc           %o2, 0x4, %g0
 336         be,pt           %XCC, 1f
 337          nop
 338         sub             %o2, 0x4, %o2
 339         EX_LD(LOAD(lduw, %o1, %o5))
 340         EX_ST(STORE(stw, %o5, %o1 + %o3))
 341         add             %o1, 0x4, %o1
 342 1:      cmp             %o2, 0
 343         be,pt           %XCC, 85f
 344          nop
 345         ba,pt           %xcc, 90f
 346          nop
 347
 348 75:
 349         andcc           %o0, 0x7, %g1
 350         sub             %g1, 0x8, %g1
 351         be,pn           %icc, 2f
 352          sub            %g0, %g1, %g1
 353         sub             %o2, %g1, %o2
 354
 355 1:      subcc           %g1, 1, %g1
 356         EX_LD(LOAD(ldub, %o1, %o5))
 357         EX_ST(STORE(stb, %o5, %o1 + %o3))
 358         bgu,pt          %icc, 1b
 359          add            %o1, 1, %o1
 360
 361 2:      add             %o1, %o3, %o0
 362         andcc           %o1, 0x7, %g1
 363         bne,pt          %icc, 8f
 364          sll            %g1, 3, %g1
 365
 366         cmp             %o2, 16
 367         bgeu,pt         %icc, 72b
 368          nop
 369         ba,a,pt         %xcc, 73b
 370
 371 8:      mov             64, %o3
 372         andn            %o1, 0x7, %o1
 373         EX_LD(LOAD(ldx, %o1, %g2))
 374         sub             %o3, %g1, %o3
 375         andn            %o2, 0x7, %o4
 376         sllx            %g2, %g1, %g2
 377 1:      EX_LD(LOAD(ldx, %o1 + 0x8, %g3))
 378         subcc           %o4, 0x8, %o4
 379         add             %o1, 0x8, %o1
 380         srlx            %g3, %o3, %o5
 381         or              %o5, %g2, %o5
 382         EX_ST(STORE(stx, %o5, %o0))
 383         add             %o0, 0x8, %o0
 384         bgu,pt          %icc, 1b
 385          sllx           %g3, %g1, %g2
 386
 387         srl             %g1, 3, %g1
 388         andcc           %o2, 0x7, %o2
 389         be,pn           %icc, 85f
 390          add            %o1, %g1, %o1
 391         ba,pt           %xcc, 90f
 392          sub            %o0, %o1, %o3
 393
 394         .align          64
 395 80: /* 0 < len <= 16 */
 396         andcc           %o3, 0x3, %g0
 397         bne,pn          %XCC, 90f
 398          sub            %o0, %o1, %o3
 399
 400 1:
 401         subcc           %o2, 4, %o2
 402         EX_LD(LOAD(lduw, %o1, %g1))
 403         EX_ST(STORE(stw, %g1, %o1 + %o3))
 404         bgu,pt          %XCC, 1b
 405          add            %o1, 4, %o1
 406
 407 85:     retl
 408          mov            EX_RETVAL(%g5), %o0
 409
 410         .align          32
 411 90:
 412         subcc           %o2, 1, %o2
 413         EX_LD(LOAD(ldub, %o1, %g1))
 414         EX_ST(STORE(stb, %g1, %o1 + %o3))
 415         bgu,pt          %XCC, 90b
 416          add            %o1, 1, %o1
 417         retl
 418          mov            EX_RETVAL(%g5), %o0
 419
 420         .size           FUNC_NAME, .-FUNC_NAME