arch/s390/lib/uaccess64.S

   1 /*
   2  *  arch/s390x/lib/uaccess.S
   3  *    __copy_{from|to}_user functions.
   4  *
   5  *  s390
   6  *    Copyright (C) 2000,2002 IBM Deutschland Entwicklung GmbH, IBM Corporation
   7  *    Authors(s): Martin Schwidefsky (schwidefsky@de.ibm.com)
   8  *
   9  *  These functions have standard call interface
  10  */
  11
  12 #include <linux/errno.h>
  13 #include <asm/lowcore.h>
  14 #include <asm/asm-offsets.h>
  15
  16         .text
  17         .align 4
  18         .globl __copy_from_user_asm
  19         # %r2 = to, %r3 = n, %r4 = from
  20 __copy_from_user_asm:
  21         slgr    %r0,%r0
  22 0:      mvcp    0(%r3,%r2),0(%r4),%r0
  23         jnz     1f
  24         slgr    %r2,%r2
  25         br      %r14
  26 1:      la      %r2,256(%r2)
  27         la      %r4,256(%r4)
  28         aghi    %r3,-256
  29 2:      mvcp    0(%r3,%r2),0(%r4),%r0
  30         jnz     1b
  31 3:      slgr    %r2,%r2
  32         br      %r14
  33 4:      lghi    %r0,-4096
  34         lgr     %r5,%r4
  35         slgr    %r5,%r0
  36         ngr     %r5,%r0         # %r5 = (%r4 + 4096) & -4096
  37         slgr    %r5,%r4         # %r5 = #bytes to next user page boundary
  38         clgr    %r3,%r5         # copy crosses next page boundary ?
  39         jnh     6f              # no, the current page faulted
  40         # move with the reduced length which is < 256
  41 5:      mvcp    0(%r5,%r2),0(%r4),%r0
  42         slgr    %r3,%r5
  43         algr    %r2,%r5
  44 6:      lgr     %r5,%r3         # copy remaining size
  45         aghi    %r5,-1          # subtract 1 for xc loop
  46         bras    %r4,8f
  47         xc      0(1,%r2),0(%r2)
  48 7:      xc      0(256,%r2),0(%r2)
  49         la      %r2,256(%r2)
  50 8:      aghi    %r5,-256
  51         jnm     7b
  52         ex      %r5,0(%r2)
  53 9:      lgr     %r2,%r3
  54         br      %r14
  55         .section __ex_table,"a"
  56         .quad   0b,4b
  57         .quad   2b,4b
  58         .quad   5b,6b
  59         .previous
  60
  61         .align 4
  62         .text
  63         .globl __copy_to_user_asm
  64         # %r2 = from, %r3 = n, %r4 = to
  65 __copy_to_user_asm:
  66         slgr    %r0,%r0
  67 0:      mvcs    0(%r3,%r4),0(%r2),%r0
  68         jnz     1f
  69         slgr    %r2,%r2
  70         br      %r14
  71 1:      la      %r2,256(%r2)
  72         la      %r4,256(%r4)
  73         aghi    %r3,-256
  74 2:      mvcs    0(%r3,%r4),0(%r2),%r0
  75         jnz     1b
  76 3:      slgr    %r2,%r2
  77         br      %r14
  78 4:      lghi    %r0,-4096
  79         lgr     %r5,%r4
  80         slgr    %r5,%r0
  81         ngr     %r5,%r0         # %r5 = (%r4 + 4096) & -4096
  82         slgr    %r5,%r4         # %r5 = #bytes to next user page boundary
  83         clgr    %r3,%r5         # copy crosses next page boundary ?
  84         jnh     6f              # no, the current page faulted
  85         # move with the reduced length which is < 256
  86 5:      mvcs    0(%r5,%r4),0(%r2),%r0
  87         slgr    %r3,%r5
  88 6:      lgr     %r2,%r3
  89         br      %r14
  90         .section __ex_table,"a"
  91         .quad   0b,4b
  92         .quad   2b,4b
  93         .quad   5b,6b
  94         .previous
  95
  96         .align 4
  97         .text
  98         .globl __copy_in_user_asm
  99         # %r2 = from, %r3 = n, %r4 = to
 100 __copy_in_user_asm:
 101         aghi    %r3,-1
 102         jo      6f
 103         sacf    256
 104         bras    %r1,4f
 105 0:      aghi    %r3,257
 106 1:      mvc     0(1,%r4),0(%r2)
 107         la      %r2,1(%r2)
 108         la      %r4,1(%r4)
 109         aghi    %r3,-1
 110         jnz     1b
 111 2:      lgr     %r2,%r3
 112         br      %r14
 113 3:      mvc     0(256,%r4),0(%r2)
 114         la      %r2,256(%r2)
 115         la      %r4,256(%r4)
 116 4:      aghi    %r3,-256
 117         jnm     3b
 118 5:      ex      %r3,4(%r1)
 119         sacf    0
 120 6:      slgr    %r2,%r2
 121         br      14
 122         .section __ex_table,"a"
 123         .quad   1b,2b
 124         .quad   3b,0b
 125         .quad   5b,0b
 126         .previous
 127
 128         .align 4
 129         .text
 130         .globl __clear_user_asm
 131         # %r2 = to, %r3 = n
 132 __clear_user_asm:
 133         slgr    %r0,%r0
 134         larl    %r5,empty_zero_page
 135 1:      mvcs    0(%r3,%r2),0(%r5),%r0
 136         jnz     2f
 137         slgr    %r2,%r2
 138         br      %r14
 139 2:      la      %r2,256(%r2)
 140         aghi    %r3,-256
 141 3:      mvcs    0(%r3,%r2),0(%r5),%r0
 142         jnz     2b
 143 4:      slgr    %r2,%r2
 144         br      %r14
 145 5:      lghi    %r0,-4096
 146         lgr     %r4,%r2
 147         slgr    %r4,%r0
 148         ngr     %r4,%r0         # %r4 = (%r2 + 4096) & -4096
 149         slgr    %r4,%r2         # %r4 = #bytes to next user page boundary
 150         clgr    %r3,%r4         # clear crosses next page boundary ?
 151         jnh     7f              # no, the current page faulted
 152         # clear with the reduced length which is < 256
 153 6:      mvcs    0(%r4,%r2),0(%r5),%r0
 154         slgr    %r3,%r4
 155 7:      lgr     %r2,%r3
 156         br      %r14
 157         .section __ex_table,"a"
 158         .quad   1b,5b
 159         .quad   3b,5b
 160         .quad   6b,7b
 161         .previous
 162
 163         .align 4
 164         .text
 165         .globl __strncpy_from_user_asm
 166         # %r2 = count, %r3 = dst, %r4 = src
 167 __strncpy_from_user_asm:
 168         lghi    %r0,0
 169         lgr     %r1,%r4
 170         la      %r2,0(%r2,%r4)  # %r2 points to first byte after string
 171         sacf    256
 172 0:      srst    %r2,%r1
 173         jo      0b
 174         sacf    0
 175         lgr     %r1,%r2
 176         jh      1f              # \0 found in string ?
 177         aghi    %r1,1           # include \0 in copy
 178 1:      slgr    %r1,%r4         # %r1 = copy length (without \0)
 179         slgr    %r2,%r4         # %r2 = return length (including \0)
 180 2:      mvcp    0(%r1,%r3),0(%r4),%r0
 181         jnz     3f
 182         br      %r14
 183 3:      la      %r3,256(%r3)
 184         la      %r4,256(%r4)
 185         aghi    %r1,-256
 186         mvcp    0(%r1,%r3),0(%r4),%r0
 187         jnz     3b
 188         br      %r14
 189 4:      sacf    0
 190         lghi    %r2,-EFAULT
 191         br      %r14
 192         .section __ex_table,"a"
 193         .quad   0b,4b
 194         .previous
 195
 196         .align 4
 197         .text
 198         .globl __strnlen_user_asm
 199         # %r2 = count, %r3 = src
 200 __strnlen_user_asm:
 201         lghi    %r0,0
 202         lgr     %r1,%r3
 203         la      %r2,0(%r2,%r3)  # %r2 points to first byte after string
 204         sacf    256
 205 0:      srst    %r2,%r1
 206         jo      0b
 207         sacf    0
 208         aghi    %r2,1           # strnlen_user result includes the \0
 209                                 # or return count+1 if \0 not found
 210         slgr    %r2,%r3
 211         br      %r14
 212 2:      sacf    0
 213         slgr    %r2,%r2         # return 0 on exception
 214         br      %r14
 215         .section __ex_table,"a"
 216         .quad   0b,2b
 217         .previous