arch/s390/lib/uaccess.S

   1 /*
   2  *  arch/s390/lib/uaccess.S
   3  *    __copy_{from|to}_user functions.
   4  *
   5  *  s390
   6  *    Copyright (C) 2000,2002 IBM Deutschland Entwicklung GmbH, IBM Corporation
   7  *    Authors(s): Martin Schwidefsky (schwidefsky@de.ibm.com)
   8  *
   9  *  These functions have standard call interface
  10  */
  11
  12 #include <linux/errno.h>
  13 #include <asm/lowcore.h>
  14 #include <asm/asm-offsets.h>
  15
  16         .text
  17         .align 4
  18         .globl __copy_from_user_asm
  19         # %r2 = to, %r3 = n, %r4 = from
  20 __copy_from_user_asm:
  21         slr     %r0,%r0
  22 0:      mvcp    0(%r3,%r2),0(%r4),%r0
  23         jnz     1f
  24         slr     %r2,%r2
  25         br      %r14
  26 1:      la      %r2,256(%r2)
  27         la      %r4,256(%r4)
  28         ahi     %r3,-256
  29 2:      mvcp    0(%r3,%r2),0(%r4),%r0
  30         jnz     1b
  31 3:      slr     %r2,%r2
  32         br      %r14
  33 4:      lhi     %r0,-4096
  34         lr      %r5,%r4
  35         slr     %r5,%r0
  36         nr      %r5,%r0         # %r5 = (%r4 + 4096) & -4096
  37         slr     %r5,%r4         # %r5 = #bytes to next user page boundary
  38         clr     %r3,%r5         # copy crosses next page boundary ?
  39         jnh     6f              # no, the current page faulted
  40         # move with the reduced length which is < 256
  41 5:      mvcp    0(%r5,%r2),0(%r4),%r0
  42         slr     %r3,%r5
  43         alr     %r2,%r5
  44 6:      lr      %r5,%r3         # copy remaining size
  45         ahi     %r5,-1          # subtract 1 for xc loop
  46         bras    %r4,8f
  47         xc      0(1,%r2),0(%r2)
  48 7:      xc      0(256,%r2),0(%r2)
  49         la      %r2,256(%r2)
  50 8:      ahi     %r5,-256
  51         jnm     7b
  52         ex      %r5,0(%r4)
  53 9:      lr      %r2,%r3
  54         br      %r14
  55         .section __ex_table,"a"
  56         .long   0b,4b
  57         .long   2b,4b
  58         .long   5b,6b
  59         .previous
  60
  61         .align 4
  62         .text
  63         .globl __copy_to_user_asm
  64         # %r2 = from, %r3 = n, %r4 = to
  65 __copy_to_user_asm:
  66         slr     %r0,%r0
  67 0:      mvcs    0(%r3,%r4),0(%r2),%r0
  68         jnz     1f
  69         slr     %r2,%r2
  70         br      %r14
  71 1:      la      %r2,256(%r2)
  72         la      %r4,256(%r4)
  73         ahi     %r3,-256
  74 2:      mvcs    0(%r3,%r4),0(%r2),%r0
  75         jnz     1b
  76 3:      slr     %r2,%r2
  77         br      %r14
  78 4:      lhi     %r0,-4096
  79         lr      %r5,%r4
  80         slr     %r5,%r0
  81         nr      %r5,%r0         # %r5 = (%r4 + 4096) & -4096
  82         slr     %r5,%r4         # %r5 = #bytes to next user page boundary
  83         clr     %r3,%r5         # copy crosses next page boundary ?
  84         jnh     6f              # no, the current page faulted
  85         # move with the reduced length which is < 256
  86 5:      mvcs    0(%r5,%r4),0(%r2),%r0
  87         slr     %r3,%r5
  88 6:      lr      %r2,%r3
  89         br      %r14
  90         .section __ex_table,"a"
  91         .long   0b,4b
  92         .long   2b,4b
  93         .long   5b,6b
  94         .previous
  95
  96         .align 4
  97         .text
  98         .globl __copy_in_user_asm
  99         # %r2 = from, %r3 = n, %r4 = to
 100 __copy_in_user_asm:
 101         sacf    256
 102         bras    1,1f
 103         mvc     0(1,%r4),0(%r2)
 104 0:      mvc     0(256,%r4),0(%r2)
 105         la      %r2,256(%r2)
 106         la      %r4,256(%r4)
 107 1:      ahi     %r3,-256
 108         jnm     0b
 109 2:      ex      %r3,0(%r1)
 110         sacf    0
 111         slr     %r2,%r2
 112         br      14
 113 3:      mvc     0(1,%r4),0(%r2)
 114         la      %r2,1(%r2)
 115         la      %r4,1(%r4)
 116         ahi     %r3,-1
 117         jnm     3b
 118 4:      lr      %r2,%r3
 119         sacf    0
 120         br      %r14
 121         .section __ex_table,"a"
 122         .long   0b,3b
 123         .long   2b,3b
 124         .long   3b,4b
 125         .previous
 126
 127         .align 4
 128         .text
 129         .globl __clear_user_asm
 130         # %r2 = to, %r3 = n
 131 __clear_user_asm:
 132         bras    %r5,0f
 133         .long   empty_zero_page
 134 0:      l       %r5,0(%r5)
 135         slr     %r0,%r0
 136 1:      mvcs    0(%r3,%r2),0(%r5),%r0
 137         jnz     2f
 138         slr     %r2,%r2
 139         br      %r14
 140 2:      la      %r2,256(%r2)
 141         ahi     %r3,-256
 142 3:      mvcs    0(%r3,%r2),0(%r5),%r0
 143         jnz     2b
 144 4:      slr     %r2,%r2
 145         br      %r14
 146 5:      lhi     %r0,-4096
 147         lr      %r4,%r2
 148         slr     %r4,%r0
 149         nr      %r4,%r0         # %r4 = (%r2 + 4096) & -4096
 150         slr     %r4,%r2         # %r4 = #bytes to next user page boundary
 151         clr     %r3,%r4         # clear crosses next page boundary ?
 152         jnh     7f              # no, the current page faulted
 153         # clear with the reduced length which is < 256
 154 6:      mvcs    0(%r4,%r2),0(%r5),%r0
 155         slr     %r3,%r4
 156 7:      lr      %r2,%r3
 157         br      %r14
 158         .section __ex_table,"a"
 159         .long   1b,5b
 160         .long   3b,5b
 161         .long   6b,7b
 162         .previous
 163
 164         .align 4
 165         .text
 166         .globl __strncpy_from_user_asm
 167         # %r2 = count, %r3 = dst, %r4 = src
 168 __strncpy_from_user_asm:
 169         lhi     %r0,0
 170         lr      %r1,%r4
 171         la      %r4,0(%r4)      # clear high order bit from %r4
 172         la      %r2,0(%r2,%r4)  # %r2 points to first byte after string
 173         sacf    256
 174 0:      srst    %r2,%r1
 175         jo      0b
 176         sacf    0
 177         lr      %r1,%r2
 178         jh      1f              # \0 found in string ?
 179         ahi     %r1,1           # include \0 in copy
 180 1:      slr     %r1,%r4         # %r1 = copy length (without \0)
 181         slr     %r2,%r4         # %r2 = return length (including \0)
 182 2:      mvcp    0(%r1,%r3),0(%r4),%r0
 183         jnz     3f
 184         br      %r14
 185 3:      la      %r3,256(%r3)
 186         la      %r4,256(%r4)
 187         ahi     %r1,-256
 188         mvcp    0(%r1,%r3),0(%r4),%r0
 189         jnz     3b
 190         br      %r14
 191 4:      sacf    0
 192         lhi     %r2,-EFAULT
 193         br      %r14
 194         .section __ex_table,"a"
 195         .long   0b,4b
 196         .previous
 197
 198         .align 4
 199         .text
 200         .globl __strnlen_user_asm
 201         # %r2 = count, %r3 = src
 202 __strnlen_user_asm:
 203         lhi     %r0,0
 204         lr      %r1,%r3
 205         la      %r3,0(%r3)      # clear high order bit from %r4
 206         la      %r2,0(%r2,%r3)  # %r2 points to first byte after string
 207         sacf    256
 208 0:      srst    %r2,%r1
 209         jo      0b
 210         sacf    0
 211         ahi     %r2,1           # strnlen_user result includes the \0
 212                                 # or return count+1 if \0 not found
 213         slr     %r2,%r3
 214         br      %r14
 215 2:      sacf    0
 216         slr     %r2,%r2         # return 0 on exception
 217         br      %r14
 218         .section __ex_table,"a"
 219         .long   0b,2b
 220         .previous