arch/s390/lib/uaccess64.S

   1 /*
   2  *  arch/s390x/lib/uaccess.S
   3  *    __copy_{from|to}_user functions.
   4  *
   5  *  s390
   6  *    Copyright (C) 2000,2002 IBM Deutschland Entwicklung GmbH, IBM Corporation
   7  *    Authors(s): Martin Schwidefsky (schwidefsky@de.ibm.com)
   8  *
   9  *  These functions have standard call interface
  10  */
  11
  12 #include <linux/errno.h>
  13 #include <asm/lowcore.h>
  14 #include <asm/asm-offsets.h>
  15
  16         .text
  17         .align 4
  18         .globl __copy_from_user_asm
  19         # %r2 = to, %r3 = n, %r4 = from
  20 __copy_from_user_asm:
  21         slgr    %r0,%r0
  22 0:      mvcp    0(%r3,%r2),0(%r4),%r0
  23         jnz     1f
  24         slgr    %r2,%r2
  25         br      %r14
  26 1:      la      %r2,256(%r2)
  27         la      %r4,256(%r4)
  28         aghi    %r3,-256
  29 2:      mvcp    0(%r3,%r2),0(%r4),%r0
  30         jnz     1b
  31 3:      slgr    %r2,%r2
  32         br      %r14
  33 4:      lghi    %r0,-4096
  34         lgr     %r5,%r4
  35         slgr    %r5,%r0
  36         ngr     %r5,%r0         # %r5 = (%r4 + 4096) & -4096
  37         slgr    %r5,%r4         # %r5 = #bytes to next user page boundary
  38         clgr    %r3,%r5         # copy crosses next page boundary ?
  39         jnh     6f              # no, the current page faulted
  40         # move with the reduced length which is < 256
  41 5:      mvcp    0(%r5,%r2),0(%r4),%r0
  42         slgr    %r3,%r5
  43         algr    %r2,%r5
  44 6:      lgr     %r5,%r3         # copy remaining size
  45         aghi    %r5,-1          # subtract 1 for xc loop
  46         bras    %r4,8f
  47         xc      0(1,%r2),0(%r2)
  48 7:      xc      0(256,%r2),0(%r2)
  49         la      %r2,256(%r2)
  50 8:      aghi    %r5,-256
  51         jnm     7b
  52         ex      %r5,0(%r4)
  53 9:      lgr     %r2,%r3
  54         br      %r14
  55         .section __ex_table,"a"
  56         .quad   0b,4b
  57         .quad   2b,4b
  58         .quad   5b,6b
  59         .previous
  60
  61         .align 4
  62         .text
  63         .globl __copy_to_user_asm
  64         # %r2 = from, %r3 = n, %r4 = to
  65 __copy_to_user_asm:
  66         slgr    %r0,%r0
  67 0:      mvcs    0(%r3,%r4),0(%r2),%r0
  68         jnz     1f
  69         slgr    %r2,%r2
  70         br      %r14
  71 1:      la      %r2,256(%r2)
  72         la      %r4,256(%r4)
  73         aghi    %r3,-256
  74 2:      mvcs    0(%r3,%r4),0(%r2),%r0
  75         jnz     1b
  76 3:      slgr    %r2,%r2
  77         br      %r14
  78 4:      lghi    %r0,-4096
  79         lgr     %r5,%r4
  80         slgr    %r5,%r0
  81         ngr     %r5,%r0         # %r5 = (%r4 + 4096) & -4096
  82         slgr    %r5,%r4         # %r5 = #bytes to next user page boundary
  83         clgr    %r3,%r5         # copy crosses next page boundary ?
  84         jnh     6f              # no, the current page faulted
  85         # move with the reduced length which is < 256
  86 5:      mvcs    0(%r5,%r4),0(%r2),%r0
  87         slgr    %r3,%r5
  88 6:      lgr     %r2,%r3
  89         br      %r14
  90         .section __ex_table,"a"
  91         .quad   0b,4b
  92         .quad   2b,4b
  93         .quad   5b,6b
  94         .previous
  95
  96         .align 4
  97         .text
  98         .globl __copy_in_user_asm
  99         # %r2 = from, %r3 = n, %r4 = to
 100 __copy_in_user_asm:
 101         sacf    256
 102         bras    1,1f
 103         mvc     0(1,%r4),0(%r2)
 104 0:      mvc     0(256,%r4),0(%r2)
 105         la      %r2,256(%r2)
 106         la      %r4,256(%r4)
 107 1:      aghi    %r3,-256
 108         jnm     0b
 109 2:      ex      %r3,0(%r1)
 110         sacf    0
 111         slgr    %r2,%r2
 112         br      14
 113 3:      mvc     0(1,%r4),0(%r2)
 114         la      %r2,1(%r2)
 115         la      %r4,1(%r4)
 116         aghi    %r3,-1
 117         jnm     3b
 118 4:      lgr     %r2,%r3
 119         sacf    0
 120         br      %r14
 121         .section __ex_table,"a"
 122         .quad   0b,3b
 123         .quad   2b,3b
 124         .quad   3b,4b
 125         .previous
 126
 127         .align 4
 128         .text
 129         .globl __clear_user_asm
 130         # %r2 = to, %r3 = n
 131 __clear_user_asm:
 132         slgr    %r0,%r0
 133         larl    %r5,empty_zero_page
 134 1:      mvcs    0(%r3,%r2),0(%r5),%r0
 135         jnz     2f
 136         slgr    %r2,%r2
 137         br      %r14
 138 2:      la      %r2,256(%r2)
 139         aghi    %r3,-256
 140 3:      mvcs    0(%r3,%r2),0(%r5),%r0
 141         jnz     2b
 142 4:      slgr    %r2,%r2
 143         br      %r14
 144 5:      lghi    %r0,-4096
 145         lgr     %r4,%r2
 146         slgr    %r4,%r0
 147         ngr     %r4,%r0         # %r4 = (%r2 + 4096) & -4096
 148         slgr    %r4,%r2         # %r4 = #bytes to next user page boundary
 149         clgr    %r3,%r4         # clear crosses next page boundary ?
 150         jnh     7f              # no, the current page faulted
 151         # clear with the reduced length which is < 256
 152 6:      mvcs    0(%r4,%r2),0(%r5),%r0
 153         slgr    %r3,%r4
 154 7:      lgr     %r2,%r3
 155         br      %r14
 156         .section __ex_table,"a"
 157         .quad   1b,5b
 158         .quad   3b,5b
 159         .quad   6b,7b
 160         .previous
 161
 162         .align 4
 163         .text
 164         .globl __strncpy_from_user_asm
 165         # %r2 = count, %r3 = dst, %r4 = src
 166 __strncpy_from_user_asm:
 167         lghi    %r0,0
 168         lgr     %r1,%r4
 169         la      %r2,0(%r2,%r4)  # %r2 points to first byte after string
 170         sacf    256
 171 0:      srst    %r2,%r1
 172         jo      0b
 173         sacf    0
 174         lgr     %r1,%r2
 175         jh      1f              # \0 found in string ?
 176         aghi    %r1,1           # include \0 in copy
 177 1:      slgr    %r1,%r4         # %r1 = copy length (without \0)
 178         slgr    %r2,%r4         # %r2 = return length (including \0)
 179 2:      mvcp    0(%r1,%r3),0(%r4),%r0
 180         jnz     3f
 181         br      %r14
 182 3:      la      %r3,256(%r3)
 183         la      %r4,256(%r4)
 184         aghi    %r1,-256
 185         mvcp    0(%r1,%r3),0(%r4),%r0
 186         jnz     3b
 187         br      %r14
 188 4:      sacf    0
 189         lghi    %r2,-EFAULT
 190         br      %r14
 191         .section __ex_table,"a"
 192         .quad   0b,4b
 193         .previous
 194
 195         .align 4
 196         .text
 197         .globl __strnlen_user_asm
 198         # %r2 = count, %r3 = src
 199 __strnlen_user_asm:
 200         lghi    %r0,0
 201         lgr     %r1,%r3
 202         la      %r2,0(%r2,%r3)  # %r2 points to first byte after string
 203         sacf    256
 204 0:      srst    %r2,%r1
 205         jo      0b
 206         sacf    0
 207         aghi    %r2,1           # strnlen_user result includes the \0
 208                                 # or return count+1 if \0 not found
 209         slgr    %r2,%r3
 210         br      %r14
 211 2:      sacf    0
 212         slgr    %r2,%r2         # return 0 on exception
 213         br      %r14
 214         .section __ex_table,"a"
 215         .quad   0b,2b
 216         .previous