fs/read_write.c

   1 /*
   2  *  linux/fs/read_write.c
   3  *
   4  *  Copyright (C) 1991, 1992  Linus Torvalds
   5  */
   6
   7 #include <linux/slab.h>
   8 #include <linux/stat.h>
   9 #include <linux/fcntl.h>
  10 #include <linux/file.h>
  11 #include <linux/uio.h>
  12 #include <linux/smp_lock.h>
  13 #include <linux/dnotify.h>
  14 #include <linux/security.h>
  15 #include <linux/module.h>
  16
  17 #include <asm/uaccess.h>
  18 #include <asm/unistd.h>
  19
  20 struct file_operations generic_ro_fops = {
  21         .llseek         = generic_file_llseek,
  22         .read           = generic_file_read,
  23         .mmap           = generic_file_readonly_mmap,
  24         .sendfile       = generic_file_sendfile,
  25 };
  26
  27 EXPORT_SYMBOL(generic_ro_fops);
  28
  29 loff_t generic_file_llseek(struct file *file, loff_t offset, int origin)
  30 {
  31         long long retval;
  32         struct inode *inode = file->f_mapping->host;
  33
  34         down(&inode->i_sem);
  35         switch (origin) {
  36                 case 2:
  37                         offset += inode->i_size;
  38                         break;
  39                 case 1:
  40                         offset += file->f_pos;
  41         }
  42         retval = -EINVAL;
  43         if (offset>=0 && offset<=inode->i_sb->s_maxbytes) {
  44                 if (offset != file->f_pos) {
  45                         file->f_pos = offset;
  46                         file->f_version = 0;
  47                 }
  48                 retval = offset;
  49         }
  50         up(&inode->i_sem);
  51         return retval;
  52 }
  53
  54 EXPORT_SYMBOL(generic_file_llseek);
  55
  56 loff_t remote_llseek(struct file *file, loff_t offset, int origin)
  57 {
  58         long long retval;
  59
  60         lock_kernel();
  61         switch (origin) {
  62                 case 2:
  63                         offset += i_size_read(file->f_dentry->d_inode);
  64                         break;
  65                 case 1:
  66                         offset += file->f_pos;
  67         }
  68         retval = -EINVAL;
  69         if (offset>=0 && offset<=file->f_dentry->d_inode->i_sb->s_maxbytes) {
  70                 if (offset != file->f_pos) {
  71                         file->f_pos = offset;
  72                         file->f_version = 0;
  73                 }
  74                 retval = offset;
  75         }
  76         unlock_kernel();
  77         return retval;
  78 }
  79 EXPORT_SYMBOL(remote_llseek);
  80
  81 loff_t no_llseek(struct file *file, loff_t offset, int origin)
  82 {
  83         return -ESPIPE;
  84 }
  85 EXPORT_SYMBOL(no_llseek);
  86
  87 loff_t default_llseek(struct file *file, loff_t offset, int origin)
  88 {
  89         long long retval;
  90
  91         lock_kernel();
  92         switch (origin) {
  93                 case 2:
  94                         offset += i_size_read(file->f_dentry->d_inode);
  95                         break;
  96                 case 1:
  97                         offset += file->f_pos;
  98         }
  99         retval = -EINVAL;
 100         if (offset >= 0) {
 101                 if (offset != file->f_pos) {
 102                         file->f_pos = offset;
 103                         file->f_version = 0;
 104                 }
 105                 retval = offset;
 106         }
 107         unlock_kernel();
 108         return retval;
 109 }
 110 EXPORT_SYMBOL(default_llseek);
 111
 112 loff_t vfs_llseek(struct file *file, loff_t offset, int origin)
 113 {
 114         loff_t (*fn)(struct file *, loff_t, int);
 115
 116         fn = no_llseek;
 117         if (file->f_mode & FMODE_LSEEK) {
 118                 fn = default_llseek;
 119                 if (file->f_op && file->f_op->llseek)
 120                         fn = file->f_op->llseek;
 121         }
 122         return fn(file, offset, origin);
 123 }
 124 EXPORT_SYMBOL(vfs_llseek);
 125
 126 asmlinkage off_t sys_lseek(unsigned int fd, off_t offset, unsigned int origin)
 127 {
 128         off_t retval;
 129         struct file * file;
 130         int fput_needed;
 131
 132         retval = -EBADF;
 133         file = fget_light(fd, &fput_needed);
 134         if (!file)
 135                 goto bad;
 136
 137         retval = -EINVAL;
 138         if (origin <= 2) {
 139                 loff_t res = vfs_llseek(file, offset, origin);
 140                 retval = res;
 141                 if (res != (loff_t)retval)
 142                         retval = -EOVERFLOW;    /* LFS: should only happen on 32 bit platforms */
 143         }
 144         fput_light(file, fput_needed);
 145 bad:
 146         return retval;
 147 }
 148
 149 #ifdef __ARCH_WANT_SYS_LLSEEK
 150 asmlinkage long sys_llseek(unsigned int fd, unsigned long offset_high,
 151                            unsigned long offset_low, loff_t __user * result,
 152                            unsigned int origin)
 153 {
 154         int retval;
 155         struct file * file;
 156         loff_t offset;
 157         int fput_needed;
 158
 159         retval = -EBADF;
 160         file = fget_light(fd, &fput_needed);
 161         if (!file)
 162                 goto bad;
 163
 164         retval = -EINVAL;
 165         if (origin > 2)
 166                 goto out_putf;
 167
 168         offset = vfs_llseek(file, ((loff_t) offset_high << 32) | offset_low,
 169                         origin);
 170
 171         retval = (int)offset;
 172         if (offset >= 0) {
 173                 retval = -EFAULT;
 174                 if (!copy_to_user(result, &offset, sizeof(offset)))
 175                         retval = 0;
 176         }
 177 out_putf:
 178         fput_light(file, fput_needed);
 179 bad:
 180         return retval;
 181 }
 182 #endif
 183
 184 ssize_t do_sync_read(struct file *filp, char __user *buf, size_t len, loff_t *ppos)
 185 {
 186         struct kiocb kiocb;
 187         ssize_t ret;
 188
 189         init_sync_kiocb(&kiocb, filp);
 190         kiocb.ki_pos = *ppos;
 191         ret = filp->f_op->aio_read(&kiocb, buf, len, kiocb.ki_pos);
 192         if (-EIOCBQUEUED == ret)
 193                 ret = wait_on_sync_kiocb(&kiocb);
 194         *ppos = kiocb.ki_pos;
 195         return ret;
 196 }
 197
 198 EXPORT_SYMBOL(do_sync_read);
 199
 200 ssize_t vfs_read(struct file *file, char __user *buf, size_t count, loff_t *pos)
 201 {
 202         struct inode *inode = file->f_dentry->d_inode;
 203         ssize_t ret;
 204
 205         if (!(file->f_mode & FMODE_READ))
 206                 return -EBADF;
 207         if (!file->f_op || (!file->f_op->read && !file->f_op->aio_read))
 208                 return -EINVAL;
 209
 210         ret = locks_verify_area(FLOCK_VERIFY_READ, inode, file, *pos, count);
 211         if (!ret) {
 212                 ret = security_file_permission (file, MAY_READ);
 213                 if (!ret) {
 214                         if (file->f_op->read)
 215                                 ret = file->f_op->read(file, buf, count, pos);
 216                         else
 217                                 ret = do_sync_read(file, buf, count, pos);
 218                         if (ret > 0)
 219                                 dnotify_parent(file->f_dentry, DN_ACCESS);
 220                 }
 221         }
 222
 223         return ret;
 224 }
 225
 226 EXPORT_SYMBOL(vfs_read);
 227
 228 ssize_t do_sync_write(struct file *filp, const char __user *buf, size_t len, loff_t *ppos)
 229 {
 230         struct kiocb kiocb;
 231         ssize_t ret;
 232
 233         init_sync_kiocb(&kiocb, filp);
 234         kiocb.ki_pos = *ppos;
 235         ret = filp->f_op->aio_write(&kiocb, buf, len, kiocb.ki_pos);
 236         if (-EIOCBQUEUED == ret)
 237                 ret = wait_on_sync_kiocb(&kiocb);
 238         *ppos = kiocb.ki_pos;
 239         return ret;
 240 }
 241
 242 EXPORT_SYMBOL(do_sync_write);
 243
 244 ssize_t vfs_write(struct file *file, const char __user *buf, size_t count, loff_t *pos)
 245 {
 246         struct inode *inode = file->f_dentry->d_inode;
 247         ssize_t ret;
 248
 249         if (!(file->f_mode & FMODE_WRITE))
 250                 return -EBADF;
 251         if (!file->f_op || (!file->f_op->write && !file->f_op->aio_write))
 252                 return -EINVAL;
 253
 254         ret = locks_verify_area(FLOCK_VERIFY_WRITE, inode, file, *pos, count);
 255         if (!ret) {
 256                 ret = security_file_permission (file, MAY_WRITE);
 257                 if (!ret) {
 258                         if (file->f_op->write)
 259                                 ret = file->f_op->write(file, buf, count, pos);
 260                         else
 261                                 ret = do_sync_write(file, buf, count, pos);
 262                         if (ret > 0)
 263                                 dnotify_parent(file->f_dentry, DN_MODIFY);
 264                 }
 265         }
 266
 267         return ret;
 268 }
 269
 270 EXPORT_SYMBOL(vfs_write);
 271
 272 static inline loff_t file_pos_read(struct file *file)
 273 {
 274         return file->f_pos;
 275 }
 276
 277 static inline void file_pos_write(struct file *file, loff_t pos)
 278 {
 279         file->f_pos = pos;
 280 }
 281
 282 asmlinkage ssize_t sys_read(unsigned int fd, char __user * buf, size_t count)
 283 {
 284         struct file *file;
 285         ssize_t ret = -EBADF;
 286         int fput_needed;
 287
 288         file = fget_light(fd, &fput_needed);
 289         if (file) {
 290                 loff_t pos = file_pos_read(file);
 291                 ret = vfs_read(file, buf, count, &pos);
 292                 file_pos_write(file, pos);
 293                 fput_light(file, fput_needed);
 294         }
 295
 296         return ret;
 297 }
 298
 299 asmlinkage ssize_t sys_write(unsigned int fd, const char __user * buf, size_t count)
 300 {
 301         struct file *file;
 302         ssize_t ret = -EBADF;
 303         int fput_needed;
 304
 305         file = fget_light(fd, &fput_needed);
 306         if (file) {
 307                 loff_t pos = file_pos_read(file);
 308                 ret = vfs_write(file, buf, count, &pos);
 309                 file_pos_write(file, pos);
 310                 fput_light(file, fput_needed);
 311         }
 312
 313         return ret;
 314 }
 315
 316 asmlinkage ssize_t sys_pread64(unsigned int fd, char __user *buf,
 317                              size_t count, loff_t pos)
 318 {
 319         struct file *file;
 320         ssize_t ret = -EBADF;
 321         int fput_needed;
 322
 323         if (pos < 0)
 324                 return -EINVAL;
 325
 326         file = fget_light(fd, &fput_needed);
 327         if (file) {
 328                 ret = -ESPIPE;
 329                 if (file->f_mode & FMODE_PREAD)
 330                         ret = vfs_read(file, buf, count, &pos);
 331                 fput_light(file, fput_needed);
 332         }
 333
 334         return ret;
 335 }
 336
 337 asmlinkage ssize_t sys_pwrite64(unsigned int fd, const char __user *buf,
 338                               size_t count, loff_t pos)
 339 {
 340         struct file *file;
 341         ssize_t ret = -EBADF;
 342         int fput_needed;
 343
 344         if (pos < 0)
 345                 return -EINVAL;
 346
 347         file = fget_light(fd, &fput_needed);
 348         if (file) {
 349                 ret = -ESPIPE;
 350                 if (file->f_mode & FMODE_PWRITE)
 351                         ret = vfs_write(file, buf, count, &pos);
 352                 fput_light(file, fput_needed);
 353         }
 354
 355         return ret;
 356 }
 357
 358 /*
 359  * Reduce an iovec's length in-place.  Return the resulting number of segments
 360  */
 361 unsigned long iov_shorten(struct iovec *iov, unsigned long nr_segs, size_t to)
 362 {
 363         unsigned long seg = 0;
 364         size_t len = 0;
 365
 366         while (seg < nr_segs) {
 367                 seg++;
 368                 if (len + iov->iov_len >= to) {
 369                         iov->iov_len = to - len;
 370                         break;
 371                 }
 372                 len += iov->iov_len;
 373                 iov++;
 374         }
 375         return seg;
 376 }
 377
 378 EXPORT_SYMBOL(iov_shorten);
 379
 380 static ssize_t do_readv_writev(int type, struct file *file,
 381                                const struct iovec __user * uvector,
 382                                unsigned long nr_segs, loff_t *pos)
 383 {
 384         typedef ssize_t (*io_fn_t)(struct file *, char __user *, size_t, loff_t *);
 385         typedef ssize_t (*iov_fn_t)(struct file *, const struct iovec *, unsigned long, loff_t *);
 386
 387         size_t tot_len;
 388         struct iovec iovstack[UIO_FASTIOV];
 389         struct iovec *iov=iovstack, *vector;
 390         ssize_t ret;
 391         int seg;
 392         io_fn_t fn;
 393         iov_fn_t fnv;
 394         struct inode *inode;
 395
 396         /*
 397          * SuS says "The readv() function *may* fail if the iovcnt argument
 398          * was less than or equal to 0, or greater than {IOV_MAX}.  Linux has
 399          * traditionally returned zero for zero segments, so...
 400          */
 401         ret = 0;
 402         if (nr_segs == 0)
 403                 goto out;
 404
 405         /*
 406          * First get the "struct iovec" from user memory and
 407          * verify all the pointers
 408          */
 409         ret = -EINVAL;
 410         if ((nr_segs > UIO_MAXIOV) || (nr_segs <= 0))
 411                 goto out;
 412         if (!file->f_op)
 413                 goto out;
 414         if (nr_segs > UIO_FASTIOV) {
 415                 ret = -ENOMEM;
 416                 iov = kmalloc(nr_segs*sizeof(struct iovec), GFP_KERNEL);
 417                 if (!iov)
 418                         goto out;
 419         }
 420         ret = -EFAULT;
 421         if (copy_from_user(iov, uvector, nr_segs*sizeof(*uvector)))
 422                 goto out;
 423
 424         /*
 425          * Single unix specification:
 426          * We should -EINVAL if an element length is not >= 0 and fitting an
 427          * ssize_t.  The total length is fitting an ssize_t
 428          *
 429          * Be careful here because iov_len is a size_t not an ssize_t
 430          */
 431         tot_len = 0;
 432         ret = -EINVAL;
 433         for (seg = 0; seg < nr_segs; seg++) {
 434                 ssize_t len = (ssize_t)iov[seg].iov_len;
 435
 436                 if (len < 0)    /* size_t not fitting an ssize_t .. */
 437                         goto out;
 438                 tot_len += len;
 439                 if ((ssize_t)tot_len < 0) /* maths overflow on the ssize_t */
 440                         goto out;
 441         }
 442         if (tot_len == 0) {
 443                 ret = 0;
 444                 goto out;
 445         }
 446
 447         inode = file->f_dentry->d_inode;
 448         /* VERIFY_WRITE actually means a read, as we write to user space */
 449         ret = locks_verify_area((type == READ
 450                                  ? FLOCK_VERIFY_READ : FLOCK_VERIFY_WRITE),
 451                                 inode, file, *pos, tot_len);
 452         if (ret)
 453                 goto out;
 454
 455         fnv = NULL;
 456         if (type == READ) {
 457                 fn = file->f_op->read;
 458                 fnv = file->f_op->readv;
 459         } else {
 460                 fn = (io_fn_t)file->f_op->write;
 461                 fnv = file->f_op->writev;
 462         }
 463         if (fnv) {
 464                 ret = fnv(file, iov, nr_segs, pos);
 465                 goto out;
 466         }
 467
 468         /* Do it by hand, with file-ops */
 469         ret = 0;
 470         vector = iov;
 471         while (nr_segs > 0) {
 472                 void __user * base;
 473                 size_t len;
 474                 ssize_t nr;
 475
 476                 base = vector->iov_base;
 477                 len = vector->iov_len;
 478                 vector++;
 479                 nr_segs--;
 480
 481                 nr = fn(file, base, len, pos);
 482
 483                 if (nr < 0) {
 484                         if (!ret) ret = nr;
 485                         break;
 486                 }
 487                 ret += nr;
 488                 if (nr != len)
 489                         break;
 490         }
 491 out:
 492         if (iov != iovstack)
 493                 kfree(iov);
 494         if ((ret + (type == READ)) > 0)
 495                 dnotify_parent(file->f_dentry,
 496                                 (type == READ) ? DN_ACCESS : DN_MODIFY);
 497         return ret;
 498 }
 499
 500 ssize_t vfs_readv(struct file *file, const struct iovec __user *vec,
 501                   unsigned long vlen, loff_t *pos)
 502 {
 503         if (!(file->f_mode & FMODE_READ))
 504                 return -EBADF;
 505         if (!file->f_op || (!file->f_op->readv && !file->f_op->read))
 506                 return -EINVAL;
 507
 508         return do_readv_writev(READ, file, vec, vlen, pos);
 509 }
 510
 511 EXPORT_SYMBOL(vfs_readv);
 512
 513 ssize_t vfs_writev(struct file *file, const struct iovec __user *vec,
 514                    unsigned long vlen, loff_t *pos)
 515 {
 516         if (!(file->f_mode & FMODE_WRITE))
 517                 return -EBADF;
 518         if (!file->f_op || (!file->f_op->writev && !file->f_op->write))
 519                 return -EINVAL;
 520
 521         return do_readv_writev(WRITE, file, vec, vlen, pos);
 522 }
 523
 524 EXPORT_SYMBOL(vfs_writev);
 525
 526 asmlinkage ssize_t
 527 sys_readv(unsigned long fd, const struct iovec __user *vec, unsigned long vlen)
 528 {
 529         struct file *file;
 530         ssize_t ret = -EBADF;
 531         int fput_needed;
 532
 533         file = fget_light(fd, &fput_needed);
 534         if (file) {
 535                 loff_t pos = file_pos_read(file);
 536                 ret = vfs_readv(file, vec, vlen, &pos);
 537                 file_pos_write(file, pos);
 538                 fput_light(file, fput_needed);
 539         }
 540
 541         return ret;
 542 }
 543
 544 asmlinkage ssize_t
 545 sys_writev(unsigned long fd, const struct iovec __user *vec, unsigned long vlen)
 546 {
 547         struct file *file;
 548         ssize_t ret = -EBADF;
 549         int fput_needed;
 550
 551         file = fget_light(fd, &fput_needed);
 552         if (file) {
 553                 loff_t pos = file_pos_read(file);
 554                 ret = vfs_writev(file, vec, vlen, &pos);
 555                 file_pos_write(file, pos);
 556                 fput_light(file, fput_needed);
 557         }
 558
 559         return ret;
 560 }
 561
 562 static ssize_t do_sendfile(int out_fd, int in_fd, loff_t *ppos,
 563                            size_t count, loff_t max)
 564 {
 565         struct file * in_file, * out_file;
 566         struct inode * in_inode, * out_inode;
 567         loff_t pos;
 568         ssize_t retval;
 569         int fput_needed_in, fput_needed_out;
 570
 571         /*
 572          * Get input file, and verify that it is ok..
 573          */
 574         retval = -EBADF;
 575         in_file = fget_light(in_fd, &fput_needed_in);
 576         if (!in_file)
 577                 goto out;
 578         if (!(in_file->f_mode & FMODE_READ))
 579                 goto fput_in;
 580         retval = -EINVAL;
 581         in_inode = in_file->f_dentry->d_inode;
 582         if (!in_inode)
 583                 goto fput_in;
 584         if (!in_file->f_op || !in_file->f_op->sendfile)
 585                 goto fput_in;
 586         retval = -ESPIPE;
 587         if (!ppos)
 588                 ppos = &in_file->f_pos;
 589         else
 590                 if (!(in_file->f_mode & FMODE_PREAD))
 591                         goto fput_in;
 592         retval = locks_verify_area(FLOCK_VERIFY_READ, in_inode, in_file, *ppos, count);
 593         if (retval)
 594                 goto fput_in;
 595
 596         retval = security_file_permission (in_file, MAY_READ);
 597         if (retval)
 598                 goto fput_in;
 599
 600         /*
 601          * Get output file, and verify that it is ok..
 602          */
 603         retval = -EBADF;
 604         out_file = fget_light(out_fd, &fput_needed_out);
 605         if (!out_file)
 606                 goto fput_in;
 607         if (!(out_file->f_mode & FMODE_WRITE))
 608                 goto fput_out;
 609         retval = -EINVAL;
 610         if (!out_file->f_op || !out_file->f_op->sendpage)
 611                 goto fput_out;
 612         out_inode = out_file->f_dentry->d_inode;
 613         retval = locks_verify_area(FLOCK_VERIFY_WRITE, out_inode, out_file, out_file->f_pos, count);
 614         if (retval)
 615                 goto fput_out;
 616
 617         retval = security_file_permission (out_file, MAY_WRITE);
 618         if (retval)
 619                 goto fput_out;
 620
 621         if (!max)
 622                 max = min(in_inode->i_sb->s_maxbytes, out_inode->i_sb->s_maxbytes);
 623
 624         pos = *ppos;
 625         retval = -EINVAL;
 626         if (unlikely(pos < 0))
 627                 goto fput_out;
 628         if (unlikely(pos + count > max)) {
 629                 retval = -EOVERFLOW;
 630                 if (pos >= max)
 631                         goto fput_out;
 632                 count = max - pos;
 633         }
 634
 635         retval = in_file->f_op->sendfile(in_file, ppos, count, file_send_actor, out_file);
 636
 637         if (*ppos > max)
 638                 retval = -EOVERFLOW;
 639
 640 fput_out:
 641         fput_light(out_file, fput_needed_out);
 642 fput_in:
 643         fput_light(in_file, fput_needed_in);
 644 out:
 645         return retval;
 646 }
 647
 648 asmlinkage ssize_t sys_sendfile(int out_fd, int in_fd, off_t __user *offset, size_t count)
 649 {
 650         loff_t pos;
 651         off_t off;
 652         ssize_t ret;
 653
 654         if (offset) {
 655                 if (unlikely(get_user(off, offset)))
 656                         return -EFAULT;
 657                 pos = off;
 658                 ret = do_sendfile(out_fd, in_fd, &pos, count, MAX_NON_LFS);
 659                 if (unlikely(put_user(pos, offset)))
 660                         return -EFAULT;
 661                 return ret;
 662         }
 663
 664         return do_sendfile(out_fd, in_fd, NULL, count, 0);
 665 }
 666
 667 asmlinkage ssize_t sys_sendfile64(int out_fd, int in_fd, loff_t __user *offset, size_t count)
 668 {
 669         loff_t pos;
 670         ssize_t ret;
 671
 672         if (offset) {
 673                 if (unlikely(copy_from_user(&pos, offset, sizeof(loff_t))))
 674                         return -EFAULT;
 675                 ret = do_sendfile(out_fd, in_fd, &pos, count, 0);
 676                 if (unlikely(put_user(pos, offset)))
 677                         return -EFAULT;
 678                 return ret;
 679         }
 680
 681         return do_sendfile(out_fd, in_fd, NULL, count, 0);
 682 }