fs/read_write.c

   1 /*
   2  *  linux/fs/read_write.c
   3  *
   4  *  Copyright (C) 1991, 1992  Linus Torvalds
   5  */
   6
   7 #include <linux/slab.h>
   8 #include <linux/stat.h>
   9 #include <linux/fcntl.h>
  10 #include <linux/file.h>
  11 #include <linux/uio.h>
  12 #include <linux/smp_lock.h>
  13 #include <linux/dnotify.h>
  14 #include <linux/security.h>
  15 #include <linux/module.h>
  16
  17 #include <asm/uaccess.h>
  18 #include <asm/unistd.h>
  19
  20 struct file_operations generic_ro_fops = {
  21         .llseek         = generic_file_llseek,
  22         .read           = generic_file_read,
  23         .mmap           = generic_file_readonly_mmap,
  24         .sendfile       = generic_file_sendfile,
  25 };
  26
  27 EXPORT_SYMBOL(generic_ro_fops);
  28
  29 loff_t generic_file_llseek(struct file *file, loff_t offset, int origin)
  30 {
  31         long long retval;
  32         struct inode *inode = file->f_mapping->host;
  33
  34         down(&inode->i_sem);
  35         switch (origin) {
  36                 case 2:
  37                         offset += inode->i_size;
  38                         break;
  39                 case 1:
  40                         offset += file->f_pos;
  41         }
  42         retval = -EINVAL;
  43         if (offset>=0 && offset<=inode->i_sb->s_maxbytes) {
  44                 if (offset != file->f_pos) {
  45                         file->f_pos = offset;
  46                         file->f_version = 0;
  47                 }
  48                 retval = offset;
  49         }
  50         up(&inode->i_sem);
  51         return retval;
  52 }
  53
  54 EXPORT_SYMBOL(generic_file_llseek);
  55
  56 loff_t remote_llseek(struct file *file, loff_t offset, int origin)
  57 {
  58         long long retval;
  59
  60         lock_kernel();
  61         switch (origin) {
  62                 case 2:
  63                         offset += i_size_read(file->f_dentry->d_inode);
  64                         break;
  65                 case 1:
  66                         offset += file->f_pos;
  67         }
  68         retval = -EINVAL;
  69         if (offset>=0 && offset<=file->f_dentry->d_inode->i_sb->s_maxbytes) {
  70                 if (offset != file->f_pos) {
  71                         file->f_pos = offset;
  72                         file->f_version = 0;
  73                 }
  74                 retval = offset;
  75         }
  76         unlock_kernel();
  77         return retval;
  78 }
  79
  80 EXPORT_SYMBOL(remote_llseek);
  81
  82 loff_t no_llseek(struct file *file, loff_t offset, int origin)
  83 {
  84         return -ESPIPE;
  85 }
  86
  87 EXPORT_SYMBOL(no_llseek);
  88
  89 loff_t default_llseek(struct file *file, loff_t offset, int origin)
  90 {
  91         long long retval;
  92
  93         lock_kernel();
  94         switch (origin) {
  95                 case 2:
  96                         offset += i_size_read(file->f_dentry->d_inode);
  97                         break;
  98                 case 1:
  99                         offset += file->f_pos;
 100         }
 101         retval = -EINVAL;
 102         if (offset >= 0) {
 103                 if (offset != file->f_pos) {
 104                         file->f_pos = offset;
 105                         file->f_version = 0;
 106                 }
 107                 retval = offset;
 108         }
 109         unlock_kernel();
 110         return retval;
 111 }
 112
 113 EXPORT_SYMBOL(default_llseek);
 114
 115 static inline loff_t llseek(struct file *file, loff_t offset, int origin)
 116 {
 117         loff_t (*fn)(struct file *, loff_t, int);
 118
 119         fn = default_llseek;
 120         if (file->f_op && file->f_op->llseek)
 121                 fn = file->f_op->llseek;
 122         return fn(file, offset, origin);
 123 }
 124
 125 asmlinkage off_t sys_lseek(unsigned int fd, off_t offset, unsigned int origin)
 126 {
 127         off_t retval;
 128         struct file * file;
 129         int fput_needed;
 130
 131         retval = -EBADF;
 132         file = fget_light(fd, &fput_needed);
 133         if (!file)
 134                 goto bad;
 135
 136         retval = -EINVAL;
 137         if (origin <= 2) {
 138                 loff_t res = llseek(file, offset, origin);
 139                 retval = res;
 140                 if (res != (loff_t)retval)
 141                         retval = -EOVERFLOW;    /* LFS: should only happen on 32 bit platforms */
 142         }
 143         fput_light(file, fput_needed);
 144 bad:
 145         return retval;
 146 }
 147
 148 #ifdef __ARCH_WANT_SYS_LLSEEK
 149 asmlinkage long sys_llseek(unsigned int fd, unsigned long offset_high,
 150                            unsigned long offset_low, loff_t __user * result,
 151                            unsigned int origin)
 152 {
 153         int retval;
 154         struct file * file;
 155         loff_t offset;
 156         int fput_needed;
 157
 158         retval = -EBADF;
 159         file = fget_light(fd, &fput_needed);
 160         if (!file)
 161                 goto bad;
 162
 163         retval = -EINVAL;
 164         if (origin > 2)
 165                 goto out_putf;
 166
 167         offset = llseek(file, ((loff_t) offset_high << 32) | offset_low,
 168                         origin);
 169
 170         retval = (int)offset;
 171         if (offset >= 0) {
 172                 retval = -EFAULT;
 173                 if (!copy_to_user(result, &offset, sizeof(offset)))
 174                         retval = 0;
 175         }
 176 out_putf:
 177         fput_light(file, fput_needed);
 178 bad:
 179         return retval;
 180 }
 181 #endif
 182
 183 ssize_t do_sync_read(struct file *filp, char __user *buf, size_t len, loff_t *ppos)
 184 {
 185         struct kiocb kiocb;
 186         ssize_t ret;
 187
 188         init_sync_kiocb(&kiocb, filp);
 189         kiocb.ki_pos = *ppos;
 190         ret = filp->f_op->aio_read(&kiocb, buf, len, kiocb.ki_pos);
 191         if (-EIOCBQUEUED == ret)
 192                 ret = wait_on_sync_kiocb(&kiocb);
 193         *ppos = kiocb.ki_pos;
 194         return ret;
 195 }
 196
 197 EXPORT_SYMBOL(do_sync_read);
 198
 199 ssize_t vfs_read(struct file *file, char __user *buf, size_t count, loff_t *pos)
 200 {
 201         struct inode *inode = file->f_dentry->d_inode;
 202         ssize_t ret;
 203
 204         if (!(file->f_mode & FMODE_READ))
 205                 return -EBADF;
 206         if (!file->f_op || (!file->f_op->read && !file->f_op->aio_read))
 207                 return -EINVAL;
 208
 209         ret = locks_verify_area(FLOCK_VERIFY_READ, inode, file, *pos, count);
 210         if (!ret) {
 211                 ret = security_file_permission (file, MAY_READ);
 212                 if (!ret) {
 213                         if (file->f_op->read)
 214                                 ret = file->f_op->read(file, buf, count, pos);
 215                         else
 216                                 ret = do_sync_read(file, buf, count, pos);
 217                         if (ret > 0)
 218                                 dnotify_parent(file->f_dentry, DN_ACCESS);
 219                 }
 220         }
 221
 222         return ret;
 223 }
 224
 225 EXPORT_SYMBOL(vfs_read);
 226
 227 ssize_t do_sync_write(struct file *filp, const char __user *buf, size_t len, loff_t *ppos)
 228 {
 229         struct kiocb kiocb;
 230         ssize_t ret;
 231
 232         init_sync_kiocb(&kiocb, filp);
 233         kiocb.ki_pos = *ppos;
 234         ret = filp->f_op->aio_write(&kiocb, buf, len, kiocb.ki_pos);
 235         if (-EIOCBQUEUED == ret)
 236                 ret = wait_on_sync_kiocb(&kiocb);
 237         *ppos = kiocb.ki_pos;
 238         return ret;
 239 }
 240
 241 EXPORT_SYMBOL(do_sync_write);
 242
 243 ssize_t vfs_write(struct file *file, const char __user *buf, size_t count, loff_t *pos)
 244 {
 245         struct inode *inode = file->f_dentry->d_inode;
 246         ssize_t ret;
 247
 248         if (!(file->f_mode & FMODE_WRITE))
 249                 return -EBADF;
 250         if (!file->f_op || (!file->f_op->write && !file->f_op->aio_write))
 251                 return -EINVAL;
 252
 253         ret = locks_verify_area(FLOCK_VERIFY_WRITE, inode, file, *pos, count);
 254         if (!ret) {
 255                 ret = security_file_permission (file, MAY_WRITE);
 256                 if (!ret) {
 257                         if (file->f_op->write)
 258                                 ret = file->f_op->write(file, buf, count, pos);
 259                         else
 260                                 ret = do_sync_write(file, buf, count, pos);
 261                         if (ret > 0)
 262                                 dnotify_parent(file->f_dentry, DN_MODIFY);
 263                 }
 264         }
 265
 266         return ret;
 267 }
 268
 269 EXPORT_SYMBOL(vfs_write);
 270
 271 asmlinkage ssize_t sys_read(unsigned int fd, char __user * buf, size_t count)
 272 {
 273         struct file *file;
 274         ssize_t ret = -EBADF;
 275         int fput_needed;
 276
 277         file = fget_light(fd, &fput_needed);
 278         if (file) {
 279                 ret = vfs_read(file, buf, count, &file->f_pos);
 280                 fput_light(file, fput_needed);
 281         }
 282
 283         return ret;
 284 }
 285
 286 asmlinkage ssize_t sys_write(unsigned int fd, const char __user * buf, size_t count)
 287 {
 288         struct file *file;
 289         ssize_t ret = -EBADF;
 290         int fput_needed;
 291
 292         file = fget_light(fd, &fput_needed);
 293         if (file) {
 294                 ret = vfs_write(file, buf, count, &file->f_pos);
 295                 fput_light(file, fput_needed);
 296         }
 297
 298         return ret;
 299 }
 300
 301 asmlinkage ssize_t sys_pread64(unsigned int fd, char __user *buf,
 302                              size_t count, loff_t pos)
 303 {
 304         struct file *file;
 305         ssize_t ret = -EBADF;
 306         int fput_needed;
 307
 308         if (pos < 0)
 309                 return -EINVAL;
 310
 311         file = fget_light(fd, &fput_needed);
 312         if (file) {
 313                 ret = vfs_read(file, buf, count, &pos);
 314                 fput_light(file, fput_needed);
 315         }
 316
 317         return ret;
 318 }
 319
 320 asmlinkage ssize_t sys_pwrite64(unsigned int fd, const char __user *buf,
 321                               size_t count, loff_t pos)
 322 {
 323         struct file *file;
 324         ssize_t ret = -EBADF;
 325         int fput_needed;
 326
 327         if (pos < 0)
 328                 return -EINVAL;
 329
 330         file = fget_light(fd, &fput_needed);
 331         if (file) {
 332                 ret = vfs_write(file, buf, count, &pos);
 333                 fput_light(file, fput_needed);
 334         }
 335
 336         return ret;
 337 }
 338
 339 /*
 340  * Reduce an iovec's length in-place.  Return the resulting number of segments
 341  */
 342 unsigned long iov_shorten(struct iovec *iov, unsigned long nr_segs, size_t to)
 343 {
 344         unsigned long seg = 0;
 345         size_t len = 0;
 346
 347         while (seg < nr_segs) {
 348                 seg++;
 349                 if (len + iov->iov_len >= to) {
 350                         iov->iov_len = to - len;
 351                         break;
 352                 }
 353                 len += iov->iov_len;
 354                 iov++;
 355         }
 356         return seg;
 357 }
 358
 359 EXPORT_SYMBOL(iov_shorten);
 360
 361 static ssize_t do_readv_writev(int type, struct file *file,
 362                                const struct iovec __user * uvector,
 363                                unsigned long nr_segs, loff_t *pos)
 364 {
 365         typedef ssize_t (*io_fn_t)(struct file *, char __user *, size_t, loff_t *);
 366         typedef ssize_t (*iov_fn_t)(struct file *, const struct iovec *, unsigned long, loff_t *);
 367
 368         size_t tot_len;
 369         struct iovec iovstack[UIO_FASTIOV];
 370         struct iovec *iov=iovstack, *vector;
 371         ssize_t ret;
 372         int seg;
 373         io_fn_t fn;
 374         iov_fn_t fnv;
 375         struct inode *inode;
 376
 377         /*
 378          * SuS says "The readv() function *may* fail if the iovcnt argument
 379          * was less than or equal to 0, or greater than {IOV_MAX}.  Linux has
 380          * traditionally returned zero for zero segments, so...
 381          */
 382         ret = 0;
 383         if (nr_segs == 0)
 384                 goto out;
 385
 386         /*
 387          * First get the "struct iovec" from user memory and
 388          * verify all the pointers
 389          */
 390         ret = -EINVAL;
 391         if ((nr_segs > UIO_MAXIOV) || (nr_segs <= 0))
 392                 goto out;
 393         if (!file->f_op)
 394                 goto out;
 395         if (nr_segs > UIO_FASTIOV) {
 396                 ret = -ENOMEM;
 397                 iov = kmalloc(nr_segs*sizeof(struct iovec), GFP_KERNEL);
 398                 if (!iov)
 399                         goto out;
 400         }
 401         ret = -EFAULT;
 402         if (copy_from_user(iov, uvector, nr_segs*sizeof(*uvector)))
 403                 goto out;
 404
 405         /*
 406          * Single unix specification:
 407          * We should -EINVAL if an element length is not >= 0 and fitting an
 408          * ssize_t.  The total length is fitting an ssize_t
 409          *
 410          * Be careful here because iov_len is a size_t not an ssize_t
 411          */
 412         tot_len = 0;
 413         ret = -EINVAL;
 414         for (seg = 0; seg < nr_segs; seg++) {
 415                 ssize_t len = (ssize_t)iov[seg].iov_len;
 416
 417                 if (len < 0)    /* size_t not fitting an ssize_t .. */
 418                         goto out;
 419                 tot_len += len;
 420                 if ((ssize_t)tot_len < 0) /* maths overflow on the ssize_t */
 421                         goto out;
 422         }
 423         if (tot_len == 0) {
 424                 ret = 0;
 425                 goto out;
 426         }
 427
 428         inode = file->f_dentry->d_inode;
 429         /* VERIFY_WRITE actually means a read, as we write to user space */
 430         ret = locks_verify_area((type == READ
 431                                  ? FLOCK_VERIFY_READ : FLOCK_VERIFY_WRITE),
 432                                 inode, file, *pos, tot_len);
 433         if (ret)
 434                 goto out;
 435
 436         fnv = NULL;
 437         if (type == READ) {
 438                 fn = file->f_op->read;
 439                 fnv = file->f_op->readv;
 440         } else {
 441                 fn = (io_fn_t)file->f_op->write;
 442                 fnv = file->f_op->writev;
 443         }
 444         if (fnv) {
 445                 ret = fnv(file, iov, nr_segs, pos);
 446                 goto out;
 447         }
 448
 449         /* Do it by hand, with file-ops */
 450         ret = 0;
 451         vector = iov;
 452         while (nr_segs > 0) {
 453                 void __user * base;
 454                 size_t len;
 455                 ssize_t nr;
 456
 457                 base = vector->iov_base;
 458                 len = vector->iov_len;
 459                 vector++;
 460                 nr_segs--;
 461
 462                 nr = fn(file, base, len, pos);
 463
 464                 if (nr < 0) {
 465                         if (!ret) ret = nr;
 466                         break;
 467                 }
 468                 ret += nr;
 469                 if (nr != len)
 470                         break;
 471         }
 472 out:
 473         if (iov != iovstack)
 474                 kfree(iov);
 475         if ((ret + (type == READ)) > 0)
 476                 dnotify_parent(file->f_dentry,
 477                                 (type == READ) ? DN_ACCESS : DN_MODIFY);
 478         return ret;
 479 }
 480
 481 ssize_t vfs_readv(struct file *file, const struct iovec __user *vec,
 482                   unsigned long vlen, loff_t *pos)
 483 {
 484         if (!(file->f_mode & FMODE_READ))
 485                 return -EBADF;
 486         if (!file->f_op || (!file->f_op->readv && !file->f_op->read))
 487                 return -EINVAL;
 488
 489         return do_readv_writev(READ, file, vec, vlen, pos);
 490 }
 491
 492 EXPORT_SYMBOL(vfs_readv);
 493
 494 ssize_t vfs_writev(struct file *file, const struct iovec __user *vec,
 495                    unsigned long vlen, loff_t *pos)
 496 {
 497         if (!(file->f_mode & FMODE_WRITE))
 498                 return -EBADF;
 499         if (!file->f_op || (!file->f_op->writev && !file->f_op->write))
 500                 return -EINVAL;
 501
 502         return do_readv_writev(WRITE, file, vec, vlen, pos);
 503 }
 504
 505 EXPORT_SYMBOL(vfs_writev);
 506
 507 asmlinkage ssize_t
 508 sys_readv(unsigned long fd, const struct iovec __user *vec, unsigned long vlen)
 509 {
 510         struct file *file;
 511         ssize_t ret = -EBADF;
 512         int fput_needed;
 513
 514         file = fget_light(fd, &fput_needed);
 515         if (file) {
 516                 ret = vfs_readv(file, vec, vlen, &file->f_pos);
 517                 fput_light(file, fput_needed);
 518         }
 519
 520         return ret;
 521 }
 522
 523 asmlinkage ssize_t
 524 sys_writev(unsigned long fd, const struct iovec __user *vec, unsigned long vlen)
 525 {
 526         struct file *file;
 527         ssize_t ret = -EBADF;
 528         int fput_needed;
 529
 530         file = fget_light(fd, &fput_needed);
 531         if (file) {
 532                 ret = vfs_writev(file, vec, vlen, &file->f_pos);
 533                 fput_light(file, fput_needed);
 534         }
 535
 536         return ret;
 537 }
 538
 539 static ssize_t do_sendfile(int out_fd, int in_fd, loff_t *ppos,
 540                            size_t count, loff_t max)
 541 {
 542         struct file * in_file, * out_file;
 543         struct inode * in_inode, * out_inode;
 544         loff_t pos;
 545         ssize_t retval;
 546         int fput_needed_in, fput_needed_out;
 547
 548         /*
 549          * Get input file, and verify that it is ok..
 550          */
 551         retval = -EBADF;
 552         in_file = fget_light(in_fd, &fput_needed_in);
 553         if (!in_file)
 554                 goto out;
 555         if (!(in_file->f_mode & FMODE_READ))
 556                 goto fput_in;
 557         retval = -EINVAL;
 558         in_inode = in_file->f_dentry->d_inode;
 559         if (!in_inode)
 560                 goto fput_in;
 561         if (!in_file->f_op || !in_file->f_op->sendfile)
 562                 goto fput_in;
 563         if (!ppos)
 564                 ppos = &in_file->f_pos;
 565         retval = locks_verify_area(FLOCK_VERIFY_READ, in_inode, in_file, *ppos, count);
 566         if (retval)
 567                 goto fput_in;
 568
 569         retval = security_file_permission (in_file, MAY_READ);
 570         if (retval)
 571                 goto fput_in;
 572
 573         /*
 574          * Get output file, and verify that it is ok..
 575          */
 576         retval = -EBADF;
 577         out_file = fget_light(out_fd, &fput_needed_out);
 578         if (!out_file)
 579                 goto fput_in;
 580         if (!(out_file->f_mode & FMODE_WRITE))
 581                 goto fput_out;
 582         retval = -EINVAL;
 583         if (!out_file->f_op || !out_file->f_op->sendpage)
 584                 goto fput_out;
 585         out_inode = out_file->f_dentry->d_inode;
 586         retval = locks_verify_area(FLOCK_VERIFY_WRITE, out_inode, out_file, out_file->f_pos, count);
 587         if (retval)
 588                 goto fput_out;
 589
 590         retval = security_file_permission (out_file, MAY_WRITE);
 591         if (retval)
 592                 goto fput_out;
 593
 594         if (!max)
 595                 max = min(in_inode->i_sb->s_maxbytes, out_inode->i_sb->s_maxbytes);
 596
 597         pos = *ppos;
 598         retval = -EINVAL;
 599         if (unlikely(pos < 0))
 600                 goto fput_out;
 601         if (unlikely(pos + count > max)) {
 602                 retval = -EOVERFLOW;
 603                 if (pos >= max)
 604                         goto fput_out;
 605                 count = max - pos;
 606         }
 607
 608         retval = in_file->f_op->sendfile(in_file, ppos, count, file_send_actor, out_file);
 609
 610         if (*ppos > max)
 611                 retval = -EOVERFLOW;
 612
 613 fput_out:
 614         fput_light(out_file, fput_needed_out);
 615 fput_in:
 616         fput_light(in_file, fput_needed_in);
 617 out:
 618         return retval;
 619 }
 620
 621 asmlinkage ssize_t sys_sendfile(int out_fd, int in_fd, off_t __user *offset, size_t count)
 622 {
 623         loff_t pos;
 624         off_t off;
 625         ssize_t ret;
 626
 627         if (offset) {
 628                 if (unlikely(get_user(off, offset)))
 629                         return -EFAULT;
 630                 pos = off;
 631                 ret = do_sendfile(out_fd, in_fd, &pos, count, MAX_NON_LFS);
 632                 if (unlikely(put_user(pos, offset)))
 633                         return -EFAULT;
 634                 return ret;
 635         }
 636
 637         return do_sendfile(out_fd, in_fd, NULL, count, 0);
 638 }
 639
 640 asmlinkage ssize_t sys_sendfile64(int out_fd, int in_fd, loff_t __user *offset, size_t count)
 641 {
 642         loff_t pos;
 643         ssize_t ret;
 644
 645         if (offset) {
 646                 if (unlikely(copy_from_user(&pos, offset, sizeof(loff_t))))
 647                         return -EFAULT;
 648                 ret = do_sendfile(out_fd, in_fd, &pos, count, 0);
 649                 if (unlikely(put_user(pos, offset)))
 650                         return -EFAULT;
 651                 return ret;
 652         }
 653
 654         return do_sendfile(out_fd, in_fd, NULL, count, 0);
 655 }