README

   1 This file documents the contents of this module
   2
   3 Last update 4 sept. 2013
   4
   5 See the devel/ subdir for more devel-oriented doc.
   6
   7 ==================== 1 minute howto
   8
   9 *  REQUIREMENTS  is to have python + django (1.5.2) installed django
  10 ** should be straightforward
  11 ** see devel/django-install.txt in case of trouble
  12
  13 * git clone git://git.onelab.eu/myslice.git
  14 -- or --
  15 * git clone ssh://yourlogin@git.onelab.eu/git/myslice.git
  16
  17 * edit myslice/config.py and enter the details of your manifold backend
  18
  19 * init django
  20 $ manage.py syncdb
  21
  22 * gather static files
  23 $ ./manage.py collectstatic (formerly, we used make static, which is deprecated)
  24 -- or --
  25 $ ./manage.py collectstatic --noinput
  26 $ make
  27
  28 * run a local server:
  29 $ manage.py runserver 0.0.0.0:8000
  30 -- or -- my advice:
  31 $ devel/server-loop.sh
  32 when you just need to hit ^C yourself when your static files need to be refreshed - see below
  33
  34 * use it from your browser
  35 (See more notes on using the development server below)
  36
  37 * install dependencies
  38 $ pip install -r path/to/requirements/file.txt
  39 Note. not quite sure what this is about, I could not spot this file..
  40
  41 ==================== Status
  42
  43 *** Authentication ***
  44
  45 Should be mostly fine
  46 Not quite sure if/how the user gets proper notifications when
  47 . his session has expired (i.e. his frontend is not logged into the backend any longer)
  48 . his credentials have expired (i.e. the uploaded credentials, e.g. SFA delegated cred)
  49   expired and she needs to run e.g. sfi myslice again
  50
  51 Hard-coded accounts (from a very early stage) are gone
  52
  53
  54 *** Packaging ***
  55
  56 I've done a very rough attempt at packaging for rpm.
  57 The logic seems about right but needs more work, in particular in terms of installing myslice.conf
  58 in the httpd conf.d directory.
  59 It seems like our app won't work on f14 as is because Django is only 1.3.1 on f14
  60 Plan is to target f18 but I lack a test machine.
  61 Also of course I'll try to tackle debian/ubunti at some point.
  62
  63 There also is a working packaging for debian(s) and ubuntu(s) that we use
  64 on an almost daily basis to upgrade manifold.pl.sophia.inria.fr
  65
  66
  67 ====================
  68
  69 Third party tools shipped:
  70
  71 * jquery
  72 * datatables
  73 * spin
  74 * bootstrap
  75
  76 Others are added as we build the system when they become needed
  77 Look in third-party/ for a more detailed list
  78
  79 As a rule of thumb, please try to keep in mind that these will need to
  80 be upgraded over time I've tried to keep track of the version I picked
  81 and to have an easy upgrade path (depending on the way the original
  82 package is published)
  83
  84 ==================== Contents: 1st level subdirs
  85
  86 ========== code from git
  87
  88 * myslice/
  89   this is the django 'project', where to look for
  90   . settings.py
  91   . urls.py
  92
  93 * manifold/
  94   the code for dealing with queries, sending them to the backend, and offering the /manifold/proxy/ URL
  95
  96 * unfold/
  97   the code for building / rendering plugins
  98
  99 * plugins/
 100   the actual code for plugins
 101
 102 * auth/
 103   a django 'app' that deals with authentication; see especially
 104   auth.backend.MyCustomBackend
 105   for how to use a separate authentication system,
 106   as well as settings.py for how to enable it
 107
 108 * portal/
 109   this is where the first implementation of myslice, with complete
 110   user-management including registration, is taking place
 111
 112 * trash/
 113   rough/preliminary scaffolding views are in here
 114   as the name suggests this is temporary
 115
 116 * views/
 117   will receive actual views over time
 118   currently has some global html templates as well
 119   + some global static files (css, js, images..)
 120
 121 * insert_above:
 122   a third-party django app for adding on-the-fly mentions to css or js files that need to go in the header
 123
 124 * third-party/
 125    * third party javascript and css stuff (bootstrapfs, jquery, this kind of things)
 126      see more about that below too
 127
 128 * devel:
 129   no code in there, only various notes and other scripts useful for developers
 130
 131 ========== automatically generated
 132
 133 * all-static: (generated, no need to source-control)
 134   this is where 'make static' will gather all your static contents if you run a local server
 135   make has convenience targets to refresh this area
 136   $ make static
 137   $ make clean-static
 138
 139 * django-static
 140
 141 * myslice.sqlite3
 142   this is where django stores its own stuff, as per settings.py
 143
 144 ==================== conventions for templates & static files
 145 ==================== and NOTES on using the development server
 146
 147 . first off, running manage.py runserver is provided by django as a development convenience but
 148   SHOULD NOT be used in production
 149
 150 . second, when you do use it for developement purposes, please be aware that:
 151
 152 .. the recommended layout for the various files and pieces (py, html, js and css) with django is
 153    IMHO really painful; we *SHOULD* use e.g.
 154       plugins/simplelist.py,
 155       plugins/templates/plugins.html,
 156       plugins/static/js/simplelist.js
 157       plugins/static/css/simplelist.css
 158    which I have tried doing for a while but I found myself just hopping around in the file tree all
 159    day long, wasting cycles big time
 160
 161 .. as that does not make sense IMHO, I've rewritten the tool for gathering these pieces (this is in
 162    the Makefile). Bottom line is we can essentially store this wherever we want.
 163    The only restriction being that if you have a template that is *not* html, then it *has to* sit
 164    in a templates/ directory, otherwise it gets shipped as a static file.
 165
 166 .. as a result, we can now store all the files building a plugin in a single (git) directory; like e.g.
 167       plugins/quickfilter/quickfilter.py
 168       plugins/quickfilter/quickfilter.html
 169       plugins/quickfilter/quickfilter.js
 170       plugins/quickfilter/quickfilter.css
 171
 172    Of course it's a completely different matter once the service is packaged and installed, these
 173    files of course get properly separated.
 174
 175 .. as a result it is a little bit less convenient to use the development server when you change the
 176    layout of your static and template files, you might need to re-run 'make static', so it is
 177    recommended to use devel/server-loop.sh instead
 178
 179
 180 All this being said, here are our current conventions for storing templates and static files
 181
 182 * templates:
 183   we store this under templates/ within the corresponding app, e.g.
 184      auth/templates/login.html
 185   for now this is mostly about html, but the engine can be used for rendering anything
 186   including js(on) or whatever (in which case, as stated above, this *must* have /templates/ in its path.
 187
 188 * static files:
 189   we chose to have all static files (images, but also javascript and stylesheets) in the various
 190   proj or app where they belong, with a layout like:
 191   where-it-belongs/
 192       img/
 193       css/
 194       js/
 195   Honestly it's not yet very clear sometimes what 'where-it-belongs' should be sometimes, and it
 196   does not matter too much anyway, given that the code doesn't need to change when we move things
 197   around. So in particular it's fuzzy between myslice/ (where the logo could fit e.g.) views/ and
 198   even trash/
 199
 200 Makefile has a few convenience targets to list all kinds of stuff; the 2 major targets are
 201
 202 $ make static templates
 203
 204 that would reset all-static/ and all-templates/ for you from the other contents
 205
 206 * third-party
 207   please note that the set of files that actually get exposed in all-static from third-party is
 208   hand-coded in Makefile because we tried to preserve the original codebase layout from mainstream,
 209   and there's only so much in common between 2 differents js libraries at this point.
 210
 211
 212
 213 ======== update django database to reflect changes in existing models without any migration system (e.g., south) =========
 214
 215 # older version
 216 $python manage.py reset <your_app>
 217
 218 #Django 1.5.1 or later
 219 $python manage.py flush
 220
 221 This will update the database tables for your app, but will completely destroy any data that existed in those tables.
 222 If the changes you made to your app model do not break your old schema (for instance, you added a new, optional field)
 223 you can simply dump the data before and reload it afterwards, like so:
 224
 225 $python manage.py syncdb
 226 $python manage.py dumpdata <your_app> > temp_data.json
 227 $python manage.py flush
 228 $python manage.py loaddata temp_data.json
 229
 230 If your changes break your old schema this won't work - in which case tools like south or django evolution are great.
 231
 232 ======== update django database to reflect changes in existing models with migration system (e.g., south) =========
 233
 234 As south is already installed , you just have to do:
 235
 236 $./manage.py migrate
 237
 238 if it fails:
 239
 240 1. go to myslice directory
 241 2. do sqlite3 myslice.sqlite3 [if sqlite3: command not found, do $apt-get install sqlite3]
 242 3. check the list of tables with sqlite> .tables
 243 4. if you find those tables that was mentioned in the failure message while running $./manage.py migrate
 244         do sqlite> DROP TABLE mentioned_table
 245         [mentioned_table = the tables that was explicity mentioned in the failure message of $./manage.py migrate]
 246 5. sqlite> .quit
 247 6. $./manage.py migrate
 248
 249
 250
 251