README

   1 This file documents the contents of this module
   2
   3 Last update 4 sept. 2013
   4
   5 See the devel/ subdir for more devel-oriented doc.
   6
   7 ==================== 1 minute howto
   8
   9 *  REQUIREMENTS  is to have python + django (1.5.2) installed django
  10 ** should be straightforward
  11 ** see devel/django-install.txt in case of trouble
  12
  13 * git clone git://git.onelab.eu/myslice.git
  14 -- or --
  15 * git clone ssh://yourlogin@git.onelab.eu/git/myslice.git
  16
  17 * edit myslice/config.py and enter the details of your manifold backend
  18
  19 * init django
  20 $ ./manage.py syncdb
  21 $ ./manage.py migrate
  22
  23 * gather static files
  24 $ ./manage.py collectstatic (formerly, we used make static, which is deprecated)
  25 -- or --
  26 $ ./manage.py collectstatic --noinput
  27 $ make
  28
  29 * run a local server:
  30 $ manage.py runserver 0.0.0.0:8000
  31 -- or -- my advice:
  32 $ devel/server-loop.sh
  33 when you just need to hit ^C yourself when your static files need to be refreshed - see below
  34
  35 * use it from your browser
  36 (See more notes on using the development server below)
  37
  38 * install dependencies
  39 $ pip install -r path/to/requirements/file.txt
  40 Note. not quite sure what this is about, I could not spot this file..
  41
  42 ==================== Status
  43
  44 *** Authentication ***
  45
  46 Should be mostly fine
  47 Not quite sure if/how the user gets proper notifications when
  48 . his session has expired (i.e. his frontend is not logged into the backend any longer)
  49 . his credentials have expired (i.e. the uploaded credentials, e.g. SFA delegated cred)
  50   expired and she needs to run e.g. sfi myslice again
  51
  52 Hard-coded accounts (from a very early stage) are gone
  53
  54
  55 *** Packaging ***
  56
  57 I've done a very rough attempt at packaging for rpm.
  58 The logic seems about right but needs more work, in particular in terms of installing myslice.conf
  59 in the httpd conf.d directory.
  60 It seems like our app won't work on f14 as is because Django is only 1.3.1 on f14
  61 Plan is to target f18 but I lack a test machine.
  62 Also of course I'll try to tackle debian/ubunti at some point.
  63
  64 There also is a working packaging for debian(s) and ubuntu(s) that we use
  65 on an almost daily basis to upgrade manifold.pl.sophia.inria.fr
  66
  67
  68 ====================
  69
  70 Third party tools shipped:
  71
  72 * jquery
  73 * datatables
  74 * spin
  75 * bootstrap
  76
  77 Others are added as we build the system when they become needed
  78 Look in third-party/ for a more detailed list
  79
  80 As a rule of thumb, please try to keep in mind that these will need to
  81 be upgraded over time I've tried to keep track of the version I picked
  82 and to have an easy upgrade path (depending on the way the original
  83 package is published)
  84
  85 ==================== Contents: 1st level subdirs
  86
  87 ========== code from git
  88
  89 * myslice/
  90   this is the django 'project', where to look for
  91   . settings.py
  92   . urls.py
  93
  94 * manifold/
  95   the code for dealing with queries, sending them to the backend, and offering the /manifold/proxy/ URL
  96
  97 * unfold/
  98   the code for building / rendering plugins
  99
 100 * plugins/
 101   the actual code for plugins
 102
 103 * auth/
 104   a django 'app' that deals with authentication; see especially
 105   auth.backend.MyCustomBackend
 106   for how to use a separate authentication system,
 107   as well as settings.py for how to enable it
 108
 109 * portal/
 110   this is where the first implementation of myslice, with complete
 111   user-management including registration, is taking place
 112
 113 * trash/
 114   rough/preliminary scaffolding views are in here
 115   as the name suggests this is temporary
 116
 117 * views/
 118   will receive actual views over time
 119   currently has some global html templates as well
 120   + some global static files (css, js, images..)
 121
 122 * insert_above:
 123   a third-party django app for adding on-the-fly mentions to css or js files that need to go in the header
 124
 125 * third-party/
 126    * third party javascript and css stuff (bootstrapfs, jquery, this kind of things)
 127      see more about that below too
 128
 129 * devel:
 130   no code in there, only various notes and other scripts useful for developers
 131
 132 ========== automatically generated
 133
 134 * all-static: (generated, no need to source-control)
 135   this is where 'make static' will gather all your static contents if you run a local server
 136   make has convenience targets to refresh this area
 137   $ make static
 138   $ make clean-static
 139
 140 * django-static
 141
 142 * myslice.sqlite3
 143   this is where django stores its own stuff, as per settings.py
 144
 145 ==================== conventions for templates & static files
 146 ==================== and NOTES on using the development server
 147
 148 . first off, running manage.py runserver is provided by django as a development convenience but
 149   SHOULD NOT be used in production
 150
 151 . second, when you do use it for developement purposes, please be aware that:
 152
 153 .. the recommended layout for the various files and pieces (py, html, js and css) with django is
 154    IMHO really painful; we *SHOULD* use e.g.
 155       plugins/quickfilter/quickfilter.py,
 156       plugins/quickfilter/templates/quickfilter.html,
 157       plugins/quickfilter/static/js/quickfilter.js
 158       plugins/quickfilter/static/css/quickfilter.css
 159    which I have tried doing for a while but I found myself just hopping around in the file tree all
 160    day long, wasting cycles big time
 161
 162 .. as that does not make sense IMHO, I've rewritten the tool for gathering these pieces (this is in
 163    the Makefile). Bottom line is we can essentially store this wherever we want.
 164    The only restriction being that if you have a template that is *not* html, then it *has to* sit
 165    in a templates/ directory, otherwise it gets shipped as a static file.
 166
 167 .. as a result, we can now store all the files building a plugin in a single (git) directory; like e.g.
 168       plugins/quickfilter/quickfilter.py
 169       plugins/quickfilter/quickfilter.html
 170       plugins/quickfilter/quickfilter.js
 171       plugins/quickfilter/quickfilter.css
 172
 173    Of course it's a completely different matter once the service is packaged and installed, these
 174    files of course get properly separated.
 175
 176 .. as a result it is a little bit less convenient to use the development server when you change the
 177    layout of your static and template files, you might need to re-run 'make static', so it is
 178    recommended to use devel/server-loop.sh instead
 179
 180
 181 All this being said, here are our current conventions for storing templates and static files
 182
 183 * templates:
 184   we store this under templates/ within the corresponding app, e.g.
 185      auth/templates/login.html
 186   for now this is mostly about html, but the engine can be used for rendering anything
 187   including js(on) or whatever (in which case, as stated above, this *must* have /templates/ in its path.
 188
 189 * static files:
 190   we chose to have all static files (images, but also javascript and stylesheets) in the various
 191   proj or app where they belong, with a layout like:
 192   where-it-belongs/
 193       img/
 194       css/
 195       js/
 196   Honestly it's not yet very clear sometimes what 'where-it-belongs' should be sometimes, and it
 197   does not matter too much anyway, given that the code doesn't need to change when we move things
 198   around. So in particular it's fuzzy between myslice/ (where the logo could fit e.g.) views/ and
 199   even trash/
 200
 201 Makefile has a few convenience targets to list all kinds of stuff; the 2 major targets are
 202
 203 $ make static templates
 204
 205 that would reset all-static/ and all-templates/ for you from the other contents
 206
 207 * third-party
 208   please note that the set of files that actually get exposed in all-static from third-party is
 209   hand-coded in Makefile because we tried to preserve the original codebase layout from mainstream,
 210   and there's only so much in common between 2 differents js libraries at this point.
 211
 212
 213
 214 ======== update django database to reflect changes in existing models without any migration system (e.g., south) =========
 215
 216 # older version
 217 $python manage.py reset <your_app>
 218
 219 #Django 1.5.1 or later
 220 $python manage.py flush
 221
 222 This will update the database tables for your app, but will completely destroy any data that existed in those tables.
 223 If the changes you made to your app model do not break your old schema (for instance, you added a new, optional field)
 224 you can simply dump the data before and reload it afterwards, like so:
 225
 226 $python manage.py syncdb
 227 $python manage.py dumpdata <your_app> > temp_data.json
 228 $python manage.py flush
 229 $python manage.py loaddata temp_data.json
 230
 231 If your changes break your old schema this won't work - in which case tools like south or django evolution are great.
 232
 233 ======== update django database to reflect changes in existing models with migration system (e.g., south) =========
 234
 235 As south is already installed , you just have to do:
 236
 237 $./manage.py migrate
 238
 239 if it fails:
 240
 241 1. go to myslice directory
 242 2. do sqlite3 myslice.sqlite3 [if sqlite3: command not found, do $apt-get install sqlite3]
 243 3. check the list of tables with sqlite> .tables
 244 4. if you find those tables that was mentioned in the failure message while running $./manage.py migrate
 245         do sqlite> DROP TABLE mentioned_table
 246         [mentioned_table = the tables that was explicity mentioned in the failure message of $./manage.py migrate]
 247 5. sqlite> .quit
 248 6. $./manage.py migrate
 249
 250
 251
 252