README

   1 This file documents the contents of this module
   2
   3 See the devel/ subdir for more devel-oriented doc.
   4
   5 ==================== 1 minute howto
   6
   7 *  REQUIREMENTS  is to have python + django installed django
   8 ** should be straightforward
   9 ** see devel/django-install.txt in case of trouble
  10
  11 * git clone git://git.onelab.eu/myslice-django.git
  12 -- or --
  13 * git clone ssh://yourlogin@git.onelab.eu/git/myslice-django.git
  14
  15 * edit myslice/settings.py and
  16 ** change the location of your backend API (not yet supported)
  17
  18 * edit myslice/config.py and enter the details of your manifold backend
  19
  20 * init django
  21 $ manage.py syncdb
  22
  23 * gather static files
  24 $ ./manage.py collectstatic (formerly, we used make static, which is deprecated)
  25
  26 * run a local server:
  27 $ manage.py runserver 0.0.0.0:8000
  28 -- or -- my advice:
  29 $ devel/server-loop.sh
  30 when you just need to hit ^C yourself when your static files need to be refreshed - see below
  31
  32 * use it from your browser
  33 (See more notes on using the development server below)
  34
  35 * install dependencies
  36 $ pip install -r path/to/requirements/file.txt
  37
  38 ==================== Status
  39
  40 *** Authentication ***
  41
  42 Although there still are a few hard-coded accounts in the system, you
  43 will only be able to see some static views and won't be able to send
  44 real queries if you use these, so you'd better use a real account (one
  45 that your manifold backend knows about).
  46
  47 For logging out: click on 'logged as *jean*', this shows a
  48 confirmation page for logging out. this is intended to be temporary.
  49
  50 *** Packaging ***
  51
  52 I've done a very rough attempt at packaging for rpm.
  53 The logic seems about right but needs more work, in particular in terms of installing myslice.conf
  54 in the httpd conf.d directory.
  55 It seems like our app won't work on f14 as is because Django is only 1.3.1 on f14
  56 Plan is to target f18 but I lack a test machine.
  57 Also of course I'll try to tackle debian/ubunti at some point.
  58
  59 *** Features ***
  60
  61 We have a basic model for asynchroneous queries (referring to manifold
  62 queries) and for plugins (in the most general sense a plugin is just a
  63 piece of the output that may be connected to a query)
  64
  65 Right now the UI has a handful of demo views only; as of this writing
  66 only the list of slices actually comes from the manifold backend in an
  67 asynchroneous way.
  68
  69 Also all the views are gathered in the trash/ locations for now, being
  70 that they're only for assessment purposes.
  71
  72 * dahsboard : has one async. query and 2 plugins that share that
  73   query; the intent was to demo a different layout in both cases,
  74   although the datatables one won't work yet at this point.
  75
  76 * the 'Plugin' view demonstrates most of the available plugins.
  77
  78 * slice view : only demonstrates how to use URLs to pass arguments along
  79
  80 * scroll view : mostly it only illustrates that some pages can be made
  81   public (no need to login)
  82
  83 * tab view : a hand-made tab widget
  84
  85 Not much effort has yet been put into coming up with a nice layout,
  86 feel free to tweak that but it's probably still way too early for
  87 this.
  88
  89 ====================
  90
  91 Third party tools shipped:
  92
  93 * jquery
  94 * datatables
  95 * spin
  96 * bootstrap
  97 * and others are added as we build the system when they become needed
  98
  99 I've tried to keep track of the version I picked and to have an easy upgrade path.
 100
 101 ==================== Contents: 1st level subdirs
 102
 103 ========== code from git
 104 * myslice:
 105   this is the django 'project', where to look for
 106   . settings.py
 107   . urls.py
 108
 109 * manifold:
 110   the code for dealing with queries, sending them to the backend, and offering the /manifold/proxy/ URL
 111
 112 * unfold:
 113   the code for building / rendering plugins
 114
 115 * plugins:
 116   the actual code for plugins
 117
 118 * auth:
 119   a django 'app' that deals with authentication; see especially
 120   auth.backend.MyCustomBackend
 121   for how to use a separate authentication system,
 122   as well as settings.py for how to enable it
 123
 124 * trash/
 125   rough/preliminary views in here - as the name suggests this is temporary
 126
 127 * views/
 128   will receive actual views over time
 129   currently has some global html templates as well
 130   + some global static files (css, js, images..)
 131
 132 * insert_above:
 133   a third-party django app for adding on-the-fly mentions to css or js files that need to go in the header
 134
 135 * third-party/
 136    * third party javascript and css stuff (bootstrapfs, jquery, this kind of things)
 137      see more about that below too
 138
 139 * devel:
 140   no code in there, only various notes and other scripts useful for developers
 141
 142 ========== automatically generated
 143
 144 * all-static: (generated, no need to source-control)
 145   this is where 'make static' will gather all your static contents if you run a local server
 146   make has convenience targets to refresh this area
 147   $ make static
 148   $ make clean-static
 149
 150 * myslice.sqlite3
 151   this is where django stores its own stuff, as per settings.py
 152
 153 ==================== conventions for templates & static files
 154 ==================== and NOTES on using the development server
 155
 156 . first off, running manage.py runserver is provided by django as a development convenience but
 157   SHOULD NOT be used in production
 158
 159 . second, when you do use it for developement purposes, please be aware that:
 160
 161 .. the recommended layout for the various files and pieces (py, html, js and css) with django is
 162    IMHO really painful; we *SHOULD* use e.g.
 163       plugins/simplelist.py,
 164       plugins/templates/plugins.html,
 165       plugins/static/js/simplelist.js
 166       plugins/static/css/simplelist.css
 167    which I have tried doing for a while but I found mmyself just hopping around in the file tree all
 168    day long, wasting cycles all along
 169
 170 .. as that does not make sense IMHO, I've rewritten the tool for gathering these pieces (this is in
 171    the Makefile). Bottom line is we can essentially store this wherever we want.
 172    The only restriction being that if you have a template that is *not* html, then it *has to* sit
 173    in a templates/ directory, otherwise it gets shipped as a static file.
 174
 175 .. as a result, we can now store all the files building a plugin in a single (git) directory; like e.g.
 176       plugins/quickfilter/quickfilter.py
 177       plugins/quickfilter/quickfilter.html
 178       plugins/quickfilter/quickfilter.js
 179       plugins/quickfilter/quickfilter.css
 180
 181    Of course it's a completely different matter once the service is packaged and installed, these
 182    files of course get properly separated.
 183
 184 .. as a result it is a little bit less convenient to use the development server when you change the
 185    layout of your static and template files, you might need to re-run 'make static', so it is
 186    recommended to use devel/server-loop.sh instead
 187
 188
 189 All this being said, here are our current conventions for storing templates and static files
 190
 191 * templates:
 192   we store this under templates/ within the corresponding app, e.g.
 193      auth/templates/login.html
 194   for now this is mostly about html, but the engine can be used for rendering anything
 195   including js(on) or whatever (in which case, as stated above, this *must* have /templates/ in its path.
 196
 197 * static files:
 198   we chose to have all static files (images, but also javascript and stylesheets) in the various
 199   proj or app where they belong, with a layout like:
 200   where-it-belongs/
 201       img/
 202       css/
 203       js/
 204   Honestly it's not yet very clear sometimes what 'where-it-belongs' should be sometimes, and it
 205   does not matter too much anyway, given that the code doesn't need to change when we move things
 206   around. So in particular it's fuzzy between myslice/ (where the logo could fit e.g.) views/ and
 207   even trash/
 208
 209 Makefile has a few convenience targets to list all kinds of stuff; the 2 major targets are
 210
 211 $ make static templates
 212
 213 that would reset all-static/ and all-templates/ for you from the other contents
 214
 215 * third-party
 216   please note that the set of files that actually get exposed in all-static from third-party is
 217   hand-coded in Makefile because we tried to preserve the original codebase layout from mainstream,
 218   and there's only so much in common between 2 differents js libraries at this point.
 219
 220
 221
 222 ======== update django database to reflect changes in existing models without any migration system (e.g., south) =========
 223
 224 $python manage.py reset <your_app>
 225 #Django 1.5.1
 226 $python manage.py flush
 227
 228 This will update the database tables for your app, but will completely destroy any data that existed in those tables.
 229 If the changes you made to your app model do not break your old schema (for instance, you added a new, optional field)
 230 you can simply dump the data before and reload it afterwards, like so:
 231
 232
 233 $python manage.py dumpdata <your_app> > temp_data.json
 234 $python manage.py reset <your_app>
 235 $python manage.py loaddata temp_data.json
 236
 237 If your changes break your old schema this won't work - in which case tools like south or django evolution are great.