Readme
[myslice.git] / README
diff --git a/README b/README
index 175e65b..69360d3 100644 (file)
--- a/README
+++ b/README
@@ -1,30 +1,54 @@
-his file documents the contents of this module
+This file documents the contents of this module
+change
+Last update 4 sept. 2013
 
 See the devel/ subdir for more devel-oriented doc.
 
 ==================== 1 minute howto
 
-*  REQUIREMENTS  is to have python + django installed django
+*  REQUIREMENTS  is to have python + django (1.5.2) installed django
 ** should be straightforward
 ** see devel/django-install.txt in case of trouble
+$ apt-get install python-django
+$ apt-get install python-django-south
 
-* git clone git://git.onelab.eu/myslice-django.git
+* git clone git://git.onelab.eu/myslice.git
 -- or --
-* git clone ssh://yourlogin@git.onelab.eu/git/myslice-django.git
-
-* edit myslice/settings.py and
-** change the location of your backend API (not yet supported)
+* git clone ssh://yourlogin@git.onelab.eu/git/myslice.git
 
 * edit myslice/config.py and enter the details of your manifold backend
 
+$ apt-get install python-django-south
 * init django
-$ manage.py syncdb
+** when django prompts for creating an admin account, create it and 
+** keep the username and password safe
+$ ./manage.py syncdb
+$ ./manage.py migrate
 
 * gather static files
-$ ./manage.py collectstatic (formerly, we used make static, which is deprecated)
+$ ./manage.py collectstatic 
+-- or --
+$ ./manage.py collectstatic --noinput
+-- or --
+$ make static (which is a shorthand for cleaning up and run manage collectstatic --noinput)
+
+* gather templates files 
+  for now we still seem to rely on a make-based templates-collection process
+  that creates templates/ 
+$ make templates [$ make redo (each time when you pull, do that and restart the server)]
+
+
+## Whenever doing a git pull the following operations are recommended:
+
+$ make static # will refresh static/ from all the pieces in the project
+$ make templates # same, for templates
+$ make redo-static # clears up (rm -rf) static/ first, then make static
+$ make redo-templates # ditto for templates
+$ make redo == make redo-static redo-templates
+
 
 * run a local server:
-$ manage.py runserver 0.0.0.0:8000
+$ ./manage.py runserver 0.0.0.0:8000
 -- or -- my advice:
 $ devel/server-loop.sh
 when you just need to hit ^C yourself when your static files need to be refreshed - see below
@@ -32,20 +56,22 @@ when you just need to hit ^C yourself when your static files need to be refreshe
 * use it from your browser 
 (See more notes on using the development server below)
 
-* install dependencies
+* install dependencies 
 $ pip install -r path/to/requirements/file.txt
+Note. not quite sure what this is about, I could not spot this file..
 
 ==================== Status
 
 *** Authentication ***
 
-Although there still are a few hard-coded accounts in the system, you
-will only be able to see some static views and won't be able to send
-real queries if you use these, so you'd better use a real account (one
-that your manifold backend knows about).
+Should be mostly fine
+Not quite sure if/how the user gets proper notifications when
+. his session has expired (i.e. his frontend is not logged into the backend any longer)
+. his credentials have expired (i.e. the uploaded credentials, e.g. SFA delegated cred)
+  expired and she needs to run e.g. sfi myslice again
+
+Hard-coded accounts (from a very early stage) are gone
 
-For logging out: click on 'logged as *jean*', this shows a
-confirmation page for logging out. this is intended to be temporary.
 
 *** Packaging ***
 
@@ -56,35 +82,9 @@ It seems like our app won't work on f14 as is because Django is only 1.3.1 on f1
 Plan is to target f18 but I lack a test machine.
 Also of course I'll try to tackle debian/ubunti at some point.
 
-*** Features ***
-
-We have a basic model for asynchroneous queries (referring to manifold
-queries) and for plugins (in the most general sense a plugin is just a
-piece of the output that may be connected to a query)
-
-Right now the UI has a handful of demo views only; as of this writing
-only the list of slices actually comes from the manifold backend in an
-asynchroneous way.
-
-Also all the views are gathered in the trash/ locations for now, being
-that they're only for assessment purposes.
-
-* dahsboard : has one async. query and 2 plugins that share that
-  query; the intent was to demo a different layout in both cases,
-  although the datatables one won't work yet at this point.
+There also is a working packaging for debian(s) and ubuntu(s) that we use 
+on an almost daily basis to upgrade manifold.pl.sophia.inria.fr
 
-* the 'Plugin' view demonstrates most of the available plugins.
-
-* slice view : only demonstrates how to use URLs to pass arguments along
-
-* scroll view : mostly it only illustrates that some pages can be made
-  public (no need to login)
-
-* tab view : a hand-made tab widget
-
-Not much effort has yet been put into coming up with a nice layout,
-feel free to tweak that but it's probably still way too early for
-this.
 
 ==================== 
 
@@ -94,41 +94,52 @@ Third party tools shipped:
 * datatables
 * spin
 * bootstrap
-* and others are added as we build the system when they become needed
 
-I've tried to keep track of the version I picked and to have an easy upgrade path.
+Others are added as we build the system when they become needed
+Look in third-party/ for a more detailed list
+
+As a rule of thumb, please try to keep in mind that these will need to
+be upgraded over time I've tried to keep track of the version I picked
+and to have an easy upgrade path (depending on the way the original
+package is published)
 
 ==================== Contents: 1st level subdirs
 
 ========== code from git
-* myslice: 
+
+* myslice/
   this is the django 'project', where to look for
   . settings.py
   . urls.py
 
-* manifold:
+* manifold/
   the code for dealing with queries, sending them to the backend, and offering the /manifold/proxy/ URL
 
-* unfold:
+* unfold/
   the code for building / rendering plugins 
 
-* plugins:
+* plugins/
   the actual code for plugins
 
-* auth: 
+* auth/ 
   a django 'app' that deals with authentication; see especially
   auth.backend.MyCustomBackend 
   for how to use a separate authentication system, 
   as well as settings.py for how to enable it
 
-* trash/
-  rough/preliminary views in here - as the name suggests this is temporary
-
-* views/
-  will receive actual views over time 
-  currently has some global html templates as well
+* ui/
+  provides building blocks for the UI, especially layouts (1 or 2 columns) as
+  well as the topmenu widget
   + some global static files (css, js, images..)
 
+* portal/
+  this is where the first implementation of myslice, with complete
+  user-management including registration, is taking place
+
+* trash/
+  rough/preliminary scaffolding views are in here
+  as the name suggests this is temporary
+
 * insert_above: 
   a third-party django app for adding on-the-fly mentions to css or js files that need to go in the header
 
@@ -141,11 +152,10 @@ I've tried to keep track of the version I picked and to have an easy upgrade pat
 
 ========== automatically generated 
 
-* all-static: (generated, no need to source-control)
-  this is where 'make static' will gather all your static contents if you run a local server
-  make has convenience targets to refresh this area
-  $ make static 
-  $ make clean-static 
+* static/: (generated by collectstatic, see above, do not source-control)
+  $ manage.py [ --noinput ] collectstatic
+
+* templates/
 
 * myslice.sqlite3
   this is where django stores its own stuff, as per settings.py
@@ -158,64 +168,89 @@ I've tried to keep track of the version I picked and to have an easy upgrade pat
 
 . second, when you do use it for developement purposes, please be aware that:
 
-.. the recommended layout for the various files and pieces (py, html, js and css) with django is
-   IMHO really painful; we *SHOULD* use e.g. 
-      plugins/simplelist.py, 
-      plugins/templates/plugins.html,
-      plugins/static/js/simplelist.js 
-      plugins/static/css/simplelist.css
-   which I have tried doing for a while but I found mmyself just hopping around in the file tree all
-   day long, wasting cycles all along
-
-.. as that does not make sense IMHO, I've rewritten the tool for gathering these pieces (this is in
-   the Makefile). Bottom line is we can essentially store this wherever we want.
-   The only restriction being that if you have a template that is *not* html, then it *has to* sit
-   in a templates/ directory, otherwise it gets shipped as a static file.  
-
-.. as a result, we can now store all the files building a plugin in a single (git) directory; like e.g.
-      plugins/quickfilter/quickfilter.py
-      plugins/quickfilter/quickfilter.html
-      plugins/quickfilter/quickfilter.js
-      plugins/quickfilter/quickfilter.css
-
-   Of course it's a completely different matter once the service is packaged and installed, these
-   files of course get properly separated.
-
-.. as a result it is a little bit less convenient to use the development server when you change the
-   layout of your static and template files, you might need to re-run 'make static', so it is
-   recommended to use devel/server-loop.sh instead
-
-
-All this being said, here are our current conventions for storing templates and static files
-
-* templates:
-  we store this under templates/ within the corresponding app, e.g.
-     auth/templates/login.html
-  for now this is mostly about html, but the engine can be used for rendering anything 
-  including js(on) or whatever (in which case, as stated above, this *must* have /templates/ in its path.
-
-* static files:
-  we chose to have all static files (images, but also javascript and stylesheets) in the various
-  proj or app where they belong, with a layout like:
-  where-it-belongs/
-      img/
-      css/
-      js/
-  Honestly it's not yet very clear sometimes what 'where-it-belongs' should be sometimes, and it
-  does not matter too much anyway, given that the code doesn't need to change when we move things
-  around. So in particular it's fuzzy between myslice/ (where the logo could fit e.g.) views/ and
-  even trash/
-
-Makefile has a few convenience targets to list all kinds of stuff; the 2 major targets are 
-
-$ make static templates
-
-that would reset all-static/ and all-templates/ for you from the other contents
-
-* third-party
-  please note that the set of files that actually get exposed in all-static from third-party is
-  hand-coded in Makefile because we tried to preserve the original codebase layout from mainstream,
-  and there's only so much in common between 2 differents js libraries at this point.
+.. the recommended layout for the various files and pieces (py, html, js and css) with django is e.g.
+      plugins/quickfilter/___init__.py, 
+      plugins/quickfilter/templates/quickfilter.html,
+      plugins/quickfilter/static/js/quickfilter.js 
+      plugins/quickfilter/static/css/quickfilter.css
+      plugins/quickfilter/static/img/some-image.png
+
+.. the files actually used by the development server are the ones located in
+ static/
+ templates/
+
+you can and should use the following make targets to refresh the
+contents of these directories when running a developement server
+$ make static                to refresh static/
+$ make redo-static           to clean up static/ and then refresh its contents
+$ make templates             to refresh templates/
+$ make redo-templates        to clean up templates/ and then refresh its contents
+$ make redo                  equivalent to make redo-static redo-templates
+
+.. as far as possible, please make sure to use third-party to store
+any javascript tool or utility that your plugin depends upon
+
+also we have the convention that all material in third-party should be
+tagged with a version number, with a symlink pointing to the version
+being used, like this
+
+~/git/myslice/third-party $ ls -ld spin*
+lrwxr-xr-x  1 parmentelat  staff   10 Sep  6 17:55 spin -> spin-1.3.0
+drwxr-xr-x  7 parmentelat  staff  238 Sep  6 17:55 spin-1.2.8
+drwxr-xr-x  7 parmentelat  staff  238 Sep  6 17:55 spin-1.3.0
+
+finally, as far as possible we keep track of the urls used to pull
+stuff in the first place so that upgrades are easier
+
+. third, be careful when importing third party material, to stay away from demo-oriented material
+
+e.g. at some point we were using demo_page.css and demo_table.css from the datatables demo and sample pages
+unfortunately these are not tailored for production use as they are setting styles on a very wide scope 
+that breaks a lot of stuff, so please refrain from using these altogether
+
+
+======== update django database to reflect changes in existing models without any migration system (e.g., south) =========
+
+# older version
+$python manage.py reset <your_app>
+
+#Django 1.5.1 or later
+$python manage.py flush
+
+This will update the database tables for your app, but will completely destroy any data that existed in those tables. 
+If the changes you made to your app model do not break your old schema (for instance, you added a new, optional field) 
+you can simply dump the data before and reload it afterwards, like so:
+
+$python manage.py syncdb
+$python manage.py dumpdata <your_app> > temp_data.json
+$python manage.py flush
+$python manage.py loaddata temp_data.json
+
+If your changes break your old schema this won't work - in which case tools like south or django evolution are great.
+
+
+Add a new model to the DB
+
+$python manage.py schemamigration <your_app> --auto
+$python manage.py migrate
+
+======== update django database to reflect changes in existing models with migration system (e.g., south) =========
+
+As south is already installed , you just have to do:
+
+$./manage.py migrate
+
+if it fails:
+
+1. go to myslice directory
+2. do sqlite3 myslice.sqlite3 [if sqlite3: command not found, do $apt-get install sqlite3]
+3. check the list of tables with sqlite> .tables
+4. if you find those tables that was mentioned in the failure message while running $./manage.py migrate
+       do sqlite> DROP TABLE mentioned_table 
+       [mentioned_table = the tables that was explicity mentioned in the failure message of $./manage.py migrate]
+5. sqlite> .quit
+6. $./manage.py migrate  
+