AiC and REST login
[myslice.git] / README
diff --git a/README b/README
index cae4a28..7fa6f6e 100644 (file)
--- a/README
+++ b/README
@@ -1,39 +1,75 @@
-This file documents the contents of this module
+Last update 21 MAY. 2015
+
+Installation
+=================================================================
+Complete Guide: http://trac.myslice.info/wiki/Manifold/Install
+
+Recommended OS
+===============
+Debian GNU/Linux 7.5 (wheezy) x64
+
+PYTHON DEPENDENCIES
+=====================
+sudo apt-get install python-pip or sudo easy_install pip==1.4.1
+sudo apt-get install python-dev (for paramiko and pyOpenSSL)
+sudo apt-get install libffi-dev (for pyOpenSSL)
+
+$ pip install django=="1.5.2"
+$ apt-get install python-django-south
+$ pip install requests
+$ pip install djangorestframework
+$ pip install django-celery
+$ pip install geopy
+$ pip install paramiko
+$ pip install pyparsing
+$ pip install python-dateutil
+$ pip instal pyOpenSSL
+$ pip install xmltodict
+
+MYSLICE
+=======
+git clone ssh://yourlogin@git.onelab.eu/git/myslice.git
+cd myslice
+git checkout onelab
+
+edit/create myslice/myslice.ini and enter the details of your manifold backend
 
-Last update 4 sept. 2013
+$ ./manage.py syncdb
+$ ./manage.py migrate
+$ ./manage.py collectstatic
 
-See the devel/ subdir for more devel-oriented doc.
+Run the development server
+$ ./devel/server-loop.sh
 
-==================== 1 minute howto
+MANIFOLD
+==========
+git clone git://git.onelab.eu/manifold.git
+cd manifold
+git checkout devel
+make && make install
 
-*  REQUIREMENTS  is to have python + django (1.5.2) installed django
-** should be straightforward
-** see devel/django-install.txt in case of trouble
+SFA
+===
+$ git clone -b geni-v3 git://git.onelab.eu/sfa.git
+$ cd sfa 
+$ git checkout geni-v3
 
-* git clone git://git.onelab.eu/myslice.git
--- or --
-* git clone ssh://yourlogin@git.onelab.eu/git/myslice.git
+$ make version
+$ python ./setup.py install
 
-* edit myslice/config.py and enter the details of your manifold backend
+=====================================================================
 
-* init django
-$ ./manage.py syncdb
-$ ./manage.py migrate
+## Whenever doing a git pull the following operations are recommended:
 
-* gather static files
-$ ./manage.py collectstatic 
--- or --
-$ ./manage.py collectstatic --noinput
--- or --
-$ make static (which is a shorthand for cleaning up and run manage collectstatic --noinput)
+$ make static # will refresh static/ from all the pieces in the project
+$ make templates # same, for templates
+$ make redo-static # clears up (rm -rf) static/ first, then make static
+$ make redo-templates # ditto for templates
+$ make redo == make redo-static redo-templates
 
-* gather templates files 
-  for now we still seem to rely on a make-based templates-collection process
-  that creates templates/ 
-$ make templates [$ make redo (each time when you pull, do that and restart the server)]
 
 * run a local server:
-$ manage.py runserver 0.0.0.0:8000
+$ ./manage.py runserver 0.0.0.0:8000
 -- or -- my advice:
 $ devel/server-loop.sh
 when you just need to hit ^C yourself when your static files need to be refreshed - see below
@@ -45,6 +81,14 @@ when you just need to hit ^C yourself when your static files need to be refreshe
 $ pip install -r path/to/requirements/file.txt
 Note. not quite sure what this is about, I could not spot this file..
 
+=====APACHE Config=====
+if are running apache please do:
+
+$ chown www-data:www-data /var/myslice-f4f
+
+otherwise you may get the following error:
+"DatabaseError: unable to open database file"
+
 ==================== Status
 
 *** Authentication ***
@@ -112,6 +156,11 @@ package is published)
   for how to use a separate authentication system, 
   as well as settings.py for how to enable it
 
+* ui/
+  provides building blocks for the UI, especially layouts (1 or 2 columns) as
+  well as the topmenu widget
+  + some global static files (css, js, images..)
+
 * portal/
   this is where the first implementation of myslice, with complete
   user-management including registration, is taking place
@@ -120,11 +169,6 @@ package is published)
   rough/preliminary scaffolding views are in here
   as the name suggests this is temporary
 
-* views/
-  will receive actual views over time 
-  currently has some global html templates as well
-  + some global static files (css, js, images..)
-
 * insert_above: 
   a third-party django app for adding on-the-fly mentions to css or js files that need to go in the header
 
@@ -153,68 +197,45 @@ package is published)
 
 . second, when you do use it for developement purposes, please be aware that:
 
-NOTE. this whole business is being changed
-basically we come back to the way django has it by default...
-
-==changing== .. the recommended layout for the various files and pieces (py, html, js and css) with django is
-==changing==    IMHO really painful; we *SHOULD* use e.g. 
-==changing==       plugins/quickfilter/quickfilter.py, 
-==changing==       plugins/quickfilter/templates/quickfilter.html,
-==changing==       plugins/quickfilter/static/js/quickfilter.js 
-==changing==       plugins/quickfilter/static/css/quickfilter.css
-==changing==    which I have tried doing for a while but I found myself just hopping around in the file tree all
-==changing==    day long, wasting cycles big time
-==changing== 
-==changing== .. as that does not make sense IMHO, I've rewritten the tool for gathering these pieces (this is in
-==changing==    the Makefile). Bottom line is we can essentially store this wherever we want.
-==changing==    The only restriction being that if you have a template that is *not* html, then it *has to* sit
-==changing==    in a templates/ directory, otherwise it gets shipped as a static file.  
-==changing== 
-==changing== .. as a result, we can now store all the files building a plugin in a single (git) directory; like e.g.
-==changing==       plugins/quickfilter/quickfilter.py
-==changing==       plugins/quickfilter/quickfilter.html
-==changing==       plugins/quickfilter/quickfilter.js
-==changing==       plugins/quickfilter/quickfilter.css
-==changing== 
-==changing==    Of course it's a completely different matter once the service is packaged and installed, these
-==changing==    files of course get properly separated.
-==changing== 
-==changing== .. as a result it is a little bit less convenient to use the development server when you change the
-==changing==    layout of your static and template files, you might need to re-run 'make static', so it is
-==changing==    recommended to use devel/server-loop.sh instead
-==changing== 
-==changing== 
-==changing== All this being said, here are our current conventions for storing templates and static files
-==changing== 
-==changing== * templates:
-==changing==   we store this under templates/ within the corresponding app, e.g.
-==changing==      auth/templates/login.html
-==changing==   for now this is mostly about html, but the engine can be used for rendering anything 
-==changing==   including js(on) or whatever (in which case, as stated above, this *must* have /templates/ in its path.
-==changing== 
-==changing== * static files:
-==changing==   we chose to have all static files (images, but also javascript and stylesheets) in the various
-==changing==   proj or app where they belong, with a layout like:
-==changing==   where-it-belongs/
-==changing==       img/
-==changing==       css/
-==changing==       js/
-==changing==   Honestly it's not yet very clear sometimes what 'where-it-belongs' should be sometimes, and it
-==changing==   does not matter too much anyway, given that the code doesn't need to change when we move things
-==changing==   around. So in particular it's fuzzy between myslice/ (where the logo could fit e.g.) views/ and
-==changing==   even trash/
-==changing== 
-==changing== Makefile has a few convenience targets to list all kinds of stuff; the 2 major targets are 
-==changing== 
-==changing== $ make static templates
-==changing== 
-==changing== that would reset static/ and templates/ for you from the other contents
-==changing== 
-==changing== * third-party
-==changing==   please note that the set of files that actually get exposed in all-static from third-party is
-==changing==   hand-coded in Makefile because we tried to preserve the original codebase layout from mainstream,
-==changing==   and there's only so much in common between 2 differents js libraries at this point.
-==changing== 
+.. the recommended layout for the various files and pieces (py, html, js and css) with django is e.g.
+      plugins/quickfilter/___init__.py, 
+      plugins/quickfilter/templates/quickfilter.html,
+      plugins/quickfilter/static/js/quickfilter.js 
+      plugins/quickfilter/static/css/quickfilter.css
+      plugins/quickfilter/static/img/some-image.png
+
+.. the files actually used by the development server are the ones located in
+ static/
+ templates/
+
+you can and should use the following make targets to refresh the
+contents of these directories when running a developement server
+$ make static                to refresh static/
+$ make redo-static           to clean up static/ and then refresh its contents
+$ make templates             to refresh templates/
+$ make redo-templates        to clean up templates/ and then refresh its contents
+$ make redo                  equivalent to make redo-static redo-templates
+
+.. as far as possible, please make sure to use third-party to store
+any javascript tool or utility that your plugin depends upon
+
+also we have the convention that all material in third-party should be
+tagged with a version number, with a symlink pointing to the version
+being used, like this
+
+~/git/myslice/third-party $ ls -ld spin*
+lrwxr-xr-x  1 parmentelat  staff   10 Sep  6 17:55 spin -> spin-1.3.0
+drwxr-xr-x  7 parmentelat  staff  238 Sep  6 17:55 spin-1.2.8
+drwxr-xr-x  7 parmentelat  staff  238 Sep  6 17:55 spin-1.3.0
+
+finally, as far as possible we keep track of the urls used to pull
+stuff in the first place so that upgrades are easier
+
+. third, be careful when importing third party material, to stay away from demo-oriented material
+
+e.g. at some point we were using demo_page.css and demo_table.css from the datatables demo and sample pages
+unfortunately these are not tailored for production use as they are setting styles on a very wide scope 
+that breaks a lot of stuff, so please refrain from using these altogether
 
 
 ======== update django database to reflect changes in existing models without any migration system (e.g., south) =========
@@ -236,23 +257,21 @@ $python manage.py loaddata temp_data.json
 
 If your changes break your old schema this won't work - in which case tools like south or django evolution are great.
 
-======== update django database to reflect changes in existing models with migration system (e.g., south) =========
 
-As south is already installed , you just have to do:
-
-$./manage.py migrate
-
-if it fails:
-
-1. go to myslice directory
-2. do sqlite3 myslice.sqlite3 [if sqlite3: command not found, do $apt-get install sqlite3]
-3. check the list of tables with sqlite> .tables
-4. if you find those tables that was mentioned in the failure message while running $./manage.py migrate
-       do sqlite> DROP TABLE mentioned_table 
-       [mentioned_table = the tables that was explicity mentioned in the failure message of $./manage.py migrate]
-5. sqlite> .quit
-6. $./manage.py migrate  
+Add a new model to the DB
 
+$python manage.py schemamigration <your_app> --auto
+$python manage.py migrate
 
+======== update django database to reflect changes in existing models with migration system (e.g., south) =========
 
+As south is already installed , you just have to do:
 
+# ./manage.py schemamigration portal --initial
+# sqlite3 /var/unfold/unfold.sqlite3
+       sqlite> DROP TABLE "portal_institution";
+       sqlite> DROP TABLE "portal_pendinguser";
+       sqlite> DROP TABLE "portal_pendingauthority";
+       sqlite> DROP TABLE "portal_pendingslice";
+       sqlite> .quit
+# ./manage.py migrate portal