Forgot to add join.js and join_view.html to the git
[unfold.git] / README
1 This file documents the contents of this module
2
3 Last update 4 sept. 2013
4
5 See the devel/ subdir for more devel-oriented doc.
6
7 ==================== 1 minute howto
8
9 *  REQUIREMENTS  is to have python + django (1.5.2) installed django
10 ** should be straightforward
11 ** see devel/django-install.txt in case of trouble
12 $ apt-get install python-django
13 $ apt-get install python-django-south
14
15 * git clone git://git.onelab.eu/myslice.git
16 -- or --
17 * git clone ssh://yourlogin@git.onelab.eu/git/myslice.git
18
19 * edit myslice/config.py and enter the details of your manifold backend
20
21 $ apt-get install python-django-south
22 * init django
23 ** when django prompts for creating an admin account, create it and 
24 ** keep the username and password safe
25 $ ./manage.py syncdb
26 $ ./manage.py migrate
27
28 * gather static files
29 $ ./manage.py collectstatic 
30 -- or --
31 $ ./manage.py collectstatic --noinput
32 -- or --
33 $ make static (which is a shorthand for cleaning up and run manage collectstatic --noinput)
34
35 * gather templates files 
36   for now we still seem to rely on a make-based templates-collection process
37   that creates templates/ 
38 $ make templates [$ make redo (each time when you pull, do that and restart the server)]
39
40
41 ## Whenever doing a git pull the following operations are recommended:
42
43 $ make static # will refresh static/ from all the pieces in the project
44 $ make templates # same, for templates
45 $ make redo-static # clears up (rm -rf) static/ first, then make static
46 $ make redo-templates # ditto for templates
47 $ make redo == make redo-static redo-templates
48
49
50 * run a local server:
51 $ ./manage.py runserver 0.0.0.0:8000
52 -- or -- my advice:
53 $ devel/server-loop.sh
54 when you just need to hit ^C yourself when your static files need to be refreshed - see below
55
56 * use it from your browser 
57 (See more notes on using the development server below)
58
59 * install dependencies 
60 $ pip install -r path/to/requirements/file.txt
61 Note. not quite sure what this is about, I could not spot this file..
62
63 ==================== Status
64
65 *** Authentication ***
66
67 Should be mostly fine
68 Not quite sure if/how the user gets proper notifications when
69 . his session has expired (i.e. his frontend is not logged into the backend any longer)
70 . his credentials have expired (i.e. the uploaded credentials, e.g. SFA delegated cred)
71   expired and she needs to run e.g. sfi myslice again
72
73 Hard-coded accounts (from a very early stage) are gone
74
75
76 *** Packaging ***
77
78 I've done a very rough attempt at packaging for rpm.
79 The logic seems about right but needs more work, in particular in terms of installing myslice.conf
80 in the httpd conf.d directory. 
81 It seems like our app won't work on f14 as is because Django is only 1.3.1 on f14
82 Plan is to target f18 but I lack a test machine.
83 Also of course I'll try to tackle debian/ubunti at some point.
84
85 There also is a working packaging for debian(s) and ubuntu(s) that we use 
86 on an almost daily basis to upgrade manifold.pl.sophia.inria.fr
87
88
89 ==================== 
90
91 Third party tools shipped:
92
93 * jquery
94 * datatables
95 * spin
96 * bootstrap
97
98 Others are added as we build the system when they become needed
99 Look in third-party/ for a more detailed list
100
101 As a rule of thumb, please try to keep in mind that these will need to
102 be upgraded over time I've tried to keep track of the version I picked
103 and to have an easy upgrade path (depending on the way the original
104 package is published)
105
106 ==================== Contents: 1st level subdirs
107
108 ========== code from git
109
110 * myslice/
111   this is the django 'project', where to look for
112   . settings.py
113   . urls.py
114
115 * manifold/
116   the code for dealing with queries, sending them to the backend, and offering the /manifold/proxy/ URL
117
118 * unfold/
119   the code for building / rendering plugins 
120
121 * plugins/
122   the actual code for plugins
123
124 * auth/ 
125   a django 'app' that deals with authentication; see especially
126   auth.backend.MyCustomBackend 
127   for how to use a separate authentication system, 
128   as well as settings.py for how to enable it
129
130 * ui/
131   provides building blocks for the UI, especially layouts (1 or 2 columns) as
132   well as the topmenu widget
133   + some global static files (css, js, images..)
134
135 * portal/
136   this is where the first implementation of myslice, with complete
137   user-management including registration, is taking place
138
139 * trash/
140   rough/preliminary scaffolding views are in here
141   as the name suggests this is temporary
142
143 * insert_above: 
144   a third-party django app for adding on-the-fly mentions to css or js files that need to go in the header
145
146 * third-party/
147    * third party javascript and css stuff (bootstrapfs, jquery, this kind of things)
148      see more about that below too
149
150 * devel:
151   no code in there, only various notes and other scripts useful for developers
152
153 ========== automatically generated 
154
155 * static/: (generated by collectstatic, see above, do not source-control)
156   $ manage.py [ --noinput ] collectstatic
157
158 * templates/
159
160 * myslice.sqlite3
161   this is where django stores its own stuff, as per settings.py
162
163 ==================== conventions for templates & static files
164 ==================== and NOTES on using the development server
165
166 . first off, running manage.py runserver is provided by django as a development convenience but
167   SHOULD NOT be used in production
168
169 . second, when you do use it for developement purposes, please be aware that:
170
171 .. the recommended layout for the various files and pieces (py, html, js and css) with django is e.g.
172       plugins/quickfilter/___init__.py, 
173       plugins/quickfilter/templates/quickfilter.html,
174       plugins/quickfilter/static/js/quickfilter.js 
175       plugins/quickfilter/static/css/quickfilter.css
176       plugins/quickfilter/static/img/some-image.png
177
178 .. the files actually used by the development server are the ones located in
179  static/
180  templates/
181
182 you can and should use the following make targets to refresh the
183 contents of these directories when running a developement server
184 $ make static                 to refresh static/
185 $ make redo-static            to clean up static/ and then refresh its contents
186 $ make templates              to refresh templates/
187 $ make redo-templates         to clean up templates/ and then refresh its contents
188 $ make redo                   equivalent to make redo-static redo-templates
189
190 .. as far as possible, please make sure to use third-party to store
191 any javascript tool or utility that your plugin depends upon
192
193 also we have the convention that all material in third-party should be
194 tagged with a version number, with a symlink pointing to the version
195 being used, like this
196
197 ~/git/myslice/third-party $ ls -ld spin*
198 lrwxr-xr-x  1 parmentelat  staff   10 Sep  6 17:55 spin -> spin-1.3.0
199 drwxr-xr-x  7 parmentelat  staff  238 Sep  6 17:55 spin-1.2.8
200 drwxr-xr-x  7 parmentelat  staff  238 Sep  6 17:55 spin-1.3.0
201
202 finally, as far as possible we keep track of the urls used to pull
203 stuff in the first place so that upgrades are easier
204
205 . third, be careful when importing third party material, to stay away from demo-oriented material
206
207 e.g. at some point we were using demo_page.css and demo_table.css from the datatables demo and sample pages
208 unfortunately these are not tailored for production use as they are setting styles on a very wide scope 
209 that breaks a lot of stuff, so please refrain from using these altogether
210
211
212 ======== update django database to reflect changes in existing models without any migration system (e.g., south) =========
213
214 # older version
215 $python manage.py reset <your_app>
216
217 #Django 1.5.1 or later
218 $python manage.py flush
219
220 This will update the database tables for your app, but will completely destroy any data that existed in those tables. 
221 If the changes you made to your app model do not break your old schema (for instance, you added a new, optional field) 
222 you can simply dump the data before and reload it afterwards, like so:
223
224 $python manage.py syncdb
225 $python manage.py dumpdata <your_app> > temp_data.json
226 $python manage.py flush
227 $python manage.py loaddata temp_data.json
228
229 If your changes break your old schema this won't work - in which case tools like south or django evolution are great.
230
231
232 Add a new model to the DB
233
234 $python manage.py schemamigration <your_app> --auto
235 $python manage.py migrate
236
237 ======== update django database to reflect changes in existing models with migration system (e.g., south) =========
238
239 As south is already installed , you just have to do:
240
241 $./manage.py migrate
242
243 if it fails:
244
245 1. go to myslice directory
246 2. do sqlite3 myslice.sqlite3 [if sqlite3: command not found, do $apt-get install sqlite3]
247 3. check the list of tables with sqlite> .tables
248 4. if you find those tables that was mentioned in the failure message while running $./manage.py migrate
249         do sqlite> DROP TABLE mentioned_table 
250         [mentioned_table = the tables that was explicity mentioned in the failure message of $./manage.py migrate]
251 5. sqlite> .quit
252 6. $./manage.py migrate  
253
254
255
256