split engine/ into manifold/ (backend oriented) and unfold/ (the UI)
[myslice.git] / README
1 his file documents the contents of this module
2
3 See the devel/ subdir for more devel-oriented doc.
4
5 ==================== 1 minute howto
6
7 *  REQUIREMENTS  is to have python + django installed django
8 ** should be straightforward
9 ** see devel/django-install.txt in case of trouble
10
11 * git clone git://git.onelab.eu/myslice-django.git
12 -- or --
13 * git clone ssh://yourlogin@git.onelab.eu/git/myslice-django.git
14
15 * edit myslice/settings.py and
16 ** change DEVELOPER_ROOT if you didnt clone into ~/git/myslice-django
17 ** change the location of your backend API (not yet supported)
18
19 * edit myslice/config.py and enter the details of your manifold backend
20
21 * init django
22 $ manage.py syncdb
23
24 * gather static files
25 $ make static
26
27 * run a local server:
28 $ manage.py runserver 0.0.0.0:8000
29 -- or -- my advice:
30 $ devel/server-loop.sh
31 when you just need to hit ^C yourself when your static files need to be refreshed - see below
32
33 * use it from your browser 
34 (See more notes on using the development server below)
35
36 ==================== Status
37
38 *** Authentication ***
39
40 Although there still are a few hard-coded accounts in the system, you
41 will only be able to see some static views and won't be able to send
42 real queries if you use these, so you'd better use a real account (one
43 that your manifold backend knows about).
44
45 For logging out: click on 'logged as *jean*', this shows a
46 confirmation page for logging out. this is intended to be temporary.
47
48 *** Packaging ***
49
50 I've done a very rough attempt at packaging for rpm.
51 The logic seems about right but needs more work, in particular in terms of installing myslice.conf
52 in the httpd conf.d directory. 
53 It seems like our app won't work on f14 as is because Django is only 1.3.1 on f14
54 Plan is to target f18 but I lack a test machine.
55 Also of course I'll try to tackle debian/ubunti at some point.
56
57 *** Features ***
58
59 We have a basic model for asynchroneous queries (referring to manifold
60 queries) and for plugins (in the most general sense a plugin is just a
61 piece of the output that may be connected to a query)
62
63 Right now the UI has a handful of demo views only; as of this writing
64 only the list of slices actually comes from the manifold backend in an
65 asynchroneous way.
66
67 Also all the views are gathered in the trash/ locations for now, being
68 that they're only for assessment purposes.
69
70 * dahsboard : has one async. query and 2 plugins that share that
71   query; the intent was to demo a different layout in both cases,
72   although the datatables one won't work yet at this point.
73
74 * the 'Plugin' view demonstrates most of the available plugins.
75
76 * slice view : only demonstrates how to use URLs to pass arguments along
77
78 * scroll view : mostly it only illustrates that some pages can be made
79   public (no need to login)
80
81 * tab view : a hand-made tab widget
82
83 Not much effort has yet been put into coming up with a nice layout,
84 feel free to tweak that but it's probably still way too early for
85 this.
86
87 ==================== 
88
89 Third party tools shipped:
90
91 * jquery
92 * datatables
93 * spin
94 * bootstrap
95
96 I've tried to keep track of the version I picked and to have an easy upgrade path.
97
98 ==================== Contents: 1st level subdirs
99
100 ========== code from git
101 * myslice: 
102   this is the django 'project', where to look for
103   . settings.py
104   . urls.py
105
106 * manifold:
107   the code for dealing with queries, sending them to the backend, and offering the /manifold/api/ proxy URL
108
109 * unfold:
110   the code for building / rendering plugins 
111
112 * plugins:
113   the actual code for plugins
114
115 * auth: 
116   a django 'app' that deals with authentication; see especially
117   auth.backend.MyCustomBackend 
118   for how to use a separate authentication system, 
119   as well as settings.py for how to enable it
120
121 * trash/
122   rough/preliminary views in here - as the name suggests this is temporary
123
124 * views/
125   will receive actual views over time 
126   currently has some global html templates as well
127   + some global static files (css, js, images..)
128
129 * insert_above: 
130   a third-party django app for adding on-the-fly mentions to css or js files that need to go in the header
131
132 * third-party/
133    * third party javascript and css stuff (bootstrapfs, jquery, this kind of things)
134      see more about that below too
135
136 * devel:
137   no code in there, only various notes and other scripts useful for developers
138
139 ========== automatically generated 
140
141 * all-static: (generated, no need to source-control)
142   this is where 'make static' will gather all your static contents if you run a local server
143   make has convenience targets to refresh this area
144   $ make static 
145   $ make clean-static 
146
147 * myslice.sqlite3
148   this is where django stores its own stuff, as per settings.py
149
150 ==================== conventions for templates & static files
151 ==================== and NOTES on using the development server
152
153 . first off, running manage.py runserver is provided by django as a development convenience but
154   SHOULD NOT be used in production
155
156 . second, when you do use it for developement purposes, please be aware that:
157
158 .. the recommended layout for the various files and pieces (py, html, js and css) with django is
159    IMHO really painful; we *SHOULD* use e.g. 
160       plugins/simplelist.py, 
161       plugins/templates/plugins.html,
162       plugins/static/js/simplelist.js 
163       plugins/static/css/simplelist.css
164    which I have tried doing for a while but I found mmyself just hopping around in the file tree all
165    day long, wasting cycles all along
166
167 .. as that does not make sense IMHO, I've rewritten the tool for gathering these pieces (this is in
168    the Makefile). Bottom line is we can essentially store this wherever we want.
169    The only restriction being that if you have a template that is *not* html, then it *has to* sit
170    in a templates/ directory, otherwise it gets shipped as a static file.  
171
172 .. as a result, we can now store all the files building a plugin in a single (git) directory; like e.g.
173       plugins/quickfilter/quickfilter.py
174       plugins/quickfilter/quickfilter.html
175       plugins/quickfilter/quickfilter.js
176       plugins/quickfilter/quickfilter.css
177
178    Of course it's a completely different matter once the service is packaged and installed, these
179    files of course get properly separated.
180
181 .. as a result it is a little bit less convenient to use the development server when you change the
182    layout of your static and template files, you might need to re-run 'make static', so it is
183    recommended to use devel/server-loop.sh instead
184
185
186 All this being said, here are our current conventions for storing templates and static files
187
188 * templates:
189   we store this under templates/ within the corresponding app, e.g.
190      auth/templates/login.html
191   for now this is mostly about html, but the engine can be used for rendering anything 
192   including js(on) or whatever (in which case, as stated above, this *must* have /templates/ in its path.
193
194 * static files:
195   we chose to have all static files (images, but also javascript and stylesheets) in the various
196   proj or app where they belong, with a layout like:
197   where-it-belongs/
198       img/
199       css/
200       js/
201   Honestly it's not yet very clear sometimes what 'where-it-belongs' should be sometimes, and it
202   does not matter too much anyway, given that the code doesn't need to change when we move things
203   around. So in particular it's fuzzy between myslice/ (where the logo could fit e.g.) views/ and
204   even trash/
205
206 Makefile has a few convenience targets to list all kinds of stuff; the 2 major targets are 
207
208 $ make static templates
209
210 that would reset all-static/ and all-templates/ for you from the other contents
211
212 * third-party
213   please note that the set of files that actually get exposed in all-static from third-party is
214   hand-coded in Makefile because we tried to preserve the original codebase layout from mainstream,
215   and there's only so much in common between 2 differents js libraries at this point.
216
217
218