update documentation (we now use git instead of svn)
[pve-common.git] / README.dev
1 ====================================
2 Setup PVE v2 Development Environment
3 ====================================
4
5 1.  Install Debian 'squeeze'
6 2.  Install prerequisites for development environment:
7
8 apt-get -y install build-essential git-core debhelper autotools-dev \
9 doxygen check pkg-config libnss3-dev groff quilt dpatch libxml2-dev \
10 libncurses5-dev libslang2-dev libldap2-dev xsltproc python-pexpect \
11 python-pycurl libdbus-1-dev openipmi sg3-utils libnet-snmp-perl \
12 libnet-telnet-perl snmp python-openssl libxml2-utils automake autoconf \
13 libsqlite3-dev sqlite3 libfuse-dev libglib2.0-dev librrd-dev \
14 librrds-perl rrdcached lintian libdevel-cycle-perl libjson-perl \
15 liblinux-inotify2-perl libio-stringy-perl unzip fuse-utils \
16 libcrypt-openssl-random-perl libcrypt-openssl-rsa-perl \
17 libauthen-pam-perl libterm-readline-gnu-perl libssl-dev open-iscsi \
18 libapache2-mod-perl2 libfilesys-df-perl libfile-readbackwards-perl \
19 libpci-dev texi2html libgnutls-dev libsdl1.2-dev bridge-utils \
20 libvncserver0 rpm2cpio  apache2-mpm-prefork libintl-perl \
21 libapache2-request-perl libnet-dns-perl vlan libio-socket-ssl-perl \
22 libfile-sync-perl ifenslave-2.6 libnet-ldap-perl console-data
23
24 3.  Download and install the following git modules in order from top to bottom:
25
26 # git clone git://git.proxmox.com/git/<PACKAGE.git>
27
28 You currently need the following packages:
29
30 libqb.git
31 corosync-pve.git
32 openais-pve.git
33 pve-common.git
34 pve-cluster.git
35 redhat-cluster-pve.git
36 pve-access-control.git
37 pve-storage.git
38 pve-qemu-kvm.git
39 qemu-server.git
40 vncterm.git
41 pve-manager.git
42 pve-kernel-2.6.32.git
43
44 Most source can be installed with 'make dinstall' command.
45
46 4.  Reboot the system.
47 5.  Learn to use the quilt patch scripts.
48 6.  Happy coding.
49
50 There is an experimental package containing the API documentation
51 as ExtJS application:
52
53 pve2-api-doc.git
54
55 You can view the source code at:
56
57 https://git.proxmox.com
58
59
60 REST vs. SOAP
61 =============
62
63 We decided to change our SOAP API (1.X) and use a REST like API. The
64 concept is described in [1] (Resource Oriented Architecture
65 (ROA)). The main advantage is that we are able to remove a lot of code
66 (the whole SOAP stack) to reduce software complexity.
67
68 We also moved away from server side content generation. Instead we use
69 the ExtJS Rich Internet Application Framework
70 (http://www.sencha.com). 
71
72 That framework, like any other AJAX toolkit, can talk directly to the
73 REST API using JSON. So we were able to remove the server side
74 template toolkit completely.
75
76 JSON and JSON Schema
77 ====================
78
79 We use JSON as data format, because it is simple and parse-able by any
80 web browser.
81
82 Additionally, we use JSON Schema [2] to formally describe our API. So
83 we can automatically generate the whole API Documentation, and we can
84 verify all parameters and return values.
85
86 An great side effect was that we are able to use JSON Schema to
87 produce command line argument parsers automatically. In fact, the REST
88 API and the command line tools use the same code.
89
90 Object linkage is done using the JSON Hyper Schema (links property).
91
92 A small utility called 'pvesh' exposes the whole REST API on the command
93 line.
94
95 So here is a summary of the advantage:
96
97    - easy, human readable data format (native web browser format)
98    - automatic parameter verification (we can also verify return values)
99    - automatic generation of API documentation
100    - easy way to create command line tools (using same API).
101
102 API Implementation (PVE::RESTHandler)
103 =====================================
104
105 All classes exposing methods on the API use PVE::RESTHandler as base class.
106
107   use base qw(PVE::RESTHandler);
108
109 To expose methods, one needs to call register_method():
110
111   __PACKAGE__->register_method ($schema);
112
113 Where $schema is a PVE method schema as described in
114 PVE::JSONSchema. It includes a description of parameters and return
115 values, and a reference to the actual code
116
117 __PACKAGE__->register_method ({
118     name => 'echo', 
119     path => 'echo', 
120     method => 'GET',
121     description => "simple return value of parameter 'text'",
122     parameters => {
123         additionalProperties => 0,
124         properties => {
125             text => {
126                  type => 'string',
127             }     
128         },
129     },
130     returns => {
131         type => 'string',
132     },
133     code => sub {
134         my ($conn, $resp, $param) = @_;
135
136         return $param->{text};
137     }
138 });
139
140 The 'name' property is only used if you want to call the method
141 directly from Perl. You can do that using:
142
143   print __PACKAGE__->echo({ text => "a test" });
144
145 We use Perl's AUTOLOAD feature to implement this. Note: You need to
146 pass parameters a HASH reference.
147
148 There is a special helper method called cli_handler(). This is used by
149 the CLIHandler Class for command line tools, where you want to pass
150 arguments as array of strings. This uses Getopt::Long to parse parameters.
151
152 There is a second way to map names to methods - using the 'path'
153 property.  And you can register subclasses. That way you can set up a
154 filesystem like hierarchy to access methods. 
155
156 Here is an example:
157 ----------------------------
158 package C1;
159
160 __PACKAGE__->register_method ({
161     subclass => "C2",  
162     path => 'sub2',
163 });
164
165
166 __PACKAGE__->register_method ({
167     name => 'list1',    
168     path => 'index',
169     method => 'GET',
170     ...
171 });
172
173 package C2;
174
175 __PACKAGE__->register_method ({
176     name => 'list2',    
177     path => 'index',
178     method => 'GET',
179     ...
180 });
181 -------------------------------
182
183 The utily method find_handler (in PVE::RESTHandler) can be use to do
184 'path' related method lookups.
185
186 C1->find_handler('GET', "/index")      => C1::list1
187 C1->find_handler('GET', "/sub2/index") => C2::list2
188
189 The HTTP server use the URL (a path) to find the corresponding method. 
190
191
192 References
193 ==========
194 [1] RESTful Web Services
195 Web services for the real world
196
197 By
198     Leonard Richardson, Sam Ruby
199 Publisher:
200     O'Reilly Media
201 Released:
202     May 2007 
203
204 [2] JSON Schema links: http://json-schema.org/