add missing build dependencies
[pve-common.git] / README.dev
1 = Setup PVE Development Environment =
2
3 1. Install Debian 'jessie'
4 2. Configure pvetest repository in apt sources.list
5
6  deb http://download.proxmox.com/debian jessie pvetest
7
8 3. Add our repository key with apt-key:
9
10  wget -O- "http://download.proxmox.com/debian/key.asc" | apt-key add -
11
12 4. make sure you have a read IP address for your hostname in /etc/hosts
13    (using 127.0.1.1 will not work)
14
15 5. run: apt-get update
16 6. run: apt-get dist-upgrade
17 7. run: apt-get install proxmox-ve
18
19 You should now have a working Proxmox VE installation.
20
21 = Install build prerequisites for development environment =
22
23 apt-get -y install build-essential git-core git-email debhelper \
24 autotools-dev autogen dh-autoreconf dkms doxygen check pkg-config \
25 groff quilt dpatch automake autoconf libtool lintian libdevel-cycle-perl \
26 libjson-perl libcommon-sense-perl liblinux-inotify2-perl libio-stringy-perl \
27 libstring-shellquote-perl dh-systemd rpm2cpio libsqlite3-dev sqlite3 \
28 libglib2.0-dev librrd-dev librrds-perl rrdcached libdigest-hmac-perl \
29 libxml-parser-perl gdb libcrypt-openssl-random-perl \
30 libcrypt-openssl-rsa-perl libnet-ldap-perl libauthen-pam-perl \
31 libjson-xs-perl libterm-readline-gnu-perl oathtool libmime-base32-perl \
32 liboath0 libpci-dev texi2html libsdl1.2-dev libgnutls28-dev \
33 libspice-protocol-dev xfslibs-dev libnuma-dev libaio-dev \
34 pve-libspice-server-dev libusbredirparser-dev glusterfs-common \
35 libusb-1.0-0-dev librbd-dev libpopt-dev iproute bridge-utils numactl \
36 glusterfs-common ceph-common python-ceph libgoogle-perftools4 \
37 libfile-chdir-perl lvm2 glusterfs-client liblockfile-simple-perl \
38 libsystemd-dev libreadline-gplv2-dev libio-multiplex-perl \
39 libnetfilter-log-dev libipset3 ipset socat libsasl2-dev libogg-dev \
40 python-pyparsing libfilesys-df-perl libcrypt-ssleay-perl \
41 libfile-readbackwards-perl libanyevent-perl libanyevent-http-perl \
42 unzip liblocale-po-perl vlan ifenslave-2.6 libfile-sync-perl cstream \
43 lzop dtach apt-transport-https hdparm gdisk parted ttf-dejavu-core \
44 liblzma-dev dosfstools mtools libxen-dev libfuse-dev corosync-dev \
45 libqb-dev libapparmor-dev docbook2x libcap-dev dh-apparmor \
46 graphviz libseccomp-dev libglib-perl libgtk3-perl libnss3-dev libdlm-dev \
47 libudev-dev asciidoc-dblatex source-highlight inkscape
48
49 = Compile PVE packages from Source =
50
51 Download and install the following git modules in order from top to bottom:
52
53 # git clone git://git.proxmox.com/git/<PACKAGE.git>
54
55 You currently need the following packages:
56
57 pve-common.git
58 libpve-http-server-perl.git
59 libpve-apiclient-perl.git
60 pve-docs.git
61 pve-cluster.git
62 lvm.git
63 pve-access-control.git
64 pve-storage.git
65 pve-qemu-kvm.git
66 qemu-server.git
67 vncterm.git
68 spiceterm.git
69 #vzquota.git
70 #vzctl.git
71 #fence-agents-pve.git
72 #resource-agents-pve.git
73 pve-manager.git
74 #pve-kernel-3.10.0.git
75 #libiscsi.git
76 #gfs2-utils.git
77 ksm-control-daemon.git
78 pve-container.git
79 pve-firewall.git
80 pve-kernel.git
81
82 Most packages can be installed with 'make dinstall' command.
83
84 4.  Reboot the system.
85 5.  Learn to use the quilt patch scripts.
86 6.  Happy coding.
87
88 There is an experimental package containing the API documentation
89 as ExtJS application:
90
91 pve2-api-doc.git
92
93 You can view the source code at:
94
95 https://git.proxmox.com
96
97
98 = REST vs. SOAP =
99
100 We decided to change our SOAP API (1.X) and use a REST like API. The
101 concept is described in [1] (Resource Oriented Architecture
102 (ROA)). The main advantage is that we are able to remove a lot of code
103 (the whole SOAP stack) to reduce software complexity.
104
105 We also moved away from server side content generation. Instead we use
106 the ExtJS Rich Internet Application Framework
107 (http://www.sencha.com). 
108
109 That framework, like any other AJAX toolkit, can talk directly to the
110 REST API using JSON. So we were able to remove the server side
111 template toolkit completely.
112
113 = JSON and JSON Schema =
114
115 We use JSON as data format, because it is simple and parse-able by any
116 web browser.
117
118 Additionally, we use JSON Schema [2] to formally describe our API. So
119 we can automatically generate the whole API Documentation, and we can
120 verify all parameters and return values.
121
122 A great side effect was that we are able to use JSON Schema to
123 produce command line argument parsers automatically. In fact, the REST
124 API and the command line tools use the same code.
125
126 Object linkage is done using the JSON Hyper Schema (links property).
127
128 A small utility called 'pvesh' exposes the whole REST API on the command
129 line.
130
131 So here is a summary of the advantage:
132
133    - easy, human readable data format (native web browser format)
134    - automatic parameter verification (we can also verify return values)
135    - automatic generation of API documentation
136    - easy way to create command line tools (using same API).
137
138 = API Implementation (PVE::RESTHandler) =
139
140 All classes exposing methods on the API use PVE::RESTHandler as base class.
141
142   use base qw(PVE::RESTHandler);
143
144 To expose methods, one needs to call register_method():
145
146   __PACKAGE__->register_method ($schema);
147
148 Where $schema is a PVE method schema as described in
149 PVE::JSONSchema. It includes a description of parameters and return
150 values, and a reference to the actual code
151
152 __PACKAGE__->register_method ({
153     name => 'echo', 
154     path => 'echo', 
155     method => 'GET',
156     description => "simple return value of parameter 'text'",
157     parameters => {
158         additionalProperties => 0,
159         properties => {
160             text => {
161                  type => 'string',
162             }     
163         },
164     },
165     returns => {
166         type => 'string',
167     },
168     code => sub {
169         my ($param) = @_;
170
171         return $param->{text};
172     }
173 });
174
175 The 'name' property is only used if you want to call the method
176 directly from Perl. You can do that using:
177
178   print __PACKAGE__->echo({ text => "a test" });
179
180 We use Perl's AUTOLOAD feature to implement this. Note: You need to
181 pass parameters a HASH reference.
182
183 There is a special helper method called cli_handler(). This is used by
184 the CLIHandler Class for command line tools, where you want to pass
185 arguments as array of strings. This uses Getopt::Long to parse parameters.
186
187 There is a second way to map names to methods - using the 'path'
188 property.  And you can register subclasses. That way you can set up a
189 filesystem like hierarchy to access methods. 
190
191 Here is an example:
192 ----------------------------
193 package C1;
194
195 __PACKAGE__->register_method ({
196     subclass => "C2",  
197     path => 'sub2',
198 });
199
200
201 __PACKAGE__->register_method ({
202     name => 'list1',    
203     path => 'index',
204     method => 'GET',
205     ...
206 });
207
208 package C2;
209
210 __PACKAGE__->register_method ({
211     name => 'list2',    
212     path => 'index',
213     method => 'GET',
214     ...
215 });
216 -------------------------------
217
218 The utily method find_handler (in PVE::RESTHandler) can be use to do
219 'path' related method lookups.
220
221 C1->find_handler('GET', "/index")      => C1::list1
222 C1->find_handler('GET', "/sub2/index") => C2::list2
223
224 The HTTP server use the URL (a path) to find the corresponding method. 
225
226
227 = References =
228
229 [1] RESTful Web Services
230 Web services for the real world
231
232 By
233     Leonard Richardson, Sam Ruby
234 Publisher:
235     O'Reilly Media
236 Released:
237     May 2007 
238
239 [2] JSON Schema links: http://json-schema.org/