readme.dev: s/needed/required/ packages
[pve-common.git] / README.dev
1 = Setup PVE Development Environment =
2
3 0.  Read https://pve.proxmox.com/wiki/Developer_Documentation
4 1.  Install Debian 9 'stretch' (you can also start from a PVE installation and
5     skip step 2 - 5, 7 - 11)
6 2.  Configure the network interface(s)
7 3.  Change the IP address of your hostname for proper name resolution
8     in /etc/hosts
9     Using 127.0.1.1 will not work, so change it to an IP address from your
10     local network!
11
12 4:  Check that the Debian repositories are set properly.
13     See https://wiki.debian.org/SourcesList for more information.
14
15 5.  Optional: Install openssh-server and connect via ssh to the host.
16
17     run: apt-get update && apt-get install openssh-server
18     Connect via ssh to host and switch user to root
19
20 6.  Configure 'pvetest' repository in /etc/apt/sources.list.d/:
21
22     run: echo "deb http://download.proxmox.com/debian stretch pvetest" > /etc/apt/sources.list.d/pve-development.list
23
24 7.  Add the repository key:
25
26     run: wget -O- "http://download.proxmox.com/debian/proxmox-ve-release-5.x.gpg" | apt-key add -
27
28 8.  run: apt-get update && apt-get dist-upgrade
29 9.  run: apt-get install proxmox-ve
30 10. run: mv /etc/apt/sources.list.d/pve-enterprise.list /etc/apt/sources.list.d/pve-enterprise.list.bak
31
32 11. You should now have a working Proxmox VE installation.
33     Open a browser: https://<host_IP_address>:8006 e.g. https://10.0.0.90:8006
34
35
36 = Install build prerequisites for development environment =
37
38 NOTE: this is a huge list intended to be able to build (almost) all packages,
39 from the UI/API components to backend components to our Linux Kernel.
40 If you only want to hack on specific topics you won't need most of those.
41 We try to have a complete list of build dependencies in each source
42 repositories 'debian/control' file. If you run `make deb` dpkg-buildpackage will
43 stop and tell you if you miss some required packages.
44
45 12. For installing the most important, always needed, ones run:
46
47 apt-get install build-essential git git-email debhelper pve-doc-generator
48
49 Additionally, for quickly installing (almost) all build dependencies run:
50
51 apt-get install autotools-dev autogen dh-autoreconf dkms doxygen check pkg-config \
52 groff quilt dpatch automake autoconf libtool lintian libdevel-cycle-perl \
53 libjson-perl libcommon-sense-perl liblinux-inotify2-perl libio-stringy-perl \
54 libstring-shellquote-perl dh-systemd rpm2cpio libsqlite3-dev sqlite3 \
55 libglib2.0-dev librrd-dev librrds-perl rrdcached libdigest-hmac-perl \
56 libxml-parser-perl gdb libcrypt-openssl-random-perl \
57 libcrypt-openssl-rsa-perl libnet-ldap-perl libauthen-pam-perl \
58 libjson-xs-perl libterm-readline-gnu-perl oathtool libmime-base32-perl \
59 liboath0 libpci-dev texi2html libsdl1.2-dev libgnutls28-dev \
60 libspice-protocol-dev xfslibs-dev libnuma-dev libaio-dev \
61 pve-libspice-server-dev libusbredirparser-dev glusterfs-common \
62 libusb-1.0-0-dev librbd-dev libpopt-dev iproute bridge-utils numactl \
63 glusterfs-common ceph-common python-ceph libgoogle-perftools4 \
64 libfile-chdir-perl lvm2 glusterfs-client liblockfile-simple-perl \
65 libsystemd-dev libreadline-gplv2-dev libio-multiplex-perl \
66 libnetfilter-log-dev libipset3 ipset socat libsasl2-dev libogg-dev \
67 python-pyparsing libfilesys-df-perl libcrypt-ssleay-perl \
68 libfile-readbackwards-perl libanyevent-perl libanyevent-http-perl \
69 unzip liblocale-po-perl libfile-sync-perl cstream \
70 lzop dtach apt-transport-https hdparm gdisk parted ttf-dejavu-core \
71 liblzma-dev dosfstools mtools libxen-dev libfuse-dev corosync-dev \
72 libcpg-dev libquorum-dev libcmap-dev libuuid-perl \
73 libqb-dev libapparmor-dev docbook2x libcap-dev dh-apparmor \
74 graphviz libseccomp-dev libglib-perl libgtk3-perl libnss3-dev libdlm-dev \
75 libudev-dev asciidoc-dblatex source-highlight libiscsi-dev libiscsi7 \
76 librsvg2-bin
77
78
79 = Compile PVE packages from Source =
80
81 13: Download and install git repositories as Proxmox modules:
82
83     run: mkdir /root/proxmox && cd /root/proxmox
84
85     run: git clone git://git.proxmox.com/git/pve-common.git
86
87     'pve-common.git' is some kind of starting repository and needed for some
88     other repositories as dependency.
89     Install this to get an idea of how the installation process is working.
90
91     See https://git.proxmox.com/ for all available repositories.
92
93 14: Most packages can be installed with 'make dinstall' command.
94     run: cd pve-common && make dinstall
95
96 15: Reboot the system.
97 16. Learn to use the quilt patch scripts.
98 17. Happy coding!
99
100
101 = REST vs. SOAP =
102
103 We decided to change our SOAP API (1.X) and use a REST like API. The
104 concept is described in [1] (Resource Oriented Architecture
105 (ROA)). The main advantage is that we are able to remove a lot of code
106 (the whole SOAP stack) to reduce software complexity.
107
108 We also moved away from server side content generation. Instead we use
109 the ExtJS Rich Internet Application Framework
110 (http://www.sencha.com). 
111
112 That framework, like any other AJAX toolkit, can talk directly to the
113 REST API using JSON. So we were able to remove the server side
114 template toolkit completely.
115
116 = JSON and JSON Schema =
117
118 We use JSON as data format, because it is simple and parse-able by any
119 web browser.
120
121 Additionally, we use JSON Schema [2] to formally describe our API. So
122 we can automatically generate the whole API Documentation, and we can
123 verify all parameters and return values.
124
125 A great side effect was that we are able to use JSON Schema to
126 produce command line argument parsers automatically. In fact, the REST
127 API and the command line tools use the same code.
128
129 Object linkage is done using the JSON Hyper Schema (links property).
130
131 A small utility called 'pvesh' exposes the whole REST API on the command
132 line.
133
134 So here is a summary of the advantage:
135
136    - easy, human readable data format (native web browser format)
137    - automatic parameter verification (we can also verify return values)
138    - automatic generation of API documentation
139    - easy way to create command line tools (using same API).
140
141 = API Implementation (PVE::RESTHandler) =
142
143 All classes exposing methods on the API use PVE::RESTHandler as base class.
144
145   use base qw(PVE::RESTHandler);
146
147 To expose methods, one needs to call register_method():
148
149   __PACKAGE__->register_method ($schema);
150
151 Where $schema is a PVE method schema as described in
152 PVE::JSONSchema. It includes a description of parameters and return
153 values, and a reference to the actual code
154
155 __PACKAGE__->register_method ({
156     name => 'echo', 
157     path => 'echo', 
158     method => 'GET',
159     description => "simple return value of parameter 'text'",
160     parameters => {
161         additionalProperties => 0,
162         properties => {
163             text => {
164                  type => 'string',
165             }     
166         },
167     },
168     returns => {
169         type => 'string',
170     },
171     code => sub {
172         my ($param) = @_;
173
174         return $param->{text};
175     }
176 });
177
178 The 'name' property is only used if you want to call the method
179 directly from Perl. You can do that using:
180
181   print __PACKAGE__->echo({ text => "a test" });
182
183 We use Perl's AUTOLOAD feature to implement this. Note: You need to
184 pass parameters a HASH reference.
185
186 There is a special helper method called cli_handler(). This is used by
187 the CLIHandler Class for command line tools, where you want to pass
188 arguments as array of strings. This uses Getopt::Long to parse parameters.
189
190 There is a second way to map names to methods - using the 'path'
191 property.  And you can register subclasses. That way you can set up a
192 filesystem like hierarchy to access methods. 
193
194 Here is an example:
195 ----------------------------
196 package C1;
197
198 __PACKAGE__->register_method ({
199     subclass => "C2",  
200     path => 'sub2',
201 });
202
203
204 __PACKAGE__->register_method ({
205     name => 'list1',    
206     path => 'index',
207     method => 'GET',
208     ...
209 });
210
211 package C2;
212
213 __PACKAGE__->register_method ({
214     name => 'list2',    
215     path => 'index',
216     method => 'GET',
217     ...
218 });
219 -------------------------------
220
221 The utily method find_handler (in PVE::RESTHandler) can be use to do
222 'path' related method lookups.
223
224 C1->find_handler('GET', "/index")      => C1::list1
225 C1->find_handler('GET', "/sub2/index") => C2::list2
226
227 The HTTP server use the URL (a path) to find the corresponding method. 
228
229
230 = References =
231
232 [1] RESTful Web Services
233 Web services for the real world
234
235 By
236     Leonard Richardson, Sam Ruby
237 Publisher:
238     O'Reilly Media
239 Released:
240     May 2007 
241
242 [2] JSON Schema links: http://json-schema.org/