]> git.proxmox.com Git - pve-http-server.git/commit
fix #3990: multipart upload: rework to fix uploading small files
authorMatthias Heiserer <m.heiserer@proxmox.com>
Fri, 13 May 2022 13:49:00 +0000 (15:49 +0200)
committerThomas Lamprecht <t.lamprecht@proxmox.com>
Thu, 29 Sep 2022 15:04:34 +0000 (17:04 +0200)
commit0fbcbc26289944bb28ae4bf488f352be251d8948
treed9627a0bb1b284768c772ab8598682eca0c65d17
parent91b86f4e2d1139bdca148dac4ebbb926595cb6ad
fix #3990: multipart upload: rework to fix uploading small files

== The problem
Upload of files smaller than ~16kb failed.
This was because the code assumed that it would be called
several times, and each time would do a certain action.
When the whole file was in the buffer, this failed because
the function would try parssing the first part in the payload and
then return, instead of parsing the rest of the available data.

== Why not just modifying the current code a bit?
The code had a lot of nested control statements and a
non-intuitive control flow (phase 0->2->1->1->1 and so on).

The way the phases and buffer content were checked made it
rather difficult to just fix a few lines.

== What was changed
* Part headers are parsed with a single regex line each,
 which improves code readability.

* Parsing the content is done in order, so even if the whole data is in the buffer,
 it can be read in one go. Files of arbitrary sizes can be uploaded.

== Tested with
* Uploaded 0B, 1B, 14KB, 16KB, 1GB, 10GB, 20GB files

* Tested with all checksums and without

* Tested on firefox, chromium, and pvesh

I didn't do any fuzzing or automated upload testing.

== Drawbacks & Potential issues
* Part headers are hardcoded, adding new ones requries modifying this file

== does not fix
* upload can still time out

Signed-off-by: Matthias Heiserer <m.heiserer@proxmox.com>
Tested-by: Daniel Tschlatscher <d.tschlatscher@proxmox.com>
src/PVE/APIServer/AnyEvent.pm