Merge pull request #3522 from pks-t/email-format-commit-message

diff: include commit message when formatting patch

Merge pull request #3538 from pks-t/pks/index-memory-leak

index: always queue `remove_entry` for removal

Merge pull request #3542 from libgit2/cmn/reset-dir-file

reset: perform the checkout before moving HEAD or the index

reset: perform the checkout before moving HEAD or the index

This keeps the state of the workdir the same as one from HEAD, removing
a source of possible confusion when calculating the work that is to be
done.

CHANGELOG: add some things we missed

Merge pull request #3539 from libgit2/typedef-submodule-cb

Use a typedef for the submodule_foreach callback.

Merge pull request #3537 from libgit2/cmn/tree-is-sorted

tree: mark a tree as already sorted

Play nice with the docs.

Use a typedef for the submodule_foreach callback.

This fits with the style for the rest of the project, but more
importantly, makes life easier for bindings authors who auto-generate
code.

index: always queue `remove_entry` for removal

When replacing an index with a new one, we need to iterate
through all index entries in order to determine which entries are
equal. When it is not possible to re-use old entries for the new
index, we move it into a list of entries that are to be removed
and thus free'd.

When we encounter a non-zero error code, though, we skip adding
the current index entry to the remove-queue. `INSERT_MAP_EX`,
which is the function last run before adding to the remove-queue,
may return a positive non-zero code that indicates what exactly
happened while inserting the element. In this case we skip adding
the entry to the remove-queue but still continue the current
operation, leading to a leak of the current entry.

Fix this by checking for a negative return value instead of a
non-zero one when we want to add the current index entry to the
remove-queue.

tree: mark a tree as already sorted

The trees are sorted on-disk, so we don't have to go over them
again. This cuts almost a fifth of time spent parsing trees.

Merge pull request #3526 from sschuberth/cmake-number-compare

CMakeLists: Compare CMAKE_SIZEOF_VOID_P as a number, not as a string

Merge pull request #3529 from mgorny/fix-checkout-test-umask

checkout test: Apply umask to file-mode test as well

Merge pull request #3530 from libgit2/cmn/parse-mode

tree: use a specialised mode parse function

Merge pull request #3534 from ethomson/index_canonicalize_fix

index: canonicalize inserted paths safely

index: canonicalize inserted paths safely

When adding to the index, we look to see if a portion of the given
path matches a portion of a path in the index.  If so, we will use
the existing path information.  For example, when adding `foo/bar.c`,
if there is an index entry to `FOO/other` and the filesystem is case
insensitive, then we will put `bar.c` into the existing tree instead
of creating a new one with a different case.

Use `strncmp` to do that instead of `memcmp`.  When we `bsearch`
into the index, we locate the position where the new entry would
go.  The index entry at that position does not necessarily have
a relation to the entry we're adding, so we cannot make assumptions
and use `memcmp`.  Instead, compare them as strings.

When canonicalizing paths, we look for the first index entry that
matches a given substring.

tree: use a specialised mode parse function

Instead of going out to strtol, which is made to parse generic numbers,
copy a parse function from git which is specialised for file modes.

CMakeLists: Compare CMAKE_SIZEOF_VOID_P as a number, not as a string

checkout test: Apply umask to file-mode test as well

Fix the file-mode test to expect system umask being applied to the
created file as well (it is currently applied to the directory only).
This fixes the test on systems where umask != 022.

Signed-off-by: Michał Górny <mgorny@gentoo.org>

Merge pull request #3527 from pks-t/pks/tree-entry-memleak

tree: mark cloned tree entries as un-pooled

tree: mark cloned tree entries as un-pooled

When duplicating a `struct git_tree_entry` with
`git_tree_entry_dup` the resulting structure is not allocated
inside a memory pool. As we do a 1:1 copy of the original struct,
though, we also copy the `pooled` field, which is set to `true`
for pooled entries. This results in a huge memory leak as we
never free tree entries that were duplicated from a pooled
tree entry.

Fix this by marking the newly duplicated entry as un-pooled.

diff: include commit message when formatting patch

When formatting a patch as email we do not include the commit's
message in the formatted patch output. Implement this and add a
test that verifies behavior.

commit: introduce `git_commit_body`

It is already possible to get a commit's summary with the
`git_commit_summary` function. It is not possible to get the
remaining part of the commit message, that is the commit
message's body.

Fix this by introducing a new function `git_commit_body`.

Merge pull request #3508 from libgit2/cmn/tree-parse-speed

Improvements to tree parsing speed

Merge pull request #3525 from pks-t/pks/fix-nested-struct-warning

Compiler warning fixes

object: remove unused constant OBJECT_BASE_SIZE

tests: fix warning for nested struct initialization

tree: ensure the entry filename fits in 16 bits

Return an error in case the length is too big. Also take this
opportunity to have a single allocating function for the size and
overflow logic.

Merge pull request #3513 from ethomson/merge_recursive

Recursive Merge

tree: make path len uint16_t and avoid holes

This reduces the size of the struct from 32 to 26 bytes, and leaves a
single padding byte at the end of the struct (which comes from the
zero-length array).

tree: calculate the filename length once

We already know the size due to the `memchr()` so use that information
instead of calling `strlen()` on it.

tree: pool the entry memory allocations

These are rather small allocations, so we end up spending a non-trivial
amount of time asking the OS for memory. Since these entries are tied to
the lifetime of their tree, we can give the tree a pool so we speed up
the allocations.

tree: avoid advancing over the filename multiple times

We've already looked at the filename with `memchr()` and then used
`strlen()` to allocate the entry. We already know how much we have to
advance to get to the object id, so add the filename length instead of
looking at each byte again.

recursive merge: add a recursion limit

merge: handle conflicts in recursive base building

When building a recursive merge base, allow conflicts to occur.
Use the file (with conflict markers) as the common ancestor.

The user has already seen and dealt with this conflict by virtue
of having a criss-cross merge.  If they resolved this conflict
identically in both branches, then there will be no conflict in the
result.  This is the best case scenario.

If they did not resolve the conflict identically in the two branches,
then we will generate a new conflict.  If the user is simply using
standard conflict output then the results will be fairly sensible.
But if the user is using a mergetool or using diff3 output, then the
common ancestor will be a conflict file (itself with diff3 output,
haha!).  This is quite terrible, but it matches git's behavior.

merge tests: add complex recursive example

recursive: test conflict output during recursive merge

merge tests: move expected data into own file

merge: use annotated commits for recursion

Use annotated commits to act as our virtual bases, instead of regular
commits, to avoid polluting the odb with virtual base commits and
trees.  Instead, build an annotated commit with an index and pointers
to the commits that it was merged from.

merge: merge annotated commits instead of regular commits

merge: octopus merge common ancestors when >2

When there are more than two common ancestors, continue merging the
virtual base with the additional common ancestors, effectively
octopus merging a new virtual base.

merge: add recursive test with conflicting contents

merge: compute octopus merge bases

merge: add recursive test with three merge bases

merge: improve test names in recursive merge tests

merge: add a third-level recursive merge

merge: add a second-level recursive merge

merge: build virtual base of multiple merge bases

When the commits to merge have multiple common ancestors, build a
"virtual" base tree by merging the common ancestors.

merge: add simple recursive test

Add a simple recursive test - where multiple ancestors exist and
creating a virtual merge base from them would prevent a conflict.

merge: rename `git_merge_tree_flags_t` -> `git_merge_flags_t`

Merge pull request #3523 from pks-t/memleak-fixes

Memleak fixes

Merge pull request #3520 from ethomson/checkout_nsecs

checkout: only consider nsecs when built that way

tests: win32::longpath: free expected_msg

tests: config::stress: free `git_config` structs

tests: config::global: fix memleak in open_programdata

checkout: only consider nsecs when built that way

When examining the working directory and determining whether it's
up-to-date, only consider the nanoseconds in the index entry when
built with `GIT_USE_NSEC`.  This prevents us from believing that
the working directory is always dirty when the index was originally
written with a git client that uinderstands nsecs (like git 2.x).

Merge pull request #3515 from jacquesg/unsigned-signed

Fix <0 unsigned comparison (stat.st_size should be an off_t)

Make stat.st_size a __int64 not a uint64_t

Merge pull request #3517 from jacquesg/warnings-fixes

Fix some warnings

Merge pull request #3514 from jacquesg/stat-fixes

Stat fixes

Merge pull request #3516 from libgit2/cmn/repository-state-sequencer

repository: distinguish sequencer cherry-pick and revert

Detect stat's structure

Fix some warnings

repository: distinguish sequencer cherry-pick and revert

These are not quite like their plain counterparts and require special handling.

Merge pull request #3511 from ethomson/racy_fixes_2

Racy fixes for writing new indexes

Merge pull request #3512 from ethomson/windows_sysdir

Protect windows SYSDIR when running tests

tests: use out-of-the-way config dir in sandbox

Don't put the configuration in a subdir of the sandbox named
`config`, lest some tests decide to create their own directory
called `config`.  Prefix with some underscores for uniqueness.

tests: set PROGRAMDATA directory for running tests

config::global: use PROGRAMDATA configuration

Query the `GIT_CONFIG_LEVEL_PROGRAMDATA` location when setting it up
for tests, in case the test runner has sandboxed it.

settings: allow users to set PROGRAMDATA

Allow users to set the `git_libgit2_opts` search path for the
`GIT_CONFIG_LEVEL_PROGRAMDATA`.  Convert `GIT_CONFIG_LEVEL_PROGRAMDATA`
to `GIT_SYSDIR_PROGRAMDATA` for setting the configuration.

racy: make git_index_read_index handle raciness

Ensure that `git_index_read_index` clears the uptodate bit on
files that it modifies.

Further, do not propagate the cache from an on-disk index into
another on-disk index.  Although this should not be done, as
`git_index_read_index` is used to bring an in-memory index into
another index (that may or may not be on-disk), ensure that we do
not accidentally bring in these bits when misused.

racy: ensure git_index_read_tree clears uptodate

Ensure that `git_index_read_tree` clears the uptodate bit on files
that it modifies.

index: clear uptodate bit on save

The uptodate bit should have a lifecycle of a single read->write
on the index.  Once the index is written, the files within it should
be scanned for racy timestamps against the new index timestamp.

index: test for smudged entries on write only

Test that entries are only smudged when we write the index: the
entry smudging is to prevent us from updating an index in a way
that it would be impossible to tell that an item was racy.
Consider when we load an index:  any entries that have the same
(or newer) timestamp than the index itself are considered racy,
and are subject to further scrutiny.

If we *save* that index with the same entries that we loaded,
then the index would now have a newer timestamp than the entries,
and they would no longer be given that additional scrutiny, failing
our racy detection!  So test that we smudge those entries only on
writing the new index, but that we can detect them (in diff) without
having to write.

checkout::crlf test: don't crash when no idx entry

When there's no matching index entry (for whatever reason), don't
try to dereference the null return value to get at the id.

Otherwise when we break something in the index API, the checkout
test crashes for confusing reasons and causes us to step through
it in a debugger thinking that we had broken much more than we
actually did.

index: don't detect raciness in uptodate entries

Keep track of entries that we believe are up-to-date, because we
added the index entries since the index was loaded.  This prevents
us from unnecessarily examining files that we wrote during the
cleanup of racy entries (when we smudge racily clean files that have
a timestamp newer than or equal to the index's timestamp when we
read it).  Without keeping track of this, we would examine every
file that we just checked out for raciness, since all their timestamps
would be newer than the index's timestamp.

racy-git: do a single index->workdir diff

When examining paths that are racily clean, do a single index->workdir
diff over the entirety of the racily clean files, instead of a diff
per file.

Merge pull request #3506 from libgit2/vmg/pool-align

pool: Never return unaligned buffers

pool: Never return unaligned buffers

Merge pull request #3170 from CmdrMoozy/nsec_fix

git_index_entry__init_from_stat: set nsec fields in entry stats

Merge pull request #3499 from ethomson/ref_dir_errmsgs

Improve error messages when dirs prevent ref/reflog creation

Merge pull request #3448 from libgit2/cmn/custom-agent

Support setting custom user-agent

CHANGELOG: add note about custom user-agent

winhttp: use a custom user-agent if the user has set it

We also keep the "git/1.0" prefix in order to maintain compatibility
with hosters.

http: use a custom user-agent if the user has set it

We still prefix it with "git/1.0" since that's required in many
situations, but we replace the area which mentions libgit2.

settings: add a setter for a custom user-agent

Merge pull request #2534 from libgit2/ntk/case_index_conflicts

Failing test for case sensitive conflicts in the index

reflog: error when a directory is at reflog path

When a non-empty directory exists and prevents the creation of a
reflog, provide a more informative error message.

refs: complain when a directory exists at ref

When a (non-empty) directory exists at the reference target
location, complain with a more actionable error message.

index: overwrite the path when inserting conflicts

When we insert a conflict in a case-insensitive index, accept the
new entry's path as the correct case instead of leaving the path we
already had.

This puts `git_index_conflict_add()` on the same level as
`git_index_add()` in this respect.

index: correctly report which conflict stage has a wrong filemode

When we're at offset 'i', we're dealing with the 'i+1' stage, since
conflicts start at 1.

Failing test for case sensitive conflicts in the index

Merge pull request #3498 from ethomson/windows_symlinks

Diff: Honor `core.symlinks=false` and fake symlinks

Merge pull request #3500 from ethomson/submodules_with_path

Handle submodules with paths in `git_submodule_update`

submodule: reload HEAD/index after reading config

Reload the HEAD and index data for a submodule after reading the
configuration.  The configuration may specify a `path`, so we must
update HEAD and index data with that path in mind.

submodule: test updating a submodule w/ a path

Test that `git_submodule_update` can handle a submodule that is
freshly cloned and has a path differing from its name.

Merge pull request #3465 from libgit2/cmn/tls-register

stream: allow registering a user-provided TLS constructor

Merge branch 'pr/3487'

Fix git_commit_summary to convert newlines to spaces even after
whitespace.  Collapse spaces around newlines for the summary.

filebuf: detect directories in our way

When creating a filebuf, detect a directory that exists in our
target file location.  This prevents a failure later, when we try
to move the lock file to the destination.