config: show we write a spurious duplicated section header

We should notice that we are in the correct section to add. This is a
cosmetic bug, since replacing any of these settings does work.

Merge pull request #3708 from sschuberth/master

CMakeLists: Further improve the error messages regarding CMAKE_SIZEOF_VOID_P

Merge pull request #3691 from ethomson/iterators

Some FANTASTIC iterator refactoring

iterator: comment fixed

iterator: unused includes removed

iterator: new workdir-iterator test for pathlist + includings trees

iterator: new index-iterator test for pathlist + includings trees

iterator: more pathlist-related tests should test actual paths

iterator: cleanups

Remove some unused functions, refactor some ugliness.

iterator: don't run the gunk test by default on CI

(It's slow!)

iterator: refactor empty iterator to new style

iterator: mandate `advance_over`

Since the three iterators implement `advance_over` differently,
mandate it and implement each.

iterator: refactor index iterator

Introduce `git_path_common_dirlen`

iterator: move the index into the iterator itself

iterator: give the tests a proper hierarchy

Iterator tests were split over repo::iterator and diff::iterator,
with duplication between the two.  Move them to iterator::index,
iterator::tree, and iterator::workdir.

Merge pull request #3574 from chescock/buffer-sideband-pack-data

Buffer sideband packet data

CMakeLists: Further improve the error messages regarding CMAKE_SIZEOF_VOID_P

Added clar test for #3568

diff: stop processing nitem when its removed

When a directory is removed out from underneath us, stop trying to
manipulate it.

iterator: drop `advance_into_or_over`

Now that iterators do not return `GIT_ENOTFOUND` when advancing
into an empty directory, we do not need a special `advance_into_or_over`
function.

iterator: test that we can `advance_into` empty dirs

Prior iterator implementations returned `GIT_ENOTFOUND` when
trying to advance into empty directories.  Ensure that we no longer
do that and simply handle them gracefully.

Failing test.

iterator: test pathlist handling for directories

tree_iterator was only working properly for a pathlist containing
file paths. In case of directory paths, it didn't match children
which contradicts GIT_DIFF_DISABLE_PATHSPEC_MATCH and
is different from index_iterator and fs_iterator.

As a consequence head-to-index status reporting for a specific
directory did not work properly -- all files have been reported
as added.

Include additional tests.

iterator: test `advance_over` with a pathlist

iterator: add tests for advance_over

`git_iterator_advance_over` is a gnarly bit of code with no actual
tests.

iterator: test workdir pathlist with deep paths

In the workdir iterator we do some tricky things to step down into
directories to look for things that are in our pathlist.  Make sure
that we don't confuse between folders that we're definitely going to
return everything in and folders that we're only stepping down into
to keep looking for matches.

iterator: workdir tests with submodules

Ensure that when specifying start/end paths, or pathlists, that we
deal correctly with submodules.

iterator: expand workdir tests with pathlist

Expand the workdir tests to validate the paths in case sensitive
and insensitive tests.

iterator: test that we're at the end of iteration

Ensure that we have hit the end of iteration; previously we tested
that we saw all the values that we expected to see.  We did not
then ensure that we were at the end of the iteration (and that there
were subsequently values in the iteration that we did *not* expect.)

iterator: combine fs+workdir iterators more completely

Drop some of the layers of indirection between the workdir and the
filesystem iterators.  This makes the code a little bit easier to
follow, and reduces the number of unnecessary allocations a bit as
well.  (Prior to this, when we filter entries, we would allocate them,
filter them and then free them; now we do the filtering before
allocation.)

Also, rename `git_iterator_advance_over_with_status` to just
`git_iterator_advance_over`.  Mostly because it's a fucking long-ass
function name otherwise.

iterator: test fs iterator w/ many nested empty dirs

iterator: skip unreadable directories in fs iterator

Do not abort iteration in the middle when encountering an unreadable
directory.  Instead, skip it, as if it didn't exist.

checkout: provide internal func to compute target path

Many code paths in checkout need the final, full on-disk path of the
file they're writing.  (No surprise).  However, they all munge the
`data->path` buffer themselves to get there.  Provide a nice helper
method for them.

Plus, drop the use `git_iterator_current_workdir_path` which does the
same thing but different.  Checkout is the only caller of this silly
function, which lets us remove it.

iterators: refactored tree iterator

Refactored the tree iterator to never recurse; simply process the
next entry in order in `advance`.  Additionally, reduce the number of
allocations and sorting as much as possible to provide a ~30% speedup
on case-sensitive iteration.  (The gains for case-insensitive iteration
are less majestic.)

repo::iterator: don't go out of bounds

git_object_dup: introduce typesafe versions

iterator: disambiguate reset and reset_range

Disambiguate the reset and reset_range functions.  Now reset_range
with a NULL path will clear the start or end; reset will leave the
existing start and end unchanged.

iterator: drop unused/unimplemented `seek`

status: update test to include valid OID

Merge pull request #3707 from sschuberth/master

CMakeLists: Show the pointer size for an unsupported architecture

CMakeLists: Show the pointer size for an unsupported architecture

Showing the pointer size gives a hint as to why we think this is an
unsupported architecture.

array: fix search for empty arrays

When the array is empty `cmp` never gets set by the comparison
function. Initialize it so we return ENOTFOUND in those cases.

Merge pull request #3704 from ethomson/tree-reuse

tree: drop the now-unnecessary entries vector

Merge pull request #3502 from libgit2/cmn/createblob-stream

Add ability to write a filtered blob through a stream

blob: remove _fromchunks()

The callback mechanism makes it awkward to write data from an IO
source; move to `_fromstream()` which lets the caller remain in control,
in the same vein as we prefer iterators over foreach callbacks.

CHANGELOG: add a note about _fromstream() and _fromstream_commit()

blob: fix fromchunks iteration counter

By returning when the count goes to zero rather than below it, setting
`howmany` to 7 in fact writes out the string 6 times.

Correct the termination condition to write out the string the amount of
times we specify.

blob: introduce creating a blob by writing into a stream

The pair of `git_blob_create_frombuffer()` and
`git_blob_create_frombuffer_commit()` is meant to replace
`git_blob_create_fromchunks()` by providing a way for a user to write a
new blob when they want filtering or they do not know the size.

This approach allows the caller to retain control over when to add data
to this buffer and a more natural fit into higher-level language's own
stream abstractions instead of having to handle IO wait in the callback.

The in-memory buffer size of 2MB is chosen somewhat arbitrarily to be a
round multiple of usual page sizes and a value where most blobs seem
likely to be either going to be way below or way over that size. It's
also a round number of pages.

This implementation re-uses the helper we have from `_fromchunks()` so
we end up writing everything to disk, but hopefully more efficiently
than with a default filebuf. A later optimisation can be to avoid
writing the in-memory contents to disk, with some extra complexity.

filebuf: allow using a custom buffer size

Allow setting the buffer size on open in order to use this data
structure more generally as a spill buffer, with larger buffer sizes for
specific use-cases.

tree: drop the now-unnecessary entries vector

Remove the now-unnecessary entries vector.  Add `git_array_search`
to binary search through an array to accomplish this.

Merge pull request #3559 from yongthecoder/master

Add a sanity check in git_indexer_commit to avoid subtraction overflow.

Merge pull request #3701 from jfultz/fix-0.24.0-changelog

Fix some errors I found in the changelog for 0.24.0

Merge pull request #3702 from libgit2/cmn/tree-reuse

Reuse a tree's buffer and allocate constant-sized entries in an array

tree: store the entries in a growable array

Take advantage of the constant size of tree-owned arrays and store them
in an array instead of a pool. This still lets us free them all at once
but lets the system allocator do the work of fitting them in.

tree: re-use the id and filename in the odb object

Instead of copying over the data into the individual entries, point to
the originals, which are already in a format we can use.

Fix some errors I found in the changelog for 0.24.0

Merge pull request #3699 from libgit2/cmn/win32-free-tls

win32: free thread-local data on thread exit

win32: free thread-local data on thread exit

Merge pull request #3660 from mstrap/mingw

MinGW builds should optionally create DLLs without "lib" prefix

Merge pull request #3564 from ethomson/merge_drivers

Custom merge drivers and proper gitattributes `merge` handling

Merge pull request #3695 from ethomson/contributing

CONTRIBUTING: document the optional tests

CONTRIBUTING: document the optional tests

merge drivers: handle configured but not found driver

merge driver: remove `check` callback

Since the `apply` callback can defer, the `check` callback is not
necessary.  Removing the `check` callback further makes the `payload`
unnecessary along with the `cleanup` callback.

merge driver: improve inline documentation

merge driver: correct global initialization

merge driver: get a pointer to favor

merge driver: correct indentation

merge driver: tests for set and unset merge attribute

Ensure that setting the merge attribute forces the built-in default
`text` driver and does *not* honor the `merge.default` configuration
option.  Further ensure that unsetting the merge attribute forces
a conflict (the `binary` driver).

merge driver: tests for custom default merge drivers

merge driver: allow custom default driver

Allow merge users to configure a custom default merge driver via
`git_merge_options`.  Similarly, honor the `merge.default` configuration
option.

merge driver: test GIT_EMERGECONFLICT

When a `check` or `apply` callback function returns `GIT_EMERGECONFLICT`
stop and product a conflict.

merge driver: test GIT_PASSTHROUGH

When a `check` or `apply` callback function returns `GIT_PASSTHROUGH`,
move on to the default merge driver.

merge driver: introduce custom merge drivers

Consumers can now register custom merged drivers with
`git_merge_driver_register`.  This allows consumers to support the
merge drivers, as configured in `.gitattributes`.  Consumers will be
asked to perform the file-level merge when a custom driver is
configured.

Fix rebase bug and include test for merge=union

Support union merges via .gitattributes file

Merge pull request #3673 from libgit2/cmn/commit-with-signature

commit: add function to attach a signature to a commit

Merge pull request #3685 from pks-t/pks/memleaks

Test memleaks

Merge pull request #3687 from mstrap/CMAKE_C_FLAGS_DEBUG

CMake: do not overwrite but only append to CMAKE_C_FLAGS_DEBUG

Merge pull request #3693 from libgit2/cmn/extract-oneline-sig

commit: fix extraction of single-line signatures

commit: fix extraction of single-line signatures

The function to extract signatures suffers from a similar bug to the
header field finding one by having an unecessary line feed check as a
break condition of its loop.

Fix that and add a test for this single-line signature situation.

Merge pull request #3690 from libgit2/cmn/pool-limit

win32: choose the page size as our value for the page size

Split the page size from the mmap alignment

While often similar, these are not the same on Windows. We want to use the page
size on Windows for the pools, but for mmap we need to use the allocation
granularity as the alignment.

On the other platforms these values remain the same.

Option "LIBGIT2_PREFIX" to set the CMAKE's TARGET_PROPERTIES PREFIX

This is especially useful in combination with MinGW to yield the
Windows-compliant DLL name "git2.dll" instead of "libgit2.dll"

CMake: do not overwrite but only append to CMAKE_C_FLAGS_DEBUG

This is useful to force "smart" IDEs (like CLIon) to use debug
flag -g even it may have decided that "-D_DEBUG" (which is
already present) is sufficient.

commit: add function to attach a signature to a commit

In combination with the function which creates a commit into a buffer,
this allows us to more easily create signed commits.

Merge pull request #3677 from pks-t/pks/coverity-fixes-round7

Coverity fixes round 7

Merge pull request #3647 from pks-t/pks/coverity-fixes-round6

Coverity fixes round 6

Merge pull request #3671 from libgit2/cmn/remove-mingw32

Remove CI support for mingw32

Merge pull request #3683 from dbussink/dbussink/better-openssl-ciphers

Setup better defaults for OpenSSL ciphers

Use general cl_git_fail because the error is generic

Start error string with lower case character

Setup better defaults for OpenSSL ciphers

This ensures that when using OpenSSL a safe default set of ciphers
is selected. This is done so that the client communicates securely
and we don't accidentally enable unsafe ciphers like RC4, or even
worse some old export ciphers.

Implements the first part of https://github.com/libgit2/libgit2/issues/3682

Remove CI support for mingw32

The tests have never run successfully and we do have successful builds
of mingw-w64, so remove these CI builds which do not add value.

Merge pull request #3636 from nerdishbynature/fix-non-modular-header-in-module

Don't include inttypes if compiling for Mac/iOS

config_cache: check return value of `git_config__lookup_entry`

Callers of `git_config__cvar` already handle the case where the
function returns an error due to a failed configuration variable
lookup, but we are actually swallowing errors when calling
`git_config__lookup_entry` inside of the function.

Fix this by returning early when `git_config__lookup_entry`
returns an error. As we call `git_config__lookup_entry` with
`no_errors == false` which leads us to call `get_entry` with
`GET_NO_MISSING` we will not return early when the lookup fails
due to a missing entry. Like this we are still able to set the
default value of the cvar and exit successfully.

filebuf: handle write error in `lock_file`

When writing to a file with locking not check if writing the
locked file actually succeeds. Fix the issue by returning error
code and message when writing fails.

config_file: handle error when trying to lock strmap

Accessing the current values map is handled through the
`refcounder_strmap_take` function, which first acquires a mutex
before accessing its values. While this assures everybody is
trying to access the values with the mutex only we do not check
if the locking actually succeeds.

Fix the issue by checking if acquiring the lock succeeds and
returning `NULL` if we encounter an error. Adjust callers.

blame: handle error when resoling HEAD in normalize_options

When normalizing options we try to look up HEAD's OID. While this
action may fail in malformed repositories we never check the
return value of the function.

Fix the issue by converting `normalize_options` to actually
return an error and handle the error in `git_blame_file`.