status: test submodules with mixed case

Merge pull request #3716 from libgit2/cmn/typedef-sizet

Add a no-op size_t typedef for the doc parser

Merge pull request #3575 from pmq20/master-13jan16

Remove duplicated calls to git_mwindow_close

Merge pull request #3715 from pks-t/pks/xprepare-memleak

xprepare memleaks

Add a no-op size_t typedef for the doc parser

Clang's documentation parser, which we use in our documentation system
does not report any comments for functions which use size_t as a type.

The root cause is buried somewhere in libclang but we can work around it
by defining the type ourselves. This typedef makes sure that libclang
sees it and that we do not change its size.

xdiff/xprepare: fix a memory leak

The xdl_prepare_env() function may initialise an xdlclassifier_t
data structure via xdl_init_classifier(), which allocates memory
to several fields, for example 'rchash', 'rcrecs' and 'ncha'.
If this function later exits due to the failure of xdl_optimize_ctxs(),
then this xdlclassifier_t structure, and the memory allocated to it,
is not cleaned up.

In order to fix the memory leak, insert a call to xdl_free_classifier()
before returning.

This patch was originally written by Ramsay Jones (see commit
87f16258367a3b9a62663b11f898a4a6f3c19d31 in git.git).

xdiff/xprepare: use the XDF_DIFF_ALG() macro to access flag bits

Commit 307ab20b3 ("xdiff: PATIENCE/HISTOGRAM are not independent option
bits", 19-02-2012) introduced the XDF_DIFF_ALG() macro to access the
flag bits used to represent the diff algorithm requested. In addition,
code which had used explicit manipulation of the flag bits was changed
to use the macros.

However, one example of direct manipulation remains. Update this code to
use the XDF_DIFF_ALG() macro.

This patch was originally written by Ramsay Jones (see commit
5cd6978a9cfef58de061a9525f3678ade479564d in git.git).

Merge pull request #3712 from ethomson/config_duplicate_section

config: don't write duplicate section

Merge pull request #3703 from libgit2/cmn/multivar-set-locked

config: don't special-case multivars that don't exist yet

config::write::repeated: init our buffer

config: don't write section header if we're in it

If we hit the EOF while trying to write a new value, it may be that
we're already in the section that we were looking for.  If so, do not
write a (duplicate) section header, just write the value.

config: show we write a spurious duplicated section header

We should notice that we are in the correct section to add. This is a
cosmetic bug, since replacing any of these settings does work.

Merge pull request #3708 from sschuberth/master

CMakeLists: Further improve the error messages regarding CMAKE_SIZEOF_VOID_P

Merge pull request #3691 from ethomson/iterators

Some FANTASTIC iterator refactoring

iterator: comment fixed

iterator: unused includes removed

iterator: new workdir-iterator test for pathlist + includings trees

iterator: new index-iterator test for pathlist + includings trees

iterator: more pathlist-related tests should test actual paths

iterator: cleanups

Remove some unused functions, refactor some ugliness.

iterator: don't run the gunk test by default on CI

(It's slow!)

iterator: refactor empty iterator to new style

iterator: mandate `advance_over`

Since the three iterators implement `advance_over` differently,
mandate it and implement each.

iterator: refactor index iterator

Introduce `git_path_common_dirlen`

iterator: move the index into the iterator itself

iterator: give the tests a proper hierarchy

Iterator tests were split over repo::iterator and diff::iterator,
with duplication between the two.  Move them to iterator::index,
iterator::tree, and iterator::workdir.

Merge pull request #3574 from chescock/buffer-sideband-pack-data

Buffer sideband packet data

CMakeLists: Further improve the error messages regarding CMAKE_SIZEOF_VOID_P

Added clar test for #3568

diff: stop processing nitem when its removed

When a directory is removed out from underneath us, stop trying to
manipulate it.

iterator: drop `advance_into_or_over`

Now that iterators do not return `GIT_ENOTFOUND` when advancing
into an empty directory, we do not need a special `advance_into_or_over`
function.

iterator: test that we can `advance_into` empty dirs

Prior iterator implementations returned `GIT_ENOTFOUND` when
trying to advance into empty directories.  Ensure that we no longer
do that and simply handle them gracefully.

Failing test.

iterator: test pathlist handling for directories

tree_iterator was only working properly for a pathlist containing
file paths. In case of directory paths, it didn't match children
which contradicts GIT_DIFF_DISABLE_PATHSPEC_MATCH and
is different from index_iterator and fs_iterator.

As a consequence head-to-index status reporting for a specific
directory did not work properly -- all files have been reported
as added.

Include additional tests.

iterator: test `advance_over` with a pathlist

iterator: add tests for advance_over

`git_iterator_advance_over` is a gnarly bit of code with no actual
tests.

iterator: test workdir pathlist with deep paths

In the workdir iterator we do some tricky things to step down into
directories to look for things that are in our pathlist.  Make sure
that we don't confuse between folders that we're definitely going to
return everything in and folders that we're only stepping down into
to keep looking for matches.

iterator: workdir tests with submodules

Ensure that when specifying start/end paths, or pathlists, that we
deal correctly with submodules.

iterator: expand workdir tests with pathlist

Expand the workdir tests to validate the paths in case sensitive
and insensitive tests.

iterator: test that we're at the end of iteration

Ensure that we have hit the end of iteration; previously we tested
that we saw all the values that we expected to see.  We did not
then ensure that we were at the end of the iteration (and that there
were subsequently values in the iteration that we did *not* expect.)

iterator: combine fs+workdir iterators more completely

Drop some of the layers of indirection between the workdir and the
filesystem iterators.  This makes the code a little bit easier to
follow, and reduces the number of unnecessary allocations a bit as
well.  (Prior to this, when we filter entries, we would allocate them,
filter them and then free them; now we do the filtering before
allocation.)

Also, rename `git_iterator_advance_over_with_status` to just
`git_iterator_advance_over`.  Mostly because it's a fucking long-ass
function name otherwise.

iterator: test fs iterator w/ many nested empty dirs

iterator: skip unreadable directories in fs iterator

Do not abort iteration in the middle when encountering an unreadable
directory.  Instead, skip it, as if it didn't exist.

checkout: provide internal func to compute target path

Many code paths in checkout need the final, full on-disk path of the
file they're writing.  (No surprise).  However, they all munge the
`data->path` buffer themselves to get there.  Provide a nice helper
method for them.

Plus, drop the use `git_iterator_current_workdir_path` which does the
same thing but different.  Checkout is the only caller of this silly
function, which lets us remove it.

iterators: refactored tree iterator

Refactored the tree iterator to never recurse; simply process the
next entry in order in `advance`.  Additionally, reduce the number of
allocations and sorting as much as possible to provide a ~30% speedup
on case-sensitive iteration.  (The gains for case-insensitive iteration
are less majestic.)

repo::iterator: don't go out of bounds

git_object_dup: introduce typesafe versions

iterator: disambiguate reset and reset_range

Disambiguate the reset and reset_range functions.  Now reset_range
with a NULL path will clear the start or end; reset will leave the
existing start and end unchanged.

iterator: drop unused/unimplemented `seek`

status: update test to include valid OID

Merge pull request #3707 from sschuberth/master

CMakeLists: Show the pointer size for an unsupported architecture

CMakeLists: Show the pointer size for an unsupported architecture

Showing the pointer size gives a hint as to why we think this is an
unsupported architecture.

array: fix search for empty arrays

When the array is empty `cmp` never gets set by the comparison
function. Initialize it so we return ENOTFOUND in those cases.

Merge pull request #3704 from ethomson/tree-reuse

tree: drop the now-unnecessary entries vector

Merge pull request #3502 from libgit2/cmn/createblob-stream

Add ability to write a filtered blob through a stream

blob: remove _fromchunks()

The callback mechanism makes it awkward to write data from an IO
source; move to `_fromstream()` which lets the caller remain in control,
in the same vein as we prefer iterators over foreach callbacks.

CHANGELOG: add a note about _fromstream() and _fromstream_commit()

blob: fix fromchunks iteration counter

By returning when the count goes to zero rather than below it, setting
`howmany` to 7 in fact writes out the string 6 times.

Correct the termination condition to write out the string the amount of
times we specify.

blob: introduce creating a blob by writing into a stream

The pair of `git_blob_create_frombuffer()` and
`git_blob_create_frombuffer_commit()` is meant to replace
`git_blob_create_fromchunks()` by providing a way for a user to write a
new blob when they want filtering or they do not know the size.

This approach allows the caller to retain control over when to add data
to this buffer and a more natural fit into higher-level language's own
stream abstractions instead of having to handle IO wait in the callback.

The in-memory buffer size of 2MB is chosen somewhat arbitrarily to be a
round multiple of usual page sizes and a value where most blobs seem
likely to be either going to be way below or way over that size. It's
also a round number of pages.

This implementation re-uses the helper we have from `_fromchunks()` so
we end up writing everything to disk, but hopefully more efficiently
than with a default filebuf. A later optimisation can be to avoid
writing the in-memory contents to disk, with some extra complexity.

filebuf: allow using a custom buffer size

Allow setting the buffer size on open in order to use this data
structure more generally as a spill buffer, with larger buffer sizes for
specific use-cases.

tree: drop the now-unnecessary entries vector

Remove the now-unnecessary entries vector.  Add `git_array_search`
to binary search through an array to accomplish this.

Merge pull request #3559 from yongthecoder/master

Add a sanity check in git_indexer_commit to avoid subtraction overflow.

Merge pull request #3701 from jfultz/fix-0.24.0-changelog

Fix some errors I found in the changelog for 0.24.0

Merge pull request #3702 from libgit2/cmn/tree-reuse

Reuse a tree's buffer and allocate constant-sized entries in an array

config: don't special-case multivars that don't exist yet

This special-casing ignores that we might have a locked file, so the
hashtable does not represent the contents of the file we want to
write. This causes multivar writes to overwrite entries instead of add
to them when under lock.

There is no need for this as the normal code-path will write to the file
just fine, so simply get rid of it.

tree: store the entries in a growable array

Take advantage of the constant size of tree-owned arrays and store them
in an array instead of a pool. This still lets us free them all at once
but lets the system allocator do the work of fitting them in.

tree: re-use the id and filename in the odb object

Instead of copying over the data into the individual entries, point to
the originals, which are already in a format we can use.

Fix some errors I found in the changelog for 0.24.0

Merge pull request #3699 from libgit2/cmn/win32-free-tls

win32: free thread-local data on thread exit

win32: free thread-local data on thread exit

Merge pull request #3660 from mstrap/mingw

MinGW builds should optionally create DLLs without "lib" prefix

Merge pull request #3564 from ethomson/merge_drivers

Custom merge drivers and proper gitattributes `merge` handling

Merge pull request #3695 from ethomson/contributing

CONTRIBUTING: document the optional tests

CONTRIBUTING: document the optional tests

merge drivers: handle configured but not found driver

merge driver: remove `check` callback

Since the `apply` callback can defer, the `check` callback is not
necessary.  Removing the `check` callback further makes the `payload`
unnecessary along with the `cleanup` callback.

merge driver: improve inline documentation

merge driver: correct global initialization

merge driver: get a pointer to favor

merge driver: correct indentation

merge driver: tests for set and unset merge attribute

Ensure that setting the merge attribute forces the built-in default
`text` driver and does *not* honor the `merge.default` configuration
option.  Further ensure that unsetting the merge attribute forces
a conflict (the `binary` driver).

merge driver: tests for custom default merge drivers

merge driver: allow custom default driver

Allow merge users to configure a custom default merge driver via
`git_merge_options`.  Similarly, honor the `merge.default` configuration
option.

merge driver: test GIT_EMERGECONFLICT

When a `check` or `apply` callback function returns `GIT_EMERGECONFLICT`
stop and product a conflict.

merge driver: test GIT_PASSTHROUGH

When a `check` or `apply` callback function returns `GIT_PASSTHROUGH`,
move on to the default merge driver.

merge driver: introduce custom merge drivers

Consumers can now register custom merged drivers with
`git_merge_driver_register`.  This allows consumers to support the
merge drivers, as configured in `.gitattributes`.  Consumers will be
asked to perform the file-level merge when a custom driver is
configured.

Fix rebase bug and include test for merge=union

Support union merges via .gitattributes file

Merge pull request #3673 from libgit2/cmn/commit-with-signature

commit: add function to attach a signature to a commit

Merge pull request #3685 from pks-t/pks/memleaks

Test memleaks

Merge pull request #3687 from mstrap/CMAKE_C_FLAGS_DEBUG

CMake: do not overwrite but only append to CMAKE_C_FLAGS_DEBUG

Merge pull request #3693 from libgit2/cmn/extract-oneline-sig

commit: fix extraction of single-line signatures

commit: fix extraction of single-line signatures

The function to extract signatures suffers from a similar bug to the
header field finding one by having an unecessary line feed check as a
break condition of its loop.

Fix that and add a test for this single-line signature situation.

Merge pull request #3690 from libgit2/cmn/pool-limit

win32: choose the page size as our value for the page size

Split the page size from the mmap alignment

While often similar, these are not the same on Windows. We want to use the page
size on Windows for the pools, but for mmap we need to use the allocation
granularity as the alignment.

On the other platforms these values remain the same.

Option "LIBGIT2_PREFIX" to set the CMAKE's TARGET_PROPERTIES PREFIX

This is especially useful in combination with MinGW to yield the
Windows-compliant DLL name "git2.dll" instead of "libgit2.dll"

CMake: do not overwrite but only append to CMAKE_C_FLAGS_DEBUG

This is useful to force "smart" IDEs (like CLIon) to use debug
flag -g even it may have decided that "-D_DEBUG" (which is
already present) is sufficient.

commit: add function to attach a signature to a commit

In combination with the function which creates a commit into a buffer,
this allows us to more easily create signed commits.

Merge pull request #3677 from pks-t/pks/coverity-fixes-round7

Coverity fixes round 7