Add more tests for path matching with globs and path delimiters

Merge pull request #3740 from Qix-/patch-1

Add missing ')' to callbacks documentation

Add missing ')' to callbacks documentation

Super minor, but it was bugging me.

There was a missing closing paren in the docs.

Merge pull request #3738 from ethomson/test_as_root

tests: skip the unreadable file tests as root

tests: skip the unreadable file tests as root

When running as root, skip the unreadable file tests, because, well,
they're probably _not_ unreadable to root unless you've got some
crazy NSA clearance-level honoring operating system shit going on.

Merge pull request #3736 from libgit2/cmn/dwim-general-message

refs: provide a more general error message for dwim

Merge pull request #3737 from ethomson/strict-object

Strict object creation in `refs::create`

refs::create: strict object creation on by default

When we turned strict object creation validation on by default, we
forgot to inform the refs::create tests of this.  They, in fact,
believed that strict object creation was off by default.  As a result,
their cleanup function went and turned strict object creation off for
the remaining tests.

reset: use real ids for the tests

This lets us run with strict object creation on.

refs: provide a more general error message for dwim

If we cannot dwim the input, set the error message to be explicit about
that. Otherwise we leave the error for the last failed lookup, which
can be rather unexpected as it mentions a remote when the user thought
they were trying to look up a branch.

Merge pull request #3730 from andhe/fix-stream-test

tests: fix core/stream test when built with openssl off

tests: fix core/stream test when built with openssl off

When passing -DUSE_OPENSSL:BOOL=OFF to cmake the testsuite will
fail with the following error:

core::stream::register_tls [/tmp/libgit2/tests/core/stream.c:40]
  Function call failed: (error)
  error -1 - <no message>

Fix test to assume failure for tls when built without openssl.
While at it also fix GIT_WIN32 cpp to check if it's defined
or not.

Merge pull request #3728 from libgit2/cmn/no-embed

Remove Makefile.embed

Remove Makefile.embed

This has not been a supported build mode for quite some time, and it
correspondingly hasn't worked to build the library for a long time. Get
rid of it, as the only build mode we support is though CMakek.

Merge pull request #3724 from ethomson/submodule_start_supports_silly_slashes

iterator/diff: allow trailing `/` on start/end paths to match submodules

Merge pull request #3723 from libgit2/cmn/ignore-symlink

ignore: don't use realpath to canonicalize path

iterator: support trailing `/` in start for submod

Allow callers to specify a start path with a trailing slash to match
a submodule, instead of just a directory.  This is for some legacy
behavior that's sort of dumb, but there it is.

diff: test submodules are found with trailing `/`

Test that submodules are found when the are included in a pathspec
but have a trailing slash.

ignore: don't use realpath to canonicalize path

If we're looking for a symlink, realpath will give us the resolved path,
which is not what we're after, but a canonicalized version of the path
the user asked for.

Merge pull request #3720 from pks-t/pks/merge-driver-memleaks

merge_driver: fix missing `goto done;`

merge_driver: fix missing `goto done;`

The code initializing the merge driver registry accidentally
forgot a `goto done` in case of an error. Because of this the
next line, which registers the global shutdown callback for the
merge drivers, is only called when an error occured.

Fix this by adding the missing `goto done`. This fixes some
memory leaks when the global state is shut down.

Merge pull request #3719 from libgit2/ethomson/submodule_status

WD iterator: properly identify submodules

iterator: use correct search function

status: test submodules with mixed case

Merge pull request #3717 from libgit2/ethomson/leaks

Plug some leaks

leaks: call `xdl_free_classifier`

leaks: fix some leaks in the tests

leaks: fix some iterator leaks

Plug a few leaks

Merge pull request #3716 from libgit2/cmn/typedef-sizet

Add a no-op size_t typedef for the doc parser

Merge pull request #3575 from pmq20/master-13jan16

Remove duplicated calls to git_mwindow_close

Merge pull request #3715 from pks-t/pks/xprepare-memleak

xprepare memleaks

Add a no-op size_t typedef for the doc parser

Clang's documentation parser, which we use in our documentation system
does not report any comments for functions which use size_t as a type.

The root cause is buried somewhere in libclang but we can work around it
by defining the type ourselves. This typedef makes sure that libclang
sees it and that we do not change its size.

xdiff/xprepare: fix a memory leak

The xdl_prepare_env() function may initialise an xdlclassifier_t
data structure via xdl_init_classifier(), which allocates memory
to several fields, for example 'rchash', 'rcrecs' and 'ncha'.
If this function later exits due to the failure of xdl_optimize_ctxs(),
then this xdlclassifier_t structure, and the memory allocated to it,
is not cleaned up.

In order to fix the memory leak, insert a call to xdl_free_classifier()
before returning.

This patch was originally written by Ramsay Jones (see commit
87f16258367a3b9a62663b11f898a4a6f3c19d31 in git.git).

xdiff/xprepare: use the XDF_DIFF_ALG() macro to access flag bits

Commit 307ab20b3 ("xdiff: PATIENCE/HISTOGRAM are not independent option
bits", 19-02-2012) introduced the XDF_DIFF_ALG() macro to access the
flag bits used to represent the diff algorithm requested. In addition,
code which had used explicit manipulation of the flag bits was changed
to use the macros.

However, one example of direct manipulation remains. Update this code to
use the XDF_DIFF_ALG() macro.

This patch was originally written by Ramsay Jones (see commit
5cd6978a9cfef58de061a9525f3678ade479564d in git.git).

Merge pull request #3712 from ethomson/config_duplicate_section

config: don't write duplicate section

Merge pull request #3703 from libgit2/cmn/multivar-set-locked

config: don't special-case multivars that don't exist yet

config::write::repeated: init our buffer

config: don't write section header if we're in it

If we hit the EOF while trying to write a new value, it may be that
we're already in the section that we were looking for.  If so, do not
write a (duplicate) section header, just write the value.

config: show we write a spurious duplicated section header

We should notice that we are in the correct section to add. This is a
cosmetic bug, since replacing any of these settings does work.

Merge pull request #3708 from sschuberth/master

CMakeLists: Further improve the error messages regarding CMAKE_SIZEOF_VOID_P

Merge pull request #3691 from ethomson/iterators

Some FANTASTIC iterator refactoring

iterator: comment fixed

iterator: unused includes removed

iterator: new workdir-iterator test for pathlist + includings trees

iterator: new index-iterator test for pathlist + includings trees

iterator: more pathlist-related tests should test actual paths

iterator: cleanups

Remove some unused functions, refactor some ugliness.

iterator: don't run the gunk test by default on CI

(It's slow!)

iterator: refactor empty iterator to new style

iterator: mandate `advance_over`

Since the three iterators implement `advance_over` differently,
mandate it and implement each.

iterator: refactor index iterator

Introduce `git_path_common_dirlen`

iterator: move the index into the iterator itself

iterator: give the tests a proper hierarchy

Iterator tests were split over repo::iterator and diff::iterator,
with duplication between the two.  Move them to iterator::index,
iterator::tree, and iterator::workdir.

Merge pull request #3574 from chescock/buffer-sideband-pack-data

Buffer sideband packet data

CMakeLists: Further improve the error messages regarding CMAKE_SIZEOF_VOID_P

Added clar test for #3568

diff: stop processing nitem when its removed

When a directory is removed out from underneath us, stop trying to
manipulate it.

iterator: drop `advance_into_or_over`

Now that iterators do not return `GIT_ENOTFOUND` when advancing
into an empty directory, we do not need a special `advance_into_or_over`
function.

iterator: test that we can `advance_into` empty dirs

Prior iterator implementations returned `GIT_ENOTFOUND` when
trying to advance into empty directories.  Ensure that we no longer
do that and simply handle them gracefully.

Failing test.

iterator: test pathlist handling for directories

tree_iterator was only working properly for a pathlist containing
file paths. In case of directory paths, it didn't match children
which contradicts GIT_DIFF_DISABLE_PATHSPEC_MATCH and
is different from index_iterator and fs_iterator.

As a consequence head-to-index status reporting for a specific
directory did not work properly -- all files have been reported
as added.

Include additional tests.

iterator: test `advance_over` with a pathlist

iterator: add tests for advance_over

`git_iterator_advance_over` is a gnarly bit of code with no actual
tests.

iterator: test workdir pathlist with deep paths

In the workdir iterator we do some tricky things to step down into
directories to look for things that are in our pathlist.  Make sure
that we don't confuse between folders that we're definitely going to
return everything in and folders that we're only stepping down into
to keep looking for matches.

iterator: workdir tests with submodules

Ensure that when specifying start/end paths, or pathlists, that we
deal correctly with submodules.

iterator: expand workdir tests with pathlist

Expand the workdir tests to validate the paths in case sensitive
and insensitive tests.

iterator: test that we're at the end of iteration

Ensure that we have hit the end of iteration; previously we tested
that we saw all the values that we expected to see.  We did not
then ensure that we were at the end of the iteration (and that there
were subsequently values in the iteration that we did *not* expect.)

iterator: combine fs+workdir iterators more completely

Drop some of the layers of indirection between the workdir and the
filesystem iterators.  This makes the code a little bit easier to
follow, and reduces the number of unnecessary allocations a bit as
well.  (Prior to this, when we filter entries, we would allocate them,
filter them and then free them; now we do the filtering before
allocation.)

Also, rename `git_iterator_advance_over_with_status` to just
`git_iterator_advance_over`.  Mostly because it's a fucking long-ass
function name otherwise.

iterator: test fs iterator w/ many nested empty dirs

iterator: skip unreadable directories in fs iterator

Do not abort iteration in the middle when encountering an unreadable
directory.  Instead, skip it, as if it didn't exist.

checkout: provide internal func to compute target path

Many code paths in checkout need the final, full on-disk path of the
file they're writing.  (No surprise).  However, they all munge the
`data->path` buffer themselves to get there.  Provide a nice helper
method for them.

Plus, drop the use `git_iterator_current_workdir_path` which does the
same thing but different.  Checkout is the only caller of this silly
function, which lets us remove it.

iterators: refactored tree iterator

Refactored the tree iterator to never recurse; simply process the
next entry in order in `advance`.  Additionally, reduce the number of
allocations and sorting as much as possible to provide a ~30% speedup
on case-sensitive iteration.  (The gains for case-insensitive iteration
are less majestic.)

repo::iterator: don't go out of bounds

git_object_dup: introduce typesafe versions

iterator: disambiguate reset and reset_range

Disambiguate the reset and reset_range functions.  Now reset_range
with a NULL path will clear the start or end; reset will leave the
existing start and end unchanged.

iterator: drop unused/unimplemented `seek`

status: update test to include valid OID

Merge pull request #3707 from sschuberth/master

CMakeLists: Show the pointer size for an unsupported architecture

CMakeLists: Show the pointer size for an unsupported architecture

Showing the pointer size gives a hint as to why we think this is an
unsupported architecture.

array: fix search for empty arrays

When the array is empty `cmp` never gets set by the comparison
function. Initialize it so we return ENOTFOUND in those cases.

Merge pull request #3704 from ethomson/tree-reuse

tree: drop the now-unnecessary entries vector

Merge pull request #3502 from libgit2/cmn/createblob-stream

Add ability to write a filtered blob through a stream

blob: remove _fromchunks()

The callback mechanism makes it awkward to write data from an IO
source; move to `_fromstream()` which lets the caller remain in control,
in the same vein as we prefer iterators over foreach callbacks.

CHANGELOG: add a note about _fromstream() and _fromstream_commit()

blob: fix fromchunks iteration counter

By returning when the count goes to zero rather than below it, setting
`howmany` to 7 in fact writes out the string 6 times.

Correct the termination condition to write out the string the amount of
times we specify.

blob: introduce creating a blob by writing into a stream

The pair of `git_blob_create_frombuffer()` and
`git_blob_create_frombuffer_commit()` is meant to replace
`git_blob_create_fromchunks()` by providing a way for a user to write a
new blob when they want filtering or they do not know the size.

This approach allows the caller to retain control over when to add data
to this buffer and a more natural fit into higher-level language's own
stream abstractions instead of having to handle IO wait in the callback.

The in-memory buffer size of 2MB is chosen somewhat arbitrarily to be a
round multiple of usual page sizes and a value where most blobs seem
likely to be either going to be way below or way over that size. It's
also a round number of pages.

This implementation re-uses the helper we have from `_fromchunks()` so
we end up writing everything to disk, but hopefully more efficiently
than with a default filebuf. A later optimisation can be to avoid
writing the in-memory contents to disk, with some extra complexity.

filebuf: allow using a custom buffer size

Allow setting the buffer size on open in order to use this data
structure more generally as a spill buffer, with larger buffer sizes for
specific use-cases.

tree: drop the now-unnecessary entries vector

Remove the now-unnecessary entries vector.  Add `git_array_search`
to binary search through an array to accomplish this.

Merge pull request #3559 from yongthecoder/master

Add a sanity check in git_indexer_commit to avoid subtraction overflow.

Merge pull request #3701 from jfultz/fix-0.24.0-changelog

Fix some errors I found in the changelog for 0.24.0

Merge pull request #3702 from libgit2/cmn/tree-reuse

Reuse a tree's buffer and allocate constant-sized entries in an array

config: don't special-case multivars that don't exist yet

This special-casing ignores that we might have a locked file, so the
hashtable does not represent the contents of the file we want to
write. This causes multivar writes to overwrite entries instead of add
to them when under lock.

There is no need for this as the normal code-path will write to the file
just fine, so simply get rid of it.

tree: store the entries in a growable array

Take advantage of the constant size of tree-owned arrays and store them
in an array instead of a pool. This still lets us free them all at once
but lets the system allocator do the work of fitting them in.

tree: re-use the id and filename in the odb object

Instead of copying over the data into the individual entries, point to
the originals, which are already in a format we can use.

Fix some errors I found in the changelog for 0.24.0

Merge pull request #3699 from libgit2/cmn/win32-free-tls

win32: free thread-local data on thread exit

win32: free thread-local data on thread exit

Merge pull request #3660 from mstrap/mingw

MinGW builds should optionally create DLLs without "lib" prefix