iterator: ignore submodule in has_ended

Merge pull request #3110 from libgit2/cmn/proxy-config

Proxy configuration

CI: download the proxy jar also on mingw

We were downloading the jar from within an block which only runs for
MSVC. Move the download to the start of the test so it gets downloaded
for both.

Merge pull request #3745 from libgit2/cmn/ignore-starstar

Improve star-star matching

ignore: move star-star matching closer to it use

Instead of threading the state down to the larger loop, let's have the
loop where we detect the double star so each of them are easier to read.

ignore: fix directory limits when searching for star-star

In order to match the star-star, we disable the flag that's looking for
a single path element, but that leads to searching for the pattern in
the middle of elements in the input string.

Mark when we're handing a star-star so we jump over the elements in our
attempt to match the part of the pattern that comes after the star-star.

While here, tighten up the check so we don't allow invalid rules
through.

CI: run proxy tests with ctest

Running clar directly on appveyor makes it think the command returned
failure, so it stops the tests. Running it via ctest lets it go through.

proxy: don't specify the protocol in the type

We leave this up to the scheme in the url field. The type should only
tell us about whether we want a proxy and whether we want to auto-detect
it.

CI: start the proxy before the build so it's ready

It takes a bit for the propxy to get ready to accept connections, so
start it before the build so we can be reasonably sure that it's going
to be ready in time.

winhttp: correctly detect HTTPS usage

curl: ask for proxy credentials

proxy: add a payload field for the proxy options

I don't quite recall what we do in the other places where we use this,
but we should pass this payload to the callbacks.

net: use proxy options struct in the stream config

proxy: don't require the trailing slash on WinHTTP

The path is not something that you use for proxies, so make use of the
new optionality of the path when extracting URL parts.

proxy: test proxy support on Travis

netops: make the path optional in URLs

When we're dealing with proxy addresses, we only want a hostname and
port, and the user would not provide a path, so make it optional so we
can use this same function to parse git as well as proxy URLs.

proxy: use poxy to test our Windows proxy support

proxy: ask the user for credentials if necessary

proxy: introduce a proxy options struct

It is currently unused; it will go into the remote's options.

Add more tests for path matching with globs and path delimiters

Merge pull request #3740 from Qix-/patch-1

Add missing ')' to callbacks documentation

Add missing ')' to callbacks documentation

Super minor, but it was bugging me.

There was a missing closing paren in the docs.

Merge pull request #3738 from ethomson/test_as_root

tests: skip the unreadable file tests as root

tests: skip the unreadable file tests as root

When running as root, skip the unreadable file tests, because, well,
they're probably _not_ unreadable to root unless you've got some
crazy NSA clearance-level honoring operating system shit going on.

Merge pull request #3736 from libgit2/cmn/dwim-general-message

refs: provide a more general error message for dwim

Merge pull request #3737 from ethomson/strict-object

Strict object creation in `refs::create`

refs::create: strict object creation on by default

When we turned strict object creation validation on by default, we
forgot to inform the refs::create tests of this.  They, in fact,
believed that strict object creation was off by default.  As a result,
their cleanup function went and turned strict object creation off for
the remaining tests.

reset: use real ids for the tests

This lets us run with strict object creation on.

refs: provide a more general error message for dwim

If we cannot dwim the input, set the error message to be explicit about
that. Otherwise we leave the error for the last failed lookup, which
can be rather unexpected as it mentions a remote when the user thought
they were trying to look up a branch.

Merge pull request #3730 from andhe/fix-stream-test

tests: fix core/stream test when built with openssl off

tests: fix core/stream test when built with openssl off

When passing -DUSE_OPENSSL:BOOL=OFF to cmake the testsuite will
fail with the following error:

core::stream::register_tls [/tmp/libgit2/tests/core/stream.c:40]
  Function call failed: (error)
  error -1 - <no message>

Fix test to assume failure for tls when built without openssl.
While at it also fix GIT_WIN32 cpp to check if it's defined
or not.

Merge pull request #3728 from libgit2/cmn/no-embed

Remove Makefile.embed

Remove Makefile.embed

This has not been a supported build mode for quite some time, and it
correspondingly hasn't worked to build the library for a long time. Get
rid of it, as the only build mode we support is though CMakek.

Merge pull request #3724 from ethomson/submodule_start_supports_silly_slashes

iterator/diff: allow trailing `/` on start/end paths to match submodules

Merge pull request #3723 from libgit2/cmn/ignore-symlink

ignore: don't use realpath to canonicalize path

iterator: support trailing `/` in start for submod

Allow callers to specify a start path with a trailing slash to match
a submodule, instead of just a directory.  This is for some legacy
behavior that's sort of dumb, but there it is.

diff: test submodules are found with trailing `/`

Test that submodules are found when the are included in a pathspec
but have a trailing slash.

ignore: don't use realpath to canonicalize path

If we're looking for a symlink, realpath will give us the resolved path,
which is not what we're after, but a canonicalized version of the path
the user asked for.

Merge pull request #3720 from pks-t/pks/merge-driver-memleaks

merge_driver: fix missing `goto done;`

merge_driver: fix missing `goto done;`

The code initializing the merge driver registry accidentally
forgot a `goto done` in case of an error. Because of this the
next line, which registers the global shutdown callback for the
merge drivers, is only called when an error occured.

Fix this by adding the missing `goto done`. This fixes some
memory leaks when the global state is shut down.

Merge pull request #3719 from libgit2/ethomson/submodule_status

WD iterator: properly identify submodules

iterator: use correct search function

status: test submodules with mixed case

Merge pull request #3717 from libgit2/ethomson/leaks

Plug some leaks

leaks: call `xdl_free_classifier`

leaks: fix some leaks in the tests

leaks: fix some iterator leaks

Plug a few leaks

Merge pull request #3716 from libgit2/cmn/typedef-sizet

Add a no-op size_t typedef for the doc parser

Merge pull request #3575 from pmq20/master-13jan16

Remove duplicated calls to git_mwindow_close

Merge pull request #3715 from pks-t/pks/xprepare-memleak

xprepare memleaks

Add a no-op size_t typedef for the doc parser

Clang's documentation parser, which we use in our documentation system
does not report any comments for functions which use size_t as a type.

The root cause is buried somewhere in libclang but we can work around it
by defining the type ourselves. This typedef makes sure that libclang
sees it and that we do not change its size.

xdiff/xprepare: fix a memory leak

The xdl_prepare_env() function may initialise an xdlclassifier_t
data structure via xdl_init_classifier(), which allocates memory
to several fields, for example 'rchash', 'rcrecs' and 'ncha'.
If this function later exits due to the failure of xdl_optimize_ctxs(),
then this xdlclassifier_t structure, and the memory allocated to it,
is not cleaned up.

In order to fix the memory leak, insert a call to xdl_free_classifier()
before returning.

This patch was originally written by Ramsay Jones (see commit
87f16258367a3b9a62663b11f898a4a6f3c19d31 in git.git).

xdiff/xprepare: use the XDF_DIFF_ALG() macro to access flag bits

Commit 307ab20b3 ("xdiff: PATIENCE/HISTOGRAM are not independent option
bits", 19-02-2012) introduced the XDF_DIFF_ALG() macro to access the
flag bits used to represent the diff algorithm requested. In addition,
code which had used explicit manipulation of the flag bits was changed
to use the macros.

However, one example of direct manipulation remains. Update this code to
use the XDF_DIFF_ALG() macro.

This patch was originally written by Ramsay Jones (see commit
5cd6978a9cfef58de061a9525f3678ade479564d in git.git).

Merge pull request #3712 from ethomson/config_duplicate_section

config: don't write duplicate section

Merge pull request #3703 from libgit2/cmn/multivar-set-locked

config: don't special-case multivars that don't exist yet

config::write::repeated: init our buffer

config: don't write section header if we're in it

If we hit the EOF while trying to write a new value, it may be that
we're already in the section that we were looking for.  If so, do not
write a (duplicate) section header, just write the value.

config: show we write a spurious duplicated section header

We should notice that we are in the correct section to add. This is a
cosmetic bug, since replacing any of these settings does work.

Merge pull request #3708 from sschuberth/master

CMakeLists: Further improve the error messages regarding CMAKE_SIZEOF_VOID_P

Merge pull request #3691 from ethomson/iterators

Some FANTASTIC iterator refactoring

iterator: comment fixed

iterator: unused includes removed

iterator: new workdir-iterator test for pathlist + includings trees

iterator: new index-iterator test for pathlist + includings trees

iterator: more pathlist-related tests should test actual paths

iterator: cleanups

Remove some unused functions, refactor some ugliness.

iterator: don't run the gunk test by default on CI

(It's slow!)

iterator: refactor empty iterator to new style

iterator: mandate `advance_over`

Since the three iterators implement `advance_over` differently,
mandate it and implement each.

iterator: refactor index iterator

Introduce `git_path_common_dirlen`

iterator: move the index into the iterator itself

iterator: give the tests a proper hierarchy

Iterator tests were split over repo::iterator and diff::iterator,
with duplication between the two.  Move them to iterator::index,
iterator::tree, and iterator::workdir.

Merge pull request #3574 from chescock/buffer-sideband-pack-data

Buffer sideband packet data

CMakeLists: Further improve the error messages regarding CMAKE_SIZEOF_VOID_P

Added clar test for #3568

diff: stop processing nitem when its removed

When a directory is removed out from underneath us, stop trying to
manipulate it.

iterator: drop `advance_into_or_over`

Now that iterators do not return `GIT_ENOTFOUND` when advancing
into an empty directory, we do not need a special `advance_into_or_over`
function.

iterator: test that we can `advance_into` empty dirs

Prior iterator implementations returned `GIT_ENOTFOUND` when
trying to advance into empty directories.  Ensure that we no longer
do that and simply handle them gracefully.

Failing test.

iterator: test pathlist handling for directories

tree_iterator was only working properly for a pathlist containing
file paths. In case of directory paths, it didn't match children
which contradicts GIT_DIFF_DISABLE_PATHSPEC_MATCH and
is different from index_iterator and fs_iterator.

As a consequence head-to-index status reporting for a specific
directory did not work properly -- all files have been reported
as added.

Include additional tests.

iterator: test `advance_over` with a pathlist

iterator: add tests for advance_over

`git_iterator_advance_over` is a gnarly bit of code with no actual
tests.

iterator: test workdir pathlist with deep paths

In the workdir iterator we do some tricky things to step down into
directories to look for things that are in our pathlist.  Make sure
that we don't confuse between folders that we're definitely going to
return everything in and folders that we're only stepping down into
to keep looking for matches.

iterator: workdir tests with submodules

Ensure that when specifying start/end paths, or pathlists, that we
deal correctly with submodules.

iterator: expand workdir tests with pathlist

Expand the workdir tests to validate the paths in case sensitive
and insensitive tests.

iterator: test that we're at the end of iteration

Ensure that we have hit the end of iteration; previously we tested
that we saw all the values that we expected to see.  We did not
then ensure that we were at the end of the iteration (and that there
were subsequently values in the iteration that we did *not* expect.)

iterator: combine fs+workdir iterators more completely

Drop some of the layers of indirection between the workdir and the
filesystem iterators.  This makes the code a little bit easier to
follow, and reduces the number of unnecessary allocations a bit as
well.  (Prior to this, when we filter entries, we would allocate them,
filter them and then free them; now we do the filtering before
allocation.)

Also, rename `git_iterator_advance_over_with_status` to just
`git_iterator_advance_over`.  Mostly because it's a fucking long-ass
function name otherwise.

iterator: test fs iterator w/ many nested empty dirs

iterator: skip unreadable directories in fs iterator

Do not abort iteration in the middle when encountering an unreadable
directory.  Instead, skip it, as if it didn't exist.

checkout: provide internal func to compute target path

Many code paths in checkout need the final, full on-disk path of the
file they're writing.  (No surprise).  However, they all munge the
`data->path` buffer themselves to get there.  Provide a nice helper
method for them.

Plus, drop the use `git_iterator_current_workdir_path` which does the
same thing but different.  Checkout is the only caller of this silly
function, which lets us remove it.

iterators: refactored tree iterator

Refactored the tree iterator to never recurse; simply process the
next entry in order in `advance`.  Additionally, reduce the number of
allocations and sorting as much as possible to provide a ~30% speedup
on case-sensitive iteration.  (The gains for case-insensitive iteration
are less majestic.)

repo::iterator: don't go out of bounds

git_object_dup: introduce typesafe versions

iterator: disambiguate reset and reset_range

Disambiguate the reset and reset_range functions.  Now reset_range
with a NULL path will clear the start or end; reset will leave the
existing start and end unchanged.

iterator: drop unused/unimplemented `seek`

status: update test to include valid OID

Merge pull request #3707 from sschuberth/master

CMakeLists: Show the pointer size for an unsupported architecture

CMakeLists: Show the pointer size for an unsupported architecture

Showing the pointer size gives a hint as to why we think this is an
unsupported architecture.