`mkdir`: cope with root path on win32

win32: return EACCES in `p_lstat`

Don't coalesce all errors into ENOENT.  At least identify EACCES.
All callers should be handling this case already, as the POSIX
`lstat` will return this.

mkdir: chmod existing paths with `GIT_MKDIR_CHMOD`

mkdir: find component paths for mkdir_relative

`git_futils_mkdir` does not blindly call `git_futils_mkdir_relative`.

`git_futils_mkdir_relative` is used when you have some base directory
and want to create some path inside of it, potentially removing blocking
symlinks and files in the process.  This is not suitable for a general
recursive mkdir within the filesystem.

Instead, when `mkdir` is being recursive, locate the first existent
parent directory and use that as the base for `mkdir_relative`.

core::mkdir tests: ensure we don't stomp symlinks in mkdir

In `mkdir` and `mkdir_r`, ensure that we don't try to remove symlinks
that are in our way.

core::mkdir tests: include absolute mkdirs

git_futils_mkdir_*: make a relative-to-base mkdir

Untangle git_futils_mkdir from git_futils_mkdir_ext - the latter
assumes that we own everything beneath the base, as if it were
being called with a base of the repository or working directory,
and is tailored towards checkout and ensuring that there is no
bogosity beneath the base that must be cleaned up.

This is (at best) slow and (at worst) unsafe in the larger context
of a filesystem where we do not own things and cannot do things like
unlink symlinks that are in our way.

Merge pull request #3429 from ethomson/checkout_chmod

Checkout: handle mode changes

checkout: overwrite files with differing modes

When a file exists on disk and we're checking out a file that differs
in executableness, remove the old file.  This allows us to recreate the
new file with p_open, which will take the new mode into account and
handle setting the umask properly.

Remove any notion of chmod'ing existing files, since it is now handled
by the aforementioned removal and was incorrect, as it did not take
umask into account.

checkout::tree tests: don't use hardcoded mode

checkout::tree tests: don't use static buffer

Check that checkout preserves filemode in working directory.

Check that an executable in index is not an executable after checkout.

Merge pull request #3428 from ethomson/clone_test_buffer

Clone test buffer

cl_git_path_url: assert sane static buffer size

clone::nonetwork: don't use fixed size buffer

Merge pull request #3425 from ethomson/diriter_root

Handle `git_path_diriter` instances at the drive root on Windows

Merge pull request #3426 from ethomson/fs_iterator

iterator: loop fs_iterator advance (don't recurse)

diriter: don't double '/' on posix

The canonical directory path of the root directory of a volume on
POSIX already ends in a slash (eg, `/`).  This is true only at the
root.  Do not add a slash to paths in this case.

iterator: loop fs_iterator advance (don't recurse)

diriter: don't double '/' on Windows

The canonical directory path of the root directory of a volume on
windows already ends in a slash (eg, `c:/`).  This is true only
at the volume root.  Do not add a slash to paths in this case.

diriter: test we can iterate root

Ensure that we can iterate the filesystem root and that paths come
back well-formed, not with an additional '/'.  (eg, when iterating
`c:/`, expect that we do not get some path like `c://autoexec.bat`).

Merge pull request #3423 from libgit2/cmn/push-tests-inline-oid

push: put the git_oid inline in the test structure

Merge pull request #3420 from ethomson/iterator

iterator: advance the tree iterator smartly

Merge pull request #3424 from arthurschreiber/arthur/transaction-dont-free-config

Don't free config in `git_transaction_commit`.

Don't free config in `git_transaction_commit`.

The config is not owned by the transaction, so please don’t free it.

Merge branch 'cmn/ignore-dir-check'

ignore: add test and adjust style and comment for dir with wildmatch

The previous commit left the comment referencing the earlier state of
the code, change it to explain the current logic. While here, change the
logic to avoid repeating the copy of the base pattern.

Merge pull request #3370 from libgit2/cmn/submodule-refactor

submodule: refactor to be more explicit in the search

push: put the git_oid inline in the test structure

These are small pieces of data, so there is no advantage to allocating
them separately. Include the two ids inline in the struct we use to
check that the expected and actual ids match.

Merge pull request #3422 from ethomson/workdir_diff

diff: examine pathlist on non-files

diff: check pathspec on non-files

When we're not doing pathspec matching, we let the iterator handle
file matching for us.  However, we can only trust the iterator to
return *files* that match the pattern, because the iterator must
return directories that are not strictly in the pathlist, but that
are the parents of files that match the pattern, so that diff can
later recurse into them.

Thus, diff must examine non-files explicitly before including them
in the delta list.

diff::workdir: ensure ignored files are not returned

Ensure that a diff with the workdir is not erroneously returning
directories.

Merge pull request #3421 from ethomson/mempack-fix

Mempack fix

mempack: expose clear function

Removing memory leak in mempack's free

It calls git_mempack_reset which reallocates the object array. git_oidmap_free is now called on it explicitly.

iterator: advance the tree iterator smartly

While advancing the tree iterator, if we advance over things that
we aren't interested in, then call `current`.  Which may *itself*
call advance.

While advancing the tree iterator, if we advance over things that
we aren't interested in, then call `current`.  Which may *itself*
call advance.

While advancing the tree iterator, if we advance over things that
we aren't interested in, then call `current`.  Which may *itself*
call advance.

While advancing the tree iterator, if we advance over things that
we aren't interested in, then call `current`.  Which may *itself*
call advance.

While advancing the tree iterator, if we advance over things that
we aren't interested in, then call `current`.  Which may *itself*
call advance.

Error: stack overflow.

Fixing dangling pointers in git_mempack_reset

git_mempack_reset was leaving free'd pointers in the oidmap.

submodule: add a test for a renamed submdoule dir

submodule: refactor to be more explicit in the search

When searching for information about a submdoule, let's be more explicit
in what we expect to find. We currently insert a submodule into the map
and change certain parameters when the config callback gets called.

Switch to asking for the configuration we're interested in, rather than
taking it in an arbitrary order.

Merge pull request #3379 from theseion/additional_libssh2_error_reporting

report libssh2 error if list of authentication methods can't be retrieved

Merge pull request #3415 from ethomson/lock_hidden

filebuf: ensure we can lock a hidden file

futils: ensure we can write a hidden file

filebuf: ensure we can lock a hidden file

Merge pull request #3410 from libgit2/cmn/ssh-embed-again

Revert "Get rid of libssh2 embedding"

Merge pull request #3353 from ethomson/wrongcase_add

index: canonicalize directory case when adding

Merge pull request #3381 from leoyanggit/index_directory_iterator

New feature: add the ablility to iterate through a directory in index

git_index_add: allow case changing renames

On case insensitive platforms, allow `git_index_add` to provide a new
path for an existing index entry.  Previously, we would maintain the
case in an index entry without the ability to change it (except by
removing an entry and re-adding it.)

Higher-level functions (like `git_index_add_bypath` and
`git_index_add_frombuffers`) continue to keep the old path for easier
usage.

index: canonicalize directory case when adding

On case insensitive systems, when given a user-provided path in the
higher-level index addition functions (eg `git_index_add_bypath` /
`git_index_add_frombuffer`), examine the index to try to match the
given path to an existing directory.

Various mechanisms can cause the on-disk representation of a folder
to not match the representation in HEAD or the index - for example,
a case changing rename of some file `a/file.txt` to `A/file.txt`
will update the paths in the index, but not rename the folder on
disk.

If a user subsequently adds `a/other.txt`, then this should be stored
in the index as `A/other.txt`.

Merge pull request #3413 from libgit2/cmn/follow-symlink

filebuf: follow symlinks when creating a lock file

Merge pull request #3366 from libgit2/cmn/index-hashmap

Use a hashmap for path-based lookups in the index

filebuf: follow symlinks when creating a lock file

We create a lockfile to update files under GIT_DIR. Sometimes these
files are actually located elsewhere and a symlink takes their place. In
that case we should lock and update the file at its final location
rather than overwrite the symlink.

New API: git_index_find_prefix

Find the first index entry matching a prefix.

index: put the icase insert choice in macros

This should let us see more clearly what we're doing and avoid the ugly
'if' we need every time we want to interact with the map.

Revert "Get rid of libssh2 embedding"

The embedding was removed as a libssh2 release with Windows crypto
support became available, but dependencies are still annoying so this
ahs been requested again.

This reverts commit 20dcb7315cd4c5760c68402998fd9e5a6bf5505d.

config: correct documentation for non-existent config file

Merge pull request #3402 from ethomson/faster_diff

Provide path matching in the iterators (for faster diffs)

iterator: better document GIT_DIFF_DISABLE_PATHSPEC_MATCH

iterator test: handle case (in)sensitivity

iterator test: use new iter opts in fifo test

iterator: saner pathlist matching for idx iterator

Some nicer refactoring for index iteration walks.

The index iterator doesn't binary search through the pathlist space,
since it lacks directory entries, and would have to binary search
each index entry and all its parents (eg, when presented with an index
entry of `foo/bar/file.c`, you would have to look in the pathlist for
`foo/bar/file.c`, `foo/bar` and `foo`).  Since the index entries and the
pathlist are both nicely sorted, we walk the index entries in lockstep
with the pathlist like we do for other iteration/diff/merge walks.

diff: drop `FILELIST_MATCH`

Now that non-pathspec matching diffs are implemented at the iterator
level, drop `FILELIST_MATCH`ing.

status test: brackets are now literal

checkout: use pathlist-based iterators

tree_iterator: use a pathlist

diff: use new iterator pathlist handling

When using literal pathspecs in diff with `GIT_DIFF_DISABLE_PATHSPEC_MATCH`
turn on the faster iterator pathlist handling.

Updates iterator pathspecs to include directory prefixes (eg, `foo/`)
for compatibility with `GIT_DIFF_DISABLE_PATHSPEC_MATCH`.

Merge pull request #3401 from phatblat/pb/doc-warning

Escape @ in doc comment

Escape @ in doc comment

diff: better document GIT_DIFF_PATHSPEC_DISABLE

Document that `GIT_DIFF_PATHSPEC_DISABLE` is not necessarily about
explicit path matching, but also includes matching of directory
names.  Enforce this in a test.

Merge pull request #3352 from ethomson/hidden

win32: ensure hidden files can be staged

iterator: sort subdirs properly with pathlist

When given a pathlist, don't assume that directories sort before
files.  Walk through any list of entries sorting before us to make
sure that we've exhausted all entries that *aren't* directories.

Eg, if we're searching for 'foo/bar', and we have a 'foo.c', keep
advancing the pathlist to keep looking for an entry prefixed with
'foo/'.

racy-git: TODO to use improved diffing

Move filelist into the iterator handling itself.

iterator: use an options struct instead of args

Merge pull request #3399 from arthurschreiber/patch-8

Fix a typo [ci skip]

Fix a typo [ci skip]

Merge pull request #3396 from ethomson/copying

COPYING: include winhttp definition copyright

COPYING: include winhttp definition copyright

Include the copyright notice from the deps/winhttp/ sources.  Move the
LGPL to the bottom of the file (since multiple dependencies are LGPL
licensed) and include the actual copyright notices from the regex sources.

Merge pull request #3355 from palmin/palmin/fix-2830

Include the 4 characters not recognised as hex-number in parse_len

Fix 'If we're dealing with a directory' check

Merge pull request #3388 from libgit2/cmn/smart-callbacks

transport: provide a way to get the callbacks

Merge pull request #3389 from libgit2/cmn/old-security

CMake: fall back to OpenSSL on older OS X

CMake: fall back to OpenSSL on older OS X

Starting at OS X 10.8, the Security framework offers some functions
which are unified across OS X and iOS. These are the functions that we
use.

Older versions of OS X do not have these functions and we fail to
compile. In these situations, fall back to using OpenSSL for our TLS
stream instead.

cred: add a free function wrapper

transport: provide a way to get the callbacks

libgit2 implementations of smart subtransports can simply reach through
the structure, but external implementors cannot.

Add these two functions as a way for the smart subtransports to get the
callbacks as set by the user.

Merge pull request #3387 from leoyanggit/build_warning

Fix build warning: implicit declaration of function ‘git_transaction_config_new’

Fix build warning: implicit declaration of function ‘git_transaction_config_new’

Include the 4 characters not recognised as hex-number when setting error in parse_len

Merge pull request #3377 from dleehr/fix-push-cb

Fix bug in git_smart__push: push_transfer_progress cb is only called at end

Merge pull request #3384 from libgit2/cmn/regex-nofail

diff: don't error out on an invalid regex

Merge pull request #3383 from libgit2/cmn/http-error

http: propagate the credentials callback's error code

diff: don't error out on an invalid regex

When parsing user-provided regex patterns for functions, we must not
fail to provide a diff just because a pattern is not well
formed. Ignore it instead.

http: propagate the credentials callback's error code

When we ask for credentials, the user may choose to return EUSER to
indicate that an error has happened on its end and it wants to be given
back control.

We must therefore pass that back to the user instead of mentioning that
it was on_headers_complete() that returned an error code. Since we can,
we return the exact error code from the user (other than PASSTHROUGH)
since it doesn't cost anything, though using other error codes aren't
recommended.

Merge pull request #3362 from libgit2/cmn/curl-proxyauth-any

curl: use the most secure auth method for the proxy

index: keep a hash table as well as a vector of entries

The hash table allows quick lookup of specific paths, while we use the
vector for enumeration.

index: add tests around case switching

We were missing tests for switching the case-sensitivity of an index
in-memory and then looking up entries in it.

Add a hashmap for index entries

They are hashed case-insensitively and take the stage into account.

added a single line of additional error reporting from libssh2 when failing to retrieve the list of authentication methods

Fix bug in git_smart__push: push_transfer_progress cb is never called

The conditional checked cbs->transfer_progress then used the value in cbs->push_transfer_progress. In both cases it should be push_transfer_progress

Merge pull request #3168 from libgit2/cmn/config-tx

Locking and transactional/atomic updates for config