Copy custom_headers insteach of referencing the caller's copy

These can be static

Revise custom header error messages

If the header doesn't look like a header (e.g. if it doesn't have a ":"
or if it has newlines), report "custom HTTP header '%s' is malformed".

If the header has the same name as a header already set by libgit2 (e.g.
"Host"), report "HTTP header '%s' is already set by libgit2".

Don't null-check

Use an array of forbidden custom headers

Avoid segfault when opts == NULL

Add a test for custom header validation

Also, *some* custom headers actually are valid.

More specific names

Validate custom http headers

Ignore NULL headers

Accept custom headers for fetch too

o i

Update another call to git_remote_connect

Teach winhttp about the extra headers

Hook up the custom_headers to the http transport

Tell the git_transport about the custom_headers

Add custom_headers to git_push_options

Drop extra_http_headers from git_remote

Allow the world to set HTTP headers for remotes

Pull extra_http_headers from the git_remote

Put the extra headers on the connection_data instead

Add more headers to HTTP requests

config: correct documentation for non-existent config file

Merge pull request #3402 from ethomson/faster_diff

Provide path matching in the iterators (for faster diffs)

iterator: better document GIT_DIFF_DISABLE_PATHSPEC_MATCH

iterator test: handle case (in)sensitivity

iterator test: use new iter opts in fifo test

iterator: saner pathlist matching for idx iterator

Some nicer refactoring for index iteration walks.

The index iterator doesn't binary search through the pathlist space,
since it lacks directory entries, and would have to binary search
each index entry and all its parents (eg, when presented with an index
entry of `foo/bar/file.c`, you would have to look in the pathlist for
`foo/bar/file.c`, `foo/bar` and `foo`).  Since the index entries and the
pathlist are both nicely sorted, we walk the index entries in lockstep
with the pathlist like we do for other iteration/diff/merge walks.

diff: drop `FILELIST_MATCH`

Now that non-pathspec matching diffs are implemented at the iterator
level, drop `FILELIST_MATCH`ing.

status test: brackets are now literal

checkout: use pathlist-based iterators

tree_iterator: use a pathlist

diff: use new iterator pathlist handling

When using literal pathspecs in diff with `GIT_DIFF_DISABLE_PATHSPEC_MATCH`
turn on the faster iterator pathlist handling.

Updates iterator pathspecs to include directory prefixes (eg, `foo/`)
for compatibility with `GIT_DIFF_DISABLE_PATHSPEC_MATCH`.

Merge pull request #3401 from phatblat/pb/doc-warning

Escape @ in doc comment

Escape @ in doc comment

diff: better document GIT_DIFF_PATHSPEC_DISABLE

Document that `GIT_DIFF_PATHSPEC_DISABLE` is not necessarily about
explicit path matching, but also includes matching of directory
names.  Enforce this in a test.

Merge pull request #3352 from ethomson/hidden

win32: ensure hidden files can be staged

iterator: sort subdirs properly with pathlist

When given a pathlist, don't assume that directories sort before
files.  Walk through any list of entries sorting before us to make
sure that we've exhausted all entries that *aren't* directories.

Eg, if we're searching for 'foo/bar', and we have a 'foo.c', keep
advancing the pathlist to keep looking for an entry prefixed with
'foo/'.

racy-git: TODO to use improved diffing

Move filelist into the iterator handling itself.

iterator: use an options struct instead of args

Merge pull request #3399 from arthurschreiber/patch-8

Fix a typo [ci skip]

Fix a typo [ci skip]

Merge pull request #3396 from ethomson/copying

COPYING: include winhttp definition copyright

COPYING: include winhttp definition copyright

Include the copyright notice from the deps/winhttp/ sources.  Move the
LGPL to the bottom of the file (since multiple dependencies are LGPL
licensed) and include the actual copyright notices from the regex sources.

Merge pull request #3355 from palmin/palmin/fix-2830

Include the 4 characters not recognised as hex-number in parse_len

Merge pull request #3388 from libgit2/cmn/smart-callbacks

transport: provide a way to get the callbacks

Merge pull request #3389 from libgit2/cmn/old-security

CMake: fall back to OpenSSL on older OS X

CMake: fall back to OpenSSL on older OS X

Starting at OS X 10.8, the Security framework offers some functions
which are unified across OS X and iOS. These are the functions that we
use.

Older versions of OS X do not have these functions and we fail to
compile. In these situations, fall back to using OpenSSL for our TLS
stream instead.

cred: add a free function wrapper

transport: provide a way to get the callbacks

libgit2 implementations of smart subtransports can simply reach through
the structure, but external implementors cannot.

Add these two functions as a way for the smart subtransports to get the
callbacks as set by the user.

Merge pull request #3387 from leoyanggit/build_warning

Fix build warning: implicit declaration of function ‘git_transaction_config_new’

Fix build warning: implicit declaration of function ‘git_transaction_config_new’

Include the 4 characters not recognised as hex-number when setting error in parse_len

Merge pull request #3377 from dleehr/fix-push-cb

Fix bug in git_smart__push: push_transfer_progress cb is only called at end

Merge pull request #3384 from libgit2/cmn/regex-nofail

diff: don't error out on an invalid regex

Merge pull request #3383 from libgit2/cmn/http-error

http: propagate the credentials callback's error code

diff: don't error out on an invalid regex

When parsing user-provided regex patterns for functions, we must not
fail to provide a diff just because a pattern is not well
formed. Ignore it instead.

http: propagate the credentials callback's error code

When we ask for credentials, the user may choose to return EUSER to
indicate that an error has happened on its end and it wants to be given
back control.

We must therefore pass that back to the user instead of mentioning that
it was on_headers_complete() that returned an error code. Since we can,
we return the exact error code from the user (other than PASSTHROUGH)
since it doesn't cost anything, though using other error codes aren't
recommended.

Merge pull request #3362 from libgit2/cmn/curl-proxyauth-any

curl: use the most secure auth method for the proxy

Fix bug in git_smart__push: push_transfer_progress cb is never called

The conditional checked cbs->transfer_progress then used the value in cbs->push_transfer_progress. In both cases it should be push_transfer_progress

Merge pull request #3168 from libgit2/cmn/config-tx

Locking and transactional/atomic updates for config

Merge pull request #3372 from libgit2/cmn/mirror-refspec

remote: don't confuse tag auto-follow rules with refspec matching

config: perform unlocking via git_transaction

This makes the API for commiting or discarding changes the same as for
references.

config: expose locking via the main API

This lock/unlock pair allows for the cller to lock a configuration file
to avoid concurrent operations.

It also allows for a transactional approach to updating a configuration
file. If multiple updates must be made atomically, they can be done
while the config is locked.

config: implement basic transactional support

When a configuration file is locked, any updates made to it will be done
to the in-memory copy of the file. This allows for multiple updates to
happen while we hold the lock, preventing races during complex
config-file manipulation.

config: write the modified file to memory

Instead of writing into the filebuf directly, make the functions to
write the modified config file write into a buffer which can then be
dumped into the lockfile for committing.

This allows us to re-use the same code for modifying a locked
configuration, as we can simply skip the last step of dumping the data
to disk.

Merge pull request #3363 from ripdev/master

Forcing libssh2 lib location in CMake

remote: don't confuse tag auto-follow rules with refspec matching

When we're looking to update a tag, we can't stop if the tag auto-follow
rules don't say to update it. The tag might still match the refspec we
were given.

remote: add failing test for a mirror refspec

While we download the remote's remote-tracking branches, we don't
download the tag. This points to the tag auto-follow rules interfering
with the refspec.

curl: use the most secure auth method for the proxy

When curl uses a proxy, it will only use Basic unless we prompt it to
try to use the most secure on it has available.

This is something which git did recently, and it seems like a good idea.

Forcing libssh2 lib location

OS X may have libssh2 in diff locations, so CHECK_LIBRARY_EXISTS may check the wrong lib; forcing it to use a found directory.

Merge pull request #3360 from nodegit/master-duplicate-basename-fix

Fix duplicate basenames to support older VS on master

Fix duplicate basenames to support older VS

With Visual Studio versions 2008 and older they ignore the full path to files and only check
the basename of the file to find a collision. Additionally, having duplicate basenames can break
other build tools like GYP.

This fixes https://github.com/libgit2/libgit2/issues/3356

Merge pull request #3351 from ethomson/error_buf

Error handling: use buffers, improved OOM handling

errors: tighten up git_error_state OOMs a bit more

When an error state is an OOM, make sure that we treat is specially
and do not try to free it.

win32: ensure hidden files can be staged

Merge remote-tracking branches 'upstream/pr/3323' and 'upstream/pr/3329'

Test: check restored oom error points to static buffer

Make giterr_restore aware of g_git_oom_error

Allow restoring a previously captured oom error, by
detecting when the captured message pointer points to the
static oom error message.  This means there is no need
to strdup the message in giterr_detach.

Make giterr_detach no longer public

Ensure static oom error message not detached

Error messages that are detached are assumed to be dynamically
allocated.  Passing a pointer to the static oom error message
can cause an attempt to free the static buffer later.  This change
checks if the oom error message is about to be detached and detaches
a copy instead.

Add failing test for capture/restore oom error

Merge pull request #3325 from libgit2/cmn/filebuf-rename-error

 filebuf: remove lockfile upon rename errors

Merge pull request #3344 from libgit2/cmn/add-unreg-submodule

index: stage an unregistered submodule as well

Merge pull request #3348 from MrHacky/remote-path-with-tilde

Handle ssh:// and git:// urls containing a '~' character.

Handle ssh:// and git:// urls containing a '~' character.

For such a path '/~/...' the leading '/' is stripped so the server will
get a path starting with '~' and correctly handle it.

index: stage an unregistered submodule as well

We previously added logic to `_add_bypath()` to update a submodule. Go
further and stage the submodule even if it's not registered to behave
like git.

index: test that an unregistered submodule gets staged

When we pass the path of a repository to `_bypath()`, we should behave
like git and stage it as a `_COMMIT` regardless of whether it is
registered a a submodule.

index: add test for adding an old-style submodule to index

Merge pull request #3332 from phatblat/ben/doc-warnings

Resolve documentation warnings

Merge pull request #3341 from stewid/pedantic-compiler-warning

Remove extra semicolon outside of a function

Remove extra semicolon outside of a function

Without this change, compiling with gcc and pedantic generates warning:
ISO C does not allow extra ‘;’ outside of a function.

Merge pull request #3328 from libgit2/cmn/iterator-skip-diriter

iterator: skip over errors in diriter init

Merge pull request #3339 from palmin/palmin-issue-3338

case-insensitive check for WWW-Authenticate header

case-insensitive check for WWW-Authenticate header

Fixes issue #3338

Better param docs

error: store the error messages in a reusable buffer

Instead of allocating a brand new buffer for each error string we want
to store, we can use a per-thread buffer to store the error string and
re-use the underlying storage. We already use the buffer to format the
string, so this mostly makes that more direct.

Fix remaining documentation warnings

Add -Wdocumentation flag if supported