local: use the packbuilder to push

Instead of copying each object individually, as we'd been doing, use the
packbuilder which should be faster and give us some feedback.

While performing this change, we can hook up the packbuilder's writing
to the push progress so the caller knows how far along we are.

local: add clarification for non-bare push restriction

Merge pull request #3066 from libgit2/cmn/remote-less-state

Remove the configuration state we keep in the remote

push: free the update list

Update CHANGELOG with the changes to the remotes

remote: simplify anonymous creation

We're down to simply having it be a call to create_internal() so let's
simply do that. The rest of the code is just a distraction.

remote: remove git_remote_save()

It has now become a no-op, so remove the function and all references to
it.

remote: remove live changing of refspecs

The base refspecs changing can be a cause of confusion as to what is the
current base refspec set and complicate saving the remote's
configuration.

Change `git_remote_add_{fetch,push}()` to update the configuration
instead of an instance.

This finally makes `git_remote_save()` a no-op, it will be removed in a
later commit.

examples: adjust to the new remote API

remote: move the tagopt setting to the fetch options

This is another option which we should not be keeping in the remote, but
is specific to each particular operation.

remote: move the update_fetchhead setting to the options

While this will rarely be different from the default, having it in the
remote adds yet another setting it has to keep around and can affect its
behaviour. Move it to the options.

remote: move the transport ctor to the callbacks

Instead of having it set in a different place from every other callback,
put it the main structure. This removes some state from the remote and
makes it behave more like clone, where the constructors are passed via
the options.

remote: add prune option to fetch

Add a prune setting in the fetch options to allow to fall back to the
configuration (the default) or to set it on or off.

remote: remove url and pushurl from the save logic

As a first step in removing the repository-saving logic, don't allow
chaning the url or push url from a remote object, but change the
configuration on the configuration immediately.

Remove the callbacks struct from the remote

Having the setting be different from calling its actions was not a great
idea and made for the sake of the wrong convenience.

Instead of that, accept either fetch options, push options or the
callbacks when dealing with the remote. The fetch options are currently
only the callbacks, but more options will be moved from setters and
getters on the remote to the options.

This does mean passing the same struct along the different functions but
the typical use-case will only call git_remote_fetch() or
git_remote_push() and so won't notice much difference.

push: remove own copy of callbacks

The push object knows which remote it's associated with, and therefore
does not need to keep its own copy of the callbacks stored in the
remote.

Remove the copy and simply access the callbacks struct within the
remote.

Merge pull request #3111 from whoisj/centralizing-buffer-sizes

Centralizing all IO buffer size values

Merge pull request #3018 from ethomson/stash_apply

Stash apply

checkout: better document the `baseline_index` opt

stash application: document new API in CHANGELOG

stash: propagate the error when writing a tree

stash_apply: provide progress callbacks

stash_apply: provide its own options structure

stash: test checkout notify callbacks

stash apply: default to at least GIT_CHECKOUT_SAFE

stash: return GIT_EMERGECONFLICT on merge conflict

stash: document merge conflicts

stash: refactor to use merge_iterators

stash: ensure a reflog has entries

stash apply: check out a tree, not piecewise

stash: use git_commit_summary for a summary

index: introduce git_index_read_index

checkout: allow baseline to be specified as index

Allow the baseline to be specified as an index, so that users
need not write their index to a tree just to checkout with that
as the baseline.

merge: merge iterators

Added git_stash_apply() and git_stash_pop() APIs

centralizing all IO buffer size values

Merge pull request #3104 from whoisj/optimal-buffer-size

Adjusting stream buffer size to 64KB

Adjusting stream buffer size to 64KB

64K is optimal buffer size per https://technet.microsoft.com/en-us/library/cc938632.aspx

Merge pull request #3086 from yongthecoder/master

Android build doesn't need deps/regex

Merge pull request #3100 from arthurschreiber/patch-5

Ensure frameworks are mentioned in libgit2.pc

Ensure frameworks are mentioned in libgit2.pc

When building on Mac OS X, the `CoreFoundation` and `Security` frameworks where missing from `Libs.private` in the generated `libgit2.pc` file.

config: plug a couple of leaks

Android build doesn't need deps/regex

deps/regex was included in Android build because Android NDK 4 has
a packaging bug and doesn't have the regular expression functions defined
in its libc.so. The bug has been fixed in subsequent Android NDK releases.

If it is still necessary to work around the bug in Android NDK 4, we
should consider to use an option like ANDROID_NDK_RELEASE or
ANDROID_NDK_RELEASE_NUM.

Merge pull request #3079 from ethomson/config

Configuration changes for handling multiple of the same sections

Merge pull request #3070 from ethomson/checkout_icase

Case insensitive checkout improvements

config: test all multivars are updated

If a multivar exists within two sections (of the same name)
then they should both be updated in a `set_multivar`.  Ensure
that this is the case.

config: use wildcard in test instead of empty expr

config: cleanup some now-unused variables

config: lock the file for write before reading

When writing a configuration file, we want to take a lock on the
new file (eg, `config.lock`) before opening the configuration file
(`config`) for reading so that we can prevent somebody from changing
the contents underneath us.

Test setting config var under duplicate header.

Add a test that exposes a bug in config_write.
It is valid to have multiple separate headers for the same config section, but
config_write will exit after finding the first matching section in certain
situations.
This test proves that config_write will duplicate a variable that already
exists instead of overwriting it if the variable is defined under a duplicate
section header.

config: write existing lines as-is when rewriting

When updating a configuration file, we want to copy the old data
from the file to preserve comments and funny whitespace, instead
of writing it in some "canonical" format.  Thus, we keep a
pointer to the start of the line and the line length to preserve
these things we don't care to rewrite.

config: examine whole file when writing

Previously we would try to be clever when writing the configuration
file and try to stop parsing (and simply copy the rest of the old
file) when we either found the value we were trying to write,
or when we left the section that value was in, the assumption being
that there was no more work to do.

Regrettably, you can have another section with the same name later
in the file, and we must cope with that gracefully, thus we read the
whole file in order to write a new file.

Now, writing a file looks even more than reading.  Pull the config
parsing out into its own function that can be used by both reading
and writing the configuration.

config: test overwriting cvar in multiple regions

config: ensure we can write to an empty file

checkout test: better case-insensitive test on Mac

On Mac OS, `realpath` is deficient in determining the actual filename
on-disk as it will simply provide the string you gave it if that file
exists, instead of returning the filename as it exists.  Instead we
must read the directory entries for the parent directory to get the
canonical filename.

status test: always test the new file path

checkout test: only run icase on icase platform

checkout: break case-changes into delete/add

When checking out with a case-insensitive working directory, we
want to change the case of items in the working directory to
reflect changes that occured in the checkout target.  Diff now
has an option to break case-changing renames into delete/add.

checkout: remove blocking dir when FORCEd

Revert "Always checkout with case sensitive iterator"

This reverts commit 40d791545abfb3cb71553a27dc64129e1a9bec28.

checkout test: ensure we write to casechanged dir

Ensure that on a case insensitive filesystem that we can checkout
into some folder 'FOLDER' that exists on disk, even if the target
of the checkout is a different case (eg 'folder').

checkout test: ignore unstaged case-changing renames

On Windows, you might sloppily rewrite a file (or have a sloppy
text editor that does it for you) and accidentally change its
case.  (eg, "README" -> "readme").  Git ignores this accidental
case changing rename during checkout and will happily write the
new content to the file despite the name change.  We should, too.

Merge pull request #3087 from ethomson/pr/3054

Performance Improvements to Status on Windows

Merge pull request #3089 from volftomas/patch-2

Added call to git_libgit2_shutdown()

Restructured to be nicer example

Code restructured to better represent best practice when
using libgit2.

Merge pull request #3092 from techee/iconv_macports_fix2

Don't search iconv in /opt/local

Don't search iconv in /opt/local

Since OpenSSL isn't used any more on OS X, there is no dependency
on any MacPorts library under /opt/local and there is no danger of
conflicts between MacPorts and system iconv. For this reason the
system iconv can always be used now.

diriter: actually use iconv on mac

git_buf_put_w: introduce utf16->utf8 conversion

git_path_diriter: use FindFirstFile in win32

Using FindFirstFile and FindNextFile in win32 allows us to
use the directory information that is returned, instead of
us having to get the file attributes all over again, which
is a distinct cost savings on win32.

git_path_diriter: next shouldn't take path ptr

The _next method shouldn't take a path pointer (and a path_len
pointer) as 100% of current users use the full path and ignore
the filename.

Plus let's add some docs and a unit test.

git_path_dirload_with_stat: moved to fs_iterator

git_path_dirload_with_stat: use git_path_diriter

git_win32_path_dirload_with_stat: removed

git_path_dirload: use git_path_diriter

git_path: introduce 'git_path_diriter'

Introduce a new `git_path_diriter` that can iterate directories
efficiently for each platform.

Merge pull request #3059 from libgit2/cmn/negotiation-notify

[WIP/RFC] push: report the update plan to the caller

Merge pull request #3081 from leoyanggit/build_warnings

Fix some build warnings

Merge pull request #3090 from libgit2/jamill/doc_update

Update documentation for API changes

Merge pull request #3088 from volftomas/patch-1

Fixed unused warning in tests/rebase/merge.c

Update documentation for API changes

Added call to git_libgit2_shutdown()

Added forgotten call to git_libgit2_shutdown() to the /examples/network/git2.c.

Fixed unused warning in tests/rebase/merge.c

Merge pull request #3085 from yongthecoder/regfree

Do not call regfree() on an empty regex that is not successfully created...

Do not call regfree() on an empty regex that is not successfully created by regcomp

(also removed an unused member "has_regex" from all_iter)

win32: keep full path for realpath usage

win32: mimic git_path_dirload_with_stat closely

dirload: loop conditional; less path mangling

win32 dirload: don't heap allocate DIR structure

win32: abstract file attributes -> struct stat fn

Improvements to status performance on Windows.

Changed win32/path_w32.c to utilize NTFS' FindFirst..FindNext data instead of doing an lstat per file. Avoiding unnecessary directory opens and file scans reduces IO, improving overall performance. Effect is magnified due to NTFS being a kernel mode file system (as opposed to user mode).

Improvements to ignore performance on Windows.

Minimizing the number directory and file opens, minimizes the amount of IO thus reducing the overall cost of performing ignore operations.

Fix some build warnings

In checkout.c and filter.c we were casting a sub struct
to a parent struct which breaks the strict aliasing rules
in C. However we can use .parent or .base to access the
parent struct to avoid the build warnings.

In remote.c the local variable error was not initialized
or updated in some cases. For unintialized error a build
warning will be generated. So always keep error variable
up-to-date.

Merge pull request #3071 from linquize/git_reflog_drop

Fix wrong format string in git_reflog_drop() error message

Fix wrong format string in git_reflog_drop() error message

Merge pull request #3063 from ethomson/config_validate_name

Validate configuration keys

Merge pull request #2997 from libgit2/cmn/secure-transport

Use SecureTransport on OS X

SecureTransport: handle graceful closes

On close, we might get a return code which looks like an error but just
means that the other side closed gracefully. Handle that.

SecureTransport: require TLS v1.x

Anything SSL is deprecated. Let's make sure we don't try to use SSL v3
when talking to the server.

Update THREADING and CHANGELOG with SecureTransport details