init.c example: deploy more helpers

add.c example: deploy helpers, reorg

init example: deploy helpers, reorg

Extract common example helpers and reorg examples

This reorganizes a few of the examples so that the main function
comes first with the argument parsing extracted into a helper
that can come at the end of the file (so the example focuses more
on the use of libgit2 instead of command line support).  This also
creates a shared examples/common.[ch] so that useful helper funcs
can be shared across examples instead of repeated.

Merge pull request #1891 from libgit2/cmn/fix-thin-packs

Add support for thin packs

Merge pull request #1912 from ethomson/push_err_messages

Test for failure, but don't test the error message

Merge pull request #1904 from libgit2/cmn/ssh-naming

Rename the ssh credentials

Merge pull request #1802 from libgit2/cmn/reflog-backend

Make reflog part of refdb

Merge pull request #1915 from zcbenz/common-h-before-config-h

The "common.h" should be included before "config.h".

The "common.h" should be included before "config.h".

When building libgit2 for ia32 architecture on a x64 machine, including
"config.h" without a "common.h" would result the following error:
C:\Program Files\Microsoft SDKs\Windows\v7.1\include\winbase.h(2288): error C2373: 'InterlockedIncrement' : redefinition; different type modifiers [C:\cygwin\home\zcbenz\codes\git-utils\build\libgit2.vcxproj]
C:\Program Files\Microsoft SDKs\Windows\v7.1\include\winbase.h(2295): error C2373: 'InterlockedDecrement' : redefinition; different type modifiers [C:\cygwin\home\zcbenz\codes\git-utils\build\libgit2.vcxproj]
C:\Program Files\Microsoft SDKs\Windows\v7.1\include\winbase.h(2303): error C2373: 'InterlockedExchange' : redefinition; different type modifiers [C:\cygwin\home\zcbenz\codes\git-utils\build\libgit2.vcxproj]
C:\Program Files\Microsoft SDKs\Windows\v7.1\include\winbase.h(2314): error C2373: 'InterlockedExchangeAdd' : redefinition; different type modifiers [C:\cygwin\home\zcbenz\codes\git-utils\build\libgit2.vcxproj]

Merge pull request #1913 from nvloff/remove_fedora_spec

remove rpm spec file and readme

remove rpm spec

Fedora provides a rpm package for libgit2 -
https://apps.fedoraproject.org/packages/libgit2.

Test for failure, but don't test the error message

Merge pull request #1910 from ethomson/disable_winhttp

Allow -DWINHTTP=OFF to disable WinHTTP

Merge pull request #1911 from ethomson/http_headers

Use two calls to set two headers

Use two calls to set two headers

Allow -DWINHTTP=OFF to disable WinHTTP

Merge pull request #1907 from nikai3d/patch-1

fix typos in README.md

fix typos in README.md

Really fix the pc file

It turns out that variables have function scope by default. Let's
really set -liconv and add a few libraries that were forgotten in
the previous commit.

We also need to special-case OSX, as they ship zlib but do not provide
a pkg-config file for it.

Merge pull request #1905 from libgit2/cmn/list-deps

Be explicit about dependencies

Merge pull request #1906 from libgit2/cmn/net-cb-errors

transport: let the progress output return an error

transport: let the progress output return an error

There are any number of issues that can come up in the progress
callback, and we should let the user cancel at that point as well.

indexer: include the delta stats

The user is unable to derive the number of deltas in the pack, as that
would require them to capture the stats exactly in the moment between
download and final processing, which is abstracted away in the fetch.

Capture these numbers for the user and expose them in the progress
struct. The clone and fetch examples now also present this information
to the user.

examples: show used local objects in fetch

Show how many local objects were used to fix the thin pack in our fetch
example.

README: add a note about the optional dependencies

Set the correct dependencies in the pkg-config file

When linking statically, the including project needs to know what the
current library build depends on so they can link to it. Store this
information in the pkg-config file.

While here, remove claims that users need to link to zlib or libcrypto.

Rename the ssh credentials

The names from libssh2 are somewhat obtuse for us. We can simplify the
usual key/passphrase credential's name, as well as make clearer what the
custom signature function is.

Merge pull request #1897 from libgit2/split-patch-from-diff

RFC: Proposed reworking of diff APIs

Fix typo

Implement `git_odb_object_dup`

Implement patience and minimal diff flags

It seems that to implement these options, we just have to pass
the appropriate flags through to the libxdiff code taken from
core git.  So let's do it (and add a test).

Fix warnings for win64

Create git_diff_line and extend git_diff_hunk

Instead of having functions with so very many parameters to pass
hunk and line data, this takes the existing git_diff_hunk struct
and extends it with more hunk data, plus adds a git_diff_line.
Those structs are used to pass back hunk and line data instead of
the old APIs that took tons of parameters.

Some work that was previously only being done for git_diff_patch
creation (scanning the diff content for exact line counts) is now
done for all callbacks, but the performance difference should not
be noticable.

Merge pull request #1903 from ethomson/ssh

Allowed credential types should be a bitfield

Allowed credential types should be a bitfield

Tweak to git_diff_delta structure for nfiles

While the base git_diff_delta structure always contains two files,
when we introduce conflict data, it will be helpful to have an
indicator when an additional file is involved.

Merge pull request #1900 from haneefmubarak/patch-1

license clarification + formatting all over

slightly clarified the "license" portion of `README.md" + formatting all over

fixed typo `can can` -> `can`

slightly clarified the "license" portion of `README.md" + formatting all over

added the second change suggested by @nulltoken (with two extra words :) )

slightly clarified the "license" portion of `README.md" + formatting all over

There are commercial open source applications, hence proprietary seems to be a better term.

Also:
 - Trimmed header `=`'s to match text length
 - made libgit2 stand out everywhere
 - pretty printing links
 - irc link for those with the correct setup

Merge pull request #1702 from ethomson/checkout_merge

Checkout merge

Move path prefixed help to path.h

Move functions in checkout_conflicts to checkout.c

It seemed exceptionally silly to have a split there
where no split needed to be.

Two-step conflict checkout (load / perform)

Move conflict handling into two steps: load the conflicts and
then apply the conflicts.  This is more compatible with the
existing checkout implementation and makes progress reporting
more sane.

Honor UPDATE_ONLY bit when checking out conflicts

Fix warning, fix memory leak

Don't overwrite ~ files checking out conflicts

If a D/F conflict or rename 2->1 conflict occurs,
we write the file sides as filename~branchname.  If
a file with that name already exists in the working
directory, write as filename~branchname_0 instead.
(Incrementing 0 until a unique filename is found.)

Get rid of some quick hacks

checkout rename conflicts

rename conflict tests for checkout conflicts, don't suffix filenames
when checking out with USE_OURS or USE_THEIRS

Prevent checkout_tree when conflicts exist, clear NAME on checkout tree

Prevent checkout tree when unresolved changes exist (unless FORCE flag
is specified).  Clear NAME table when checking out, to avoid
checkout_conflicts from attempting to manipulate it.  Ensure that NAME
is also cleared at reset.

checkout (from index) can write conflicts

tests for checkout index with conflicts

Diff API cleanup

This lays groundwork for separating formatting options from diff
creation options.  This groups the formatting flags separately
from the diff list creation flags and reorders the options.  This
also tweaks some APIs to further separate code that uses patches
from code that just looks at git_diffs.

Rename diff objects and split patch.h

This makes no functional change to diff but renames a couple of
the objects and splits the new git_patch (formerly git_diff_patch)
into a new header file.

Merge pull request #1562 from libgit2/cmn/refs-namespace-lookup

Provide the user with a more useful error code when a looking up a reference which name points to a namepace

indexer: clearer stats for thin packs

Don't increase the number of total objects, as it can produce
suprising progress output. The only addition compared to pre-thin is
the addition of local_objects to allow an output similar to git's
"completed with %d local objects".

futils: return GIT_ENOTFOUND when trying to read a directory

This lets the reference code return not-found when the user asks to
look up a reference when in fact they pass a namespace.

Merge pull request #1898 from arthurschreiber/patch-2

Fix a typo in the rpm build instructions.

Fix a typo in the rpm build instructions.

After iconv init reset ref normalize error

The iconv init was accidentally clearing the default error state
during reference normalization. This resets so that normalization
errors will be detected correctly.

Merge pull request #1886 from libgit2/precompose-utf8

Add support for core.precomposeunicode on Mac

Rename new fn to git_repository_reinit_filesystem

Make reference lookups apply precomposeunicode

Before these changes, looking up a reference would return the
same precomposed or decomposed form of the reference name that
was used to look it up, so on MacOS which ignores the difference
between the two, a single reference could be looked up either way
and git_reference_name would return the form of the name that was
used to look it up!  This change makes lookup always return the
precomposed name if core.precomposeunicode is set regardless of
which version was used to look it up.  The reference iterator was
already returning the precomposed form from earlier work.

This also updates the CMakeLists.txt rules for enabling iconv
usage because the clar tests for this code were actually not being
activated properly with the old version.

Finally, this moves git_repository_reset_filesystem from include/
git2/repository.h to include/git2/sys/repository.h since it is not
really a function that normal library users should have to think
about very often.

Merge pull request #1895 from libgit2/winhttp-accept

WinHTTP: set Accept header for POSTs

Combine WinHTTP API calls

Case sensitivity issues on Linux

A couple of tests were actually dealing incorrectly with case
sensitivity issues on Linux because they were relying on having
core.ignorecase set to true.  Now that the fixture initialization
sets the case sensitivity to be accurate for the platform, it
exposed bugs in these tests.

Add Assembla unit test

WinHTTP: set Accept header for POSTs

More filemode cleanups for FAT on MacOS

This cleans up some additional issues.  The main change is that
on a filesystem that doesn't support mode bits, libgit2 will now
create new blobs with GIT_FILEMODE_BLOB always instead of being
at the mercy to the filesystem driver to report executable or not.
This means that if "core.filemode" lies and claims that filemode
is not supported, then we will ignore the executable bit from the
filesystem.  Previously we would have allowed it.

This adds an option to the new git_repository_reset_filesystem to
recurse through submodules if desired.  There may be other types
of APIs that would like a "recurse submodules" option, but this
one is particularly useful.

This also has a number of cleanups, etc., for related things
including trying to give better error messages when problems come
up from the filesystem.  For example, the FAT filesystem driver on
MacOS appears to return errno EINVAL if you attempt to write a
filename with invalid UTF-8 in it.  We try to capture that with a
better error message now.

Merge pull request #1894 from libgit2/cmn/tree-raw

tree: allow retrieval of raw attributes

indexer: inject one base at a time

There may be multiple deltas referencing the same base as well as OFS
deltas which rely on a thin delta. Deal with both at the same time by
injecting a single object and going back up to the main
delta-resolving loop.

tree: allow retrieval of raw attributes

When a tool needs to recreate the tree object (for example an
interface to another VCS), it needs to use the raw attributes,
forgoing any normalization.

Merge pull request #1890 from libgit2/multiple-init

Multiple init

Don't use git_atomic as an integer

Use InterlockedCompareExchange for the lock

Posix synchronized init, prototype win32 version

Add test for multiple thread init/shutdown

Add git_repository_reset_filesystem and fix tests

When a repository is transferred from one file system to another,
many of the config settings that represent the properties of the
file system may be wrong.  This adds a new public API that will
refresh the config settings of the repository to account for the
change of file system.  This doesn't do a full "reinitialize" and
operates on a existing git_repository object refreshing the config
when done.

This commit then makes use of the new API in clar as each test
repository is set up.

This commit also has a number of other clar test fixes where we
were making assumptions about the type of filesystem, either based
on outdated config data or based on the OS instead of the FS.

Merge pull request #1892 from libgit2/ntk/topic/index_read

Make git_index_read() cope with external additions and removals of the index file

index: Make _read() cope with index file creation

net: advertise our support for fixing thin packs

indexer: fix thin packs

When given an ODB from which to read objects, the indexer will attempt
to inject the missing bases at the end of the pack and update the
header and trailer to reflect the new contents.

index: Enhance documentation

Tabify indentations

pack: move the object header function here

indexer: do multiple passes over the delta list

Though unusual, a packfile may contain a delta whose base is a delta
that comes later. In order index such a packfile, we must not give up
on the first failure to resolve a delta, but keep it around.

If there is a pass which makes no progress, this indicates that the
packfile is broken, so fail accordingly.

More cleanups to remove WIN assumptions

This cleans up more of the test suite to check actual filesystem
behavior instead of relying on Windows vs. Mac vs. Linux to test.

Update repo init with fewer platform assumptions

The repo init code was assuming Windows == no filemode, and
Mac or Windows == no case sensitivity.  Those assumptions are not
consistently true depending on the mounted file system.  This is a
first step to removing those assumptions.  It focuses on the repo
init code and the tests of that code.  There are still many other
tests that are broken when those assumptions don't hold true, but
this clears up one area of the code.

Also, this moves the core.precomposeunicode logic to be closer to
the current logic in core Git where it will be set to true on any
filesystem where composed unicode is decomposed when read back.

Clean up annoying warnings

The indexer code was generating warnings on Windows 64-bit.  I
looked closely at the logic and was able to simplify it a bit.

Also this fixes some other Windows and Linux warnings.

Wrap iconv stuff and write tests

This adds a simple wrapper around the iconv APIs and uses it
instead of the old code that was inlining the iconv stuff.  This
makes it possible for me to test the iconv logic in isolation.
A "no iconv" version of the API was defined with macros so that
I could have fewer ifdefs in the code itself.

Simplify git_path_is_empty_dir implementation

This simplifies git_path_is_empty_dir on both Windows (getting rid
of git_buf allocation inside the function) and other platforms (by
just using git_path_direach), and adds tests for the function, and
uses the function to simplify some existing tests.

Add to Git authors who have agreed to relicense

In email, Torsten Bögershausen agreed that we could use his code
from core Git in libgit2 under the modified license.  Also, since
his work is the basis for much of the precompose unicode support,
I have added him to the AUTHORS file as well.

Initial iconv hookup for precomposed unicode

This hooks up git_path_direach and git_path_dirload so that they
will take a flag indicating if directory entry names should be
tested and converted from decomposed unicode to precomposed form.
This code will only come into play on the Apple platform and even
then, only when certain types of filesystems are used.

This involved adding a flag to these functions which involved
changing a lot of places in the code.

This was an opportunity to do a bit of code cleanup here and there,
for example, getting rid of the git_futils_cleanupdir_r function in
favor of a simple flag to git_futils_rmdir_r to not remove the top
level entry.  That ended up adding depth tracking during rmdir_r
which led to a safety check for infinite directory recursion.  Yay.

This hasn't actually been tested on the Mac filesystems where the
issue occurs.  I still need to get test environment for that.

Put hooks in place for precompose in dirload fn

This doesn't actual do string precompose but it puts the hooks in
place into the iterators and the git_path_dirload function so that
the actual precompose work is ready to go.

Add check if we need to precompose unicode on Mac

This adds initialization of core.precomposeunicode to repo init
on Mac.  This is necessary because when a Mac accesses a repo on
a VFAT or SAMBA file system, it will return directory entries in
decomposed unicode even if the filesystem entry is precomposed.

This also removes caching of a number of repo properties from the
repo init pipeline because these are properties of the specific
filesystem on which the repo is created, not of the system as a
whole.

Merge pull request #1888 from jamill/network_cancellation

network cancellation improvements

Style tweaks and changes for code review feedback

Merge pull request #1887 from libgit2/ntk/topic/git_message_raw

commit: Introduce git_commit_message_raw()

commit: Introduce git_commit_message_raw()