Introduce status/diff TYPECHANGE flags

When I wrote the diff code, I based it on core git's diff output
which tends to split a type change into an add and a delete.  But
core git's status has the notion of a T (typechange) flag for a
file.  This introduces that into our status APIs and modifies the
diff code so it can be forced to not split type changes.

Improve error propogation in checkout

Merge pull request #967 from arrbee/diff-submodule-tests-and-fixes

Diff submodule tests and fixes

Fix compiler warnings

* tests-clar/status: remove an unused variable
* clone: fix -Wmaybe-uninitialized warning

Merge pull request #949 from nulltoken/topic/deploy_repository_set_head

Deploy git_repository_set_head()

Add test for diffs with submodules and bug fixes

The adds a test for the submodule diff capabilities and then
fixes a few bugs with how the output is generated.  It improves
the accuracy of OIDs in the diff delta object and makes the
submodule output more closely mirror the OIDs that will be used
by core git.

Extend diff helpers for tests a little

Fix a few diff bugs with directory content

There are a few cases where diff should leave directories in
the diff list if we want to match core git, such as when the
directory contains a .git dir.  That feature was lost when I
introduced some of the new submodule handling.

This restores that and then fixes a couple of related to diff
output that are triggered by having diffs with directories in
them.

Also, this adds a new flag that can be passed to diff if you
want diff output to actually include the file content of any
untracked files.

Merge pull request #940 from scunz/diff_sm

Diff: Show submodule diff

Merge pull request #966 from pwkelley/icasefix

Fix a bug where ignorecase wasn't applied to ignores

Fix a bug where ignorecase wasn't applied to ignores

clone: fix cloning of empty repository

clone: reorganize tests

clone: leverage refspec transform

refspec: introduce git_refspec_transform_l()

clone: align type casing with convention

branch: deploy git_branch_is_head()

branch: introduce git_branch_is_head()

refs: deploy git_repository_set_head() usage

clone: deploy git_repository_set_head() usage

reset: make reset rely on git_repository_head()

branch: enhance branch moving test coverage

remote: use constants for well-known names

refs: use constants for well-known names

remote: only keep a weak pointer in update_tips

The reference is only needed inside the function. We mistakenly
increased the reference counter causing the ODB not to get freed and
leaking descriptors.

protocol: don't store flushes

Storing flushes in the refs vector doesn't let us recognize when the
remote is empty, as we'd always introduce at least one element into
it. These flushes aren't necessary, so we can simply ignore them.

Diff: Do not try to calculate an oid for a GITLINK.

We don't have anything useful that we could do with that oid anyway (We
need to query the submodule for the HEAD commit instead).

Without this, the following code creates the error "Failed to read
descriptor: Is a directory" when run against the submod2 test-case:

    const char* oidstr = "873585b94bdeabccea991ea5e3ec1a277895b698";
    git_tree* tree = resolve_commit_oid_to_tree(g_repo, oidstr);
    git_diff_list* diff = NULL;
    cl_assert(tree);
    cl_git_pass(git_diff_workdir_to_tree(g_repo, NULL, tree, &diff));

Extract submodule logic out of diff_output.c:get_workdir_content

Diff: teach get_workdir_content to show a submodule as text

1. teach diff.c:maybe_modified to query git_submodule_status for the
   modification state of a submodule. According to the
   git_submodule_status docs, it will filter for to-ignore states
   already.

2. teach diff_output.c:get_workdir_content to check the submodule status
   again and create a line like:

      Subproject commit <SHA-1>\n
   or
      Subproject comimt <SHA-1>-dirty\n

   like git.git does.

Diff: teach get_blob_content to show a submodule as text

diff_output.c:get_blob_content used to try to read the submodule commit
as a blob in the superproject's odb. Of course it cannot find it and
errors out with GIT_ENOTFOUND, implcitly terminating the whole diff
output.

This patch teaches it to create a text that describes the submodule
instead. The text looks like:

Subproject commit <SHA1>\n

which is what git.git does, too.

Fix minor whitespace issue

clar: Proper shutdown order

Merge pull request #932 from ben/clone_pack_race

ODB: re-load packfiles on failed lookup

Merge pull request #939 from pwkelley/ignorecase

Support for the core.ignorecase flag

Merge pull request #961 from arrbee/win64-cleanups

Win64 cleanups

Fix up more Win64 compile warnings

threads: Assert that the global state is initialized

remote: Fix mid-block declaration

Merge pull request #957 from carlosmn/include-tag

Include tag

remote: support downloading all tags

Also honor remote.$name.tagopt = --tags.

remote: use the refspec functions to parse, instead of rolling our own

The local function works for simple cases, but we shouldn't reinvent
the wheel just for us.

remote: add accessors for the autotag setting

remote: create tags if we have them

Together with include-tag, this make us behave more like git. After a
fetch, try to create any tags the remote told us about for which we
have objects locally.

fetch: use the include-tag capability

This tells the remote to send us any tags that point to objects that
we are downloading.

refs: propagate EEXISTS

Indicate whether the error comes from the ref already existing or
elsewhere. We always perform the check and this lets the user write
more concise code.

refspec: add git_refspec__free, remove git_refspec_parse

The latter shouldn't be exposed and isn't used, git_refspec__parse
supersedes it.

Fix a leak in the refspec tests while we're at it.

examples: fix config getter param order

Clean up Win64 warnings

Merge pull request #959 from jamill/empty_file_hash

Fix error hashing empty file.

Merge pull request #958 from schu/fix-merge-base

revwalk: fix off-by-one error

Merge pull request #941 from arrbee/diff-separate-iterators

Create a diff patch object as a replacement for iterators

Fix error hashing empty file.

revwalk: fix off-by-one error

Fixes #921.

Add const to all shared pointers in diff API

There are a lot of places where the diff API gives the user access
to internal data structures and many of these were being exposed
through non-const pointers.  This replaces them all with const
pointers for any object that the user can access but is still
owned internally to the git_diff_list or git_diff_patch objects.

This will probably break some bindings...  Sorry!

Fix bugs in new diff patch code

This fixes all the bugs in the new diff patch code.  The only
really interesting one is that when we merge two diffs, we now
have to actually exclude diff delta records that are not supposed
to be tracked, as opposed to before where they could be included
because they would be skipped silently by `git_diff_foreach()`.
Other than that, there are just minor errors.

Initial implementation of new diff patch API

Replacing the `git_iterator` object, this creates a simple API
for accessing the "patch" for any file pair in a diff list and
then gives indexed access to the hunks in the patch and the lines
in the hunk.  This is the initial implementation of this revised
API - it is still broken, but at least builds cleanly.

New take on iterating over diff content

Allow diff deltas to be accessed by index and make patch generation
explicit with hunk and line access by index as well.

Merge pull request #947 from arrbee/public-error-set

Make giterr_set_str() and giterr_set_oom() public APIs

Merge pull request #944 from scunz/list_tags

Tags: teach git_tag_list not to include the 'refs/tags/' prefix

Merge pull request #938 from nulltoken/topic/is_valid_name

Topic/is valid name

refspec: introduce git_refspec__parse()

refs: introduce git_reference_is_valid_name()

refs: make git_reference_normalize_name() accept refspec pattern

Tests: Add test for git_tag_list to check for 'git tag -l "*bar"'

Tests: reindent object/tag/list.c to use tabs

Tests::object::tag: also test for a 'foo/*/bar'.

Tests: Add 3 tags to resources/testrepo.

Adjusts refs::list test (including the comments)
Adjusts objects::tags::list test

Tests::Object::Tag: Add a mechanism to test which tags were returned

This patch changes the tag listing test helper to use a struct as input
parameter, which tells what we exactly expect.

As I don't think, we can rely on the fact that every os and every
filesystem will report the tags in the same order, I made this code
independent of the order that the tags are retrieved.

Tests::Object::Tag: move listing tags tests to an own file

Tags: teach git_tag_list not to include the 'refs/tags/' prefix

Since quite a while now, git_branch_foreach has learnt to list branches
without the 'refs/heads/' or 'refs/remotes' prefixes.
This patch teaches git_tag_list to do the same for listing tags.

Fix -Wmaybe-uninitialized warning

Merge pull request #948 from csware/comment-fix

Make clear that git_odb_hashfile does not use filters

Make clear that git_odb_hashfile does not use filters

Signed-off-by: Sven Strickroth <email@cs-ware.de>

Make giterr_set_str public

There has been discussion for a while about making some set of
the `giterr_set` type functions part of the public API for code
that is implementing new backends to libgit2.  This makes the
`giterr_set_str()` and `giterr_set_oom()` functions public.

Merge pull request #942 from nulltoken/topic/checkout-notify-skipped

checkout: add notification callback for skipped files

Merge pull request #943 from csware/only-close-open-filehandles

git_repository_hashfile: Only close file handle if we have a valid one

checkout: add notification callback for skipped files

git_repository_hashfile: Only close file handle if we have a valid one

Otherwise this throws an exception on MFC based systems.

Signed-off-by: Sven Strickroth <email@cs-ware.de>

Fix MSVC amd64 compilation warnings

checkout: prefer mode_t type usage over int

ODB pack: snapshot last_found to avoid race

Also removed unnecessary refresh call and fixed
some indentation.

Remove mtime checks from ODB packfile backend

Now forcing refresh on a foreach, and on missed full-oid
or short-oid lookups.

ODB: re-load packfiles on failed lookup

The old method was avoiding re-loading of packfiles by watching the mtime of the
pack directory. This causes the ODB to become stale if the directory and packfile
are written within the same clock millisecond, as when cloning a fairly small
repo.

This method tries to find the object in the cached packs, and forces a refresh when
that fails. This will cause extra stat'ing on a miss, but speeds up the success
case and avoids this race condition.

Minor fixes for ignorecase support

Support for core.ignorecase

Merge pull request #887 from nulltoken/topic/reset-hard

Checkout, reset and others enhancements

checkout: Mimic git_diff_options storage of paths

checkout : reduce memory usage when not filtering

repository: introduce git_repository_set_head()

repository: introduce git_repository_set_head_detached()

repository: introduce git_repository_detach_head()

repository: fix documentation typo

repository: separate head related tests

checkout: add test coverage of dirs and subtrees

checkout: drop git_checkout_reference()

checkout: segregate checkout strategies

checkout: separate tree from index related tests

reset: add support for GIT_RESET_HARD mode

checkout: introduce git_checkout_index()

checkout: introduce git_checkout_tree()