Oh yeah, bugs from my rebase

Simplify checkout documentation

This moves a lot of the detailed checkout documentation into a new
file (docs/checkout-internals.md) and simplifies the public docs
for the checkout API.

Clone should use GIT_CHECKOUT_SAFE_CREATE

For clone to work as expected, it should be using a SAFE_CREATE
checkout (i.e. create files that are missing, even if the target
tree matches the current HEAD).

Extend tests for checkout with typechanges

Test a number of other cases, including intentionally forced
conflicts and deeper inspection that trees get created properly.

There is a still a bug in checkout because the first test here
(i.e. test_checkout_typechange__checkout_typechanges_safe) should
be able to pass with GIT_CHECKOUT_SAFE as a strategy, but it will
not because of some lingering submodule checkout issues.

Fix some submodule and typechange checkout cases

There were a bunch of small bugs in the checkout code where I was
assuming that a typechange was always from a tree to a blob or
vice versa.  This fixes up most of those cases.  Also, there were
circumstances where the submodule definitions were changed by the
checkout and the submodule data was not getting reloaded properly
before the new submodules were checked out.

Fix workdir notifications and removals

The notifications were broken from the various iterations over
this code and were not returning working dir item data correctly.
Also, workdir items that were alphabetically after the last item
in diff were not being processed.

Fix up spoolandsort iterator usage

The spoolandsort iterator changes got sort-of cherry picked out of
this branch and so I dropped the commit when rebasing; however,
there were a few small changes that got dropped as well (since the
version merged upstream wasn't quite the same as what I dropped).

Submodule caching fix and location API

This adds a new API to the submodule interface that just returns
where information about the submodule was found (e.g. config file
only or in the HEAD, index, or working directory).

Also, the old "refresh" call was potentially keeping some stale
submodule data around, so this simplfies that code and literally
discards the old cache, then reallocates.

Fix use of uninitialized variable

Improve error propagation in stash

Stash was sometimes obscuring the actual error code, replacing it
with a -1 when there was more descriptive value.  This updates
stash to preserve the original error code more reliably along
with a variety of other error handling tweaks.

I believe this is an improvement, but arguably, preserving the
underlying error code may result in values that are harder to
interpret by the caller who does not understand the internals.
Discussion is welcome!

Make git_oid_tostr use out buffer for NULL oid

Previously a NULL oid was handled like an empty buffer and
returned a status empty string.  This makes git_oid_tostr()
set the output buffer to the empty string instead.

Add index updating to checkout

Make checkout update entries in the index for all files that are
updated and/or removed, unless flag GIT_CHECKOUT_DONT_UPDATE_INDEX
is given.  To do this, iterators were extended to allow a little
more introspection into the index being iterated over, etc.

More checkout improvements

This flips checkout back to be driven off the changes between
the baseline and the target trees.  This reinstates the complex
code for tracking the contents of the working directory, but
overall, I think the resulting logic is easier to follow.

Rework checkout internals (again)

I've tried to map out the detailed behaviors of checkout and make
sure that we're handling the various cases correctly, along with
providing options to allow us to emulate "git checkout" and "git
checkout-index" with the various flags.  I've thrown away flags
in the checkout API that seemed like clutter and added some new
ones.  Also, I've converted the conflict callback to a general
notification callback so we can emulate "git checkout" output and
display "dirty" files.

As of this commit, the new behavior is not working 100% but some
of that is probably baked into tests that are not testing the
right thing.  This is a decent snapshot point, I think, along the
way to getting the update done.

Reorder operations in git reset

This corrects the order of operations in git reset so that the
checkout to reset the working directory content is done before
the HEAD is moved.  This allows us to use the HEAD and the index
content to know what files can / should safely be reset.

Unfortunately, there are still some cases where the behavior of
this revision differs from core git.  Notable, a file which has
been added to the index but is not present in the HEAD is
considered to be tracked by core git (and thus removable by a
reset command) whereas since this loads the target state into
the index prior to resetting, it will consider such a file to be
untracked and won't touch it.  That is a larger fix that I'll
defer to a future commit.

Failing test on git_checkout_tree when removing directories

Add failing test to demonstrate wrong checkout behaviour

missing error message is confusing

Clear error to avoid leaving invalid error behind

Update cl_git_pass to return more info

This adds a failure reporting function that is called by
cl_git_pass which captures the actual error return code and
the error message if available in the failure report.

clar: lolpython

clar: Corrupted pickles

Merge pull request #1174 from nulltoken/topic/soft_reset_with_index_conflicts

Prevent soft reset when index contains conflicts

clar: make it compatible with python3

clar: haha

clar: fix warning on Windows

Ignore clar.suite.rule

Fix git_index sorting with core.ignorecase in git_index_read

reset: Cannot soft reset with a conflicted index

Merge pull request #1189 from martinwoodward/tests-compliance

Add jGit license block to derrived tests

Add jGit license block to derrived tests

Add the jGit license block to tests derrived from jGit as per the
terms of the BSD license.

Merge branch 'clar2' into development

Conflicts:
src/pqueue.c
src/pqueue.h
src/util.c
tests-clar/merge/setup.c

clar: fix merge/setup.c

Remove whitespace

Add note in CONVENTIONS about inlined functions

Add Brian Downing to the hall of fame

MERGE_HEAD contents iterator

Give proper license notice to code from Android

The usage of the Android derrived code contains a full notice
which must be provided with the source code as per the terms
given at:
https://android.googlesource.com/platform/bionic/+/android-4.0.3_r1.1/libc/bionic/dirname_r.c

Add full license notice to bsearch code

The original BSD glibc code contains the notice as given at
http://opensource.apple.com/source/gcc/gcc-5666.3/libiberty/bsearch.c
and should be given in full along with the code.

Fix bug in gen_pktline() for deletes of missing remote refs

* gen_pktline() in smart_protocol.c was skipping refspecs that deleted
  refs that were not advertised by the server.  The new behavior is to
  send a delete command with an old-id of zero, which matches the behavior
  of the official git client.
* Update test_network_push__delete() in reaction to above fix.
* Obviate messy logic that handles missing push_spec rrefs by canonicalizing
  push_spec.  After calculate_work(), loid, roid, and rref, are filled in with
  exactly what is sent to the server

Add Apache license header back to libpqueue files

The original libpqueue file were licensed under Apache 2.0 so
therefore should retain their copyrights and header as per the
license terms at http://www.apache.org/licenses/LICENSE-2.0

expose merge metadata cleanup

add option to allow git note overwrite

Fix git__strncasecmp

notes.c - whitespace fix

Merge pull request #1184 from ethomson/mergehead_iterator

MERGE_HEAD contents iterator

Merge pull request #1183 from congyiwu/push_delete_fix

Fix bug in gen_pktline() for deletes of missing remote refs

Merge pull request #1188 from tnm/inline-convention

Inline convention

Remove whitespace

Add note in CONVENTIONS about inlined functions

Merge pull request #1187 from martinwoodward/give-props

Add Brian Downing to the hall of fame

Add Brian Downing to the hall of fame

Merge pull request #1186 from martinwoodward/compliance-audit

License Compliance Audit

MERGE_HEAD contents iterator

Give proper license notice to code from Android

The usage of the Android derrived code contains a full notice
which must be provided with the source code as per the terms
given at:
https://android.googlesource.com/platform/bionic/+/android-4.0.3_r1.1/libc/bionic/dirname_r.c

Add full license notice to bsearch code

The original BSD glibc code contains the notice as given at
http://opensource.apple.com/source/gcc/gcc-5666.3/libiberty/bsearch.c
and should be given in full along with the code.

Fix bug in gen_pktline() for deletes of missing remote refs

* gen_pktline() in smart_protocol.c was skipping refspecs that deleted
  refs that were not advertised by the server.  The new behavior is to
  send a delete command with an old-id of zero, which matches the behavior
  of the official git client.
* Update test_network_push__delete() in reaction to above fix.
* Obviate messy logic that handles missing push_spec rrefs by canonicalizing
  push_spec.  After calculate_work(), loid, roid, and rref, are filled in with
  exactly what is sent to the server

Add Apache license header back to libpqueue files

The original libpqueue file were licensed under Apache 2.0 so
therefore should retain their copyrights and header as per the
license terms at http://www.apache.org/licenses/LICENSE-2.0

Merge pull request #1185 from ethomson/cleanup_merge

expose merge metadata cleanup

expose merge metadata cleanup

Fix core::env cleanup code

Mark fake home directories that failed to be created, so we won't
try to remove them and have cleanup just use p_rmdir.

Status tests...

Even more cleanups

Proper cleanup jeez

Move test cleanup into cleanup functions

Cleanup after tests

Tests should clean up after themselves

Merge pull request #1181 from nvloff/allow_note_overwrite

Allow note overwrite

add option to allow git note overwrite

Fix git__strncasecmp

notes.c - whitespace fix

Merge branch 'development' into clar2

Conflicts:
tests-clar/clone/nonetwork.c
tests-clar/online/clone.c
tests-clar/online/fetchhead.c

Prototypes warning goes away

Remove the submodule from travis

...and add Clar raw

Remove the clar submodule

Fix network suite

/deal with it

...fine

Proper submodule dependency

Disable Network suite by default

Move some clone tests to the nonetwork suite

Merge pull request #1152 from ben/clone-api-structification

Segregate in-memory and persisted remotes

Include checkout options inline

This is a better name

Try it like this...

Remove `inmem` flag, use NULL name instead

Move `url` to last place in parameter list

Fuck you CMake

Submodule checkout

Checkout test

path: ifdef GIT_WIN32 looks_like_network_computer_name()

Add build dependency for clar. Also, fuck you CMake. Fuck you.

Bump the Clar submodule

Cleanup Clar to make it SIMPLER

Merge pull request #1177 from arrbee/update-example-showindex

Update showindex example

Update showindex example

I find the showindex example to be pretty useful on occasion, but
there were are couple of output tweaks I wanted, plus I wanted the
ability to specify a path to an actual index file instead of having
to open the whole repository.  This makes those changes and expands
the example slightly.

Merge pull request #1176 from arrbee/fix-iter-memleak

Alternative fix for iterator memory leak

Merge pull request #1171 from csware/fix-compilation-vs2012

Fixed compilation with =>VS2010

Fixed compilation with VS >= 2010

Starting with VS2010 MS ships a stdint.h.

Signed-off-by: Sven Strickroth <email@cs-ware.de>