Add support for pathspec to diff and status

This adds preliminary support for pathspecs to diff and status.
The implementation is not very optimized (it still looks at
every single file and evaluated the the pathspec match against
them), but it works.

Merge remote-tracking branch 'carlosmn/revwalk-merge-base' into new-error-handling

Merge pull request #623 from arrbee/refactor-open

Update git_repository_open

branch: simplify error handling for git_branch_move()

The cleanup needs to happen anyway, so set the error code and jump
there instead of copying the code.

Merge pull request #625 from carlosmn/valgrind

Plug a few leaks

local transport: plug leak

branch: plug leaks in git_branch_move() and _delete()

error-handling: revwalk

Move git_merge_base() to is own header and document it

revwalk: use a priority queue for calculating merge bases

As parents are older than their children, we're appending to the
commit list most of the time, which makes an ordered linked list quite
inefficient.

While we're there, don't sort the results list in the main loop, as
we're sorting them afterwards and it creates extra work.

revwalk: add test hiding a commit without a merge base

Nothing should be hidden and this shouldn't bother the merge base
calculation.

revwalk: use merge bases to speed up processing

There is no need walk down the parents of a merge base to mark them as
uninteresting because we'll never see them. Calculate the merge bases
in prepare_walk() so mark_uninteresting() can stop at a merge base
instead of walking all the way to the root.

Implement git_merge_base()

It's implemented in revwalk.c so it has access to the revision
walker's commit cache and related functions. The algorithm is the one
used by git, modified so it fits better with the library's functions.

revwalk: allow pushing/hiding a reference by name

The code was already there, so factor it out and let users push an OID
by giving it a reference name. Only refs to commits are
supported. Annotated tags will throw an error.

revwalk: don't assume malloc succeeds

Refactor git_repository_open with new options

Add a new command `git_repository_open_ext` with extended options
that control how searching for a repository will be done.  The
existing `git_repository_open` and `git_repository_discover` are
reimplemented on top of it.  We may want to change the default
behavior of `git_repository_open` but this commit does not do that.

Improve support for "gitdir" files where the work dir is separate
from the repo and support for the "separate-git-dir" config.  Also,
add support for opening repos created with `git-new-workdir` script
(although I have only confirmed that they can be opened, not that
all functions work correctly).

There are also a few minor changes that came up:

- Fix `git_path_prettify` to allow in-place prettifying.

- Fix `git_path_root` to support backslashes on Win32.  This fix
  should help many repo open/discover scenarios - it is the one
  function called when opening before prettifying the path.

- Tweak `git_config_get_string` to set the "out" pointer to NULL
  if the config value is not found.  Allows some other cleanup.

- Fix a couple places that should have been calling
  `git_repository_config__weakptr` and were not.

- Fix `cl_git_sandbox_init` clar helper to support bare repos.

Cannot set workdir to a nonexistent dir

status: Remove status_old

This is Git yo. You can fetch stuff from the history if you need it.

tests: Remove unused file

error-handling local transport

error-handling: fetch

Use new error handling in the example network code

netops: show winsock error messages on Windows

error-handling: netops

error-handling: http

error-handling: git transport

error-handling: protocol, pkt

error-handling: remote, transport

Fix compilation errors and warnings

Typedefs don't have enum in front

Merge pull request #619 from nulltoken/topic/branches

Basic branch management API

repository: make git_repository_set_workdir() prettify the path it is being passed

Merge branch 'new-error-handling' of github.com:libgit2/libgit2 into new-error-handling

branch: add git_branch_move()

fileops: Make git_futils_mkdir_r() able to skip non-empty directories

Add basic branch management API: git_branch_create(), git_branch_delete(), git_branch_list()

transport/local: Fix peeling of nested tags

tag: Add git_tag_peel() which recursively peel a tag until a non tag git_object is met

Merge pull request #618 from nulltoken/fix/warning

Fix compilation warning

Fix  MSVC "unreferenced local variable" compilation warning.

Clean up valgrind warnings

Merge pull request #596 from nulltoken/fix/non-7bit-ascii-reference-names

Allow references to bear non-7bit-ascii names on Windows

error-handling: Commit (WIP)

reference: Fix creation of references with extended ASCII characters in their name

Merge pull request #610 from arrbee/status-rewrite

Rewrite status using diff

Fix bug when join_n refers to original buffer

There was a bug in git_buf_join_n when the contents of the
original buffer were joined into itself and the realloc
moved the pointer to the original buffer.

Improve config handling for diff,submodules,attrs

This adds support for a bunch of core.* settings that affect
diff and status, plus fixes up some incorrect implementations
of those settings from before.  Also, this cleans up the
handling of config settings in the new submodules code and
in the old attrs/ignore code.

Added submodule API and use in status

When processing status for a newly checked out repo, it is
possible that there will be submodules that have not yet been
initialized.  The only way to distinguish these from untracked
directories is to have some knowledge of submodules.  This
commit adds a new submodule API which, given a name or path,
can determine if it appears to be a submodule and can give
information about the submodule.

Fix handling of submodules in trees

Eliminate hairy COITERATE macro

I decided that the COITERATE macro was, in the end causing
more confusion that it would save and decided just to write
out the loops that I needed for parallel diff list iteration.
It is not that much code and this just feels less obfuscated.

Fix error in tree iterator when popping up trees

There was an error in the tree iterator where it would
delete two tree levels instead of just one when popping
up a tree level.  Unfortunately the test data for the
tree iterator did not have any deep trees with subtrees
in the middle of the tree items, so this problem went
unnoticed.  This contains the 1-line fix plus new test
data and tests that reveal the issue.

Restore default status recursion behavior

This gives `git_status_foreach()` back its old behavior of
emulating the "--untracked=all" behavior of git.  You can
get any of the various --untracked options by passing flags
to `git_status_foreach_ext()` but the basic version will
keep the behavior it has always had.

Fix crash in new status and add recurse option

This fixes the bug that @nulltoken found (thank you!) where
if there were untracked directories alphabetically after the
last tracked item, the diff implementation would deref a NULL
pointer.

The fix involved the code which decides if it is necessary
to recurse into a directory in the working dir, so it was
easy to add a new option `GIT_STATUS_OPT_RECURSE_UNTRACKED_DIRS`
to control if the contents of untracked directories should be
included in status.

Merge pull request #607 from nulltoken/fix/file-close-on-error

test helpers: Fix file close on error

Migrate remaining status tests to Clar

This finishes up the migration of remaining tests from
tests/t18-status.c over the tests-clar/status/worktree.c.

More status testing

This "fixes" the broken t18 status tests to accurately reflect
the new behavior for "created" untracked subdirectories.  See
discussion in the PR for more details.

This also contains the submodules unit test that I forgot to
git add, and ports most of the t18-status.c tests to clar (still
missing a couple of the git_status_file() single file tests).

New status fixes

This adds support for roughly-right tracking of submodules
(although it does not recurse into submodules to detect
internal modifications a la core git), and it adds support
for including unmodified files in diff iteration if requested.

Adding new tests for new status command

This is a work in progress.  This adds two new sets of tests,
the issue_592 tests from @nulltoken's pull request #601 and
some new tests for submodules.  The submodule tests still have
issues where the status is not reported correctly.  That needs
to be fixed before merge.

Reimplment git_status_foreach using git diff

This is an initial reimplementation of status using diff a la
the way that core git does it.

Merge pull request #602 from arrbee/more-error-handling

More error handling conversions

test_helpers: fix unepextected closing of file on error

Convert reflog to new errors

Cleaned up some other issues.

Convert indexer, notes, sha1_lookup, and signature

More files moved to new error handling style.

Migrate index, oid, and utils to new errors

This includes a few cleanups that came up while converting
these files.

This commit introduces a could new git error classes, including
the catchall class: GITERR_INVALID which I'm using as the class
for invalid and out of range values which are detected at too low
a level of library to use a higher level classification.  For
example, an overflow error in parsing an integer or a bad letter
in parsing an OID string would generate an error in this class.

Update to latest clar

Convert attr, ignore, mwindow, status to new errors

Also cleaned up some previously converted code that still had
little things to polish.

Merge pull request #600 from nulltoken/fix/windows-network-paths

Fix windows network paths

Make git_path_root() cope with windows network paths

Fix libgit2/libgit2sharp#125

Merge pull request #595 from arrbee/new-errors-odb

Update odb code to new error handling

Continue error conversion

This converts blob.c, fileops.c, and all of the win32 files.
Also, various minor cleanups throughout the code.  Plus, in
testing the win32 build, I cleaned up a bunch (although not
all) of the warnings with the 64-bit build.

Convert attr and other files to new errors

This continues to add other files to the new error handling
style.  I think the only real concerns here are that there are
a couple of error return cases that I have converted to asserts,
but I think that it was the correct thing to do given the new
error style.

Resolve comments from pull request

This converts the map validation function into a macro, tweaks
the GITERR_OS system error automatic appending, and adds a
tentative new error access API and some quick unit tests for
both the old and new error APIs.

Add map.c with shared p_mmap param validation

Forgot to add this file in the previous commit

Migrate ODB files to new error handling

This migrates odb.c, odb_loose.c, odb_pack.c and pack.c to
the new style of error handling.  Also got the unix and win32
versions of map.c.  There are some minor changes to other
files but no others were completely converted.

This also contains an update to filebuf so that a zeroed out
filebuf will not think that the fd (== 0) is actually open
(and inadvertently call close() on fd 0 if cleaned up).

Lastly, this was built and tested on win32 and contains a
bunch of fixes for the win32 build which was pretty broken.

error-handling: On-disk config file backend

Includes:

- Proper error reporting when encountering syntax errors in a
config file (file, line number, column).

- Rewritten `config_write`, now with 99% less goto-spaghetti

- Error state in `git_filebuf`: filebuf write functions no longer
need to be checked for error returns. If any of the writes performed
on a buffer fail, the last call to `git_filebuf_commit` or
`git_filebuf_hash` will fail accordingly and set the appropiate error
message. Baller!

Merge pull request #590 from arrbee/new-error-handling

Migrating diff to new error handling

Fix issues raised on pull request

This resolves the comments on pull request #590

error-handling: Config

Migrating diff to new error handling

Ended up migrating a bunch of upstream functions as well
including vector, attr_file, and odb in order to get this
to work right.

error-handling: Repository

This also includes droping `git_buf_lasterror` because it makes no sense
in the new system. Note that in most of the places were it has been
dropped, the code needs cleanup. I.e. GIT_ENOMEM is going away, so
instead it should return a generic `-1` and obviously not throw
anything.

diff: Fix rebase breackage

error-handling: References

Yes, this is error handling solely for `refs.c`, but some of the
abstractions leak all ofer the code base.

refs: Error handling rework. WIP

error-handling: Add new routines

Obviously all the old throw routines are still in place, so we can
gradually port over.

error-handling: Add reference documentation

Fixes for merge of filters branch

Revert GIT_STATUS constants to avoid issues

This reverts the changes to the GIT_STATUS constants and adds a
new enumeration to describe the type of change in a git_diff_delta.
I don't love this solution, but it should prevent strange errors
from occurring for now.  Eventually, I would like to unify the
various status constants, but it needs a larger plan and I just
wanted to eliminate this breakage quickly.

Fixing memory leaks indicated by valgrind

This clears up the memory leaks that valgrind seems to find on
my machine.

Fix a win32 warning message

Clean up GIT_UNUSED macros on all platforms

It turns out that commit 31e9cfc4cbcaf1b38cdd3dbe3282a8f57e5366a5
did not fix the GIT_USUSED behavior on all platforms.  This commit
walks through and really cleans things up more thoroughly, getting
rid of the unnecessary stuff.

To remove the use of some GIT_UNUSED, I ended up adding a couple
of new iterators for hashtables that allow you to iterator just
over keys or just over values.

In making this change, I found a bug in the clar tests (where we
were doing *count++ but meant to do (*count)++ to increment the
value).  I fixed that but then found the test failing because it
was not really using an empty repo.  So, I took some of the code
that I wrote for iterator testing and moved it to clar_helpers.c,
then made use of that to make it easier to open fixtures on a
per test basis even within a single test file.

Update diff to use iterators

This is a major reorganization of the diff code.  This changes
the diff functions to use the iterators for traversing the
content.  This allowed a lot of code to be simplified.  Also,
this moved the functions relating to outputting a diff into a
new file (diff_output.c).

This includes a number of other changes - adding utility
functions, extending iterators, etc. plus more tests for the
diff code.  This also takes the example diff.c program much
further in terms of emulating git-diff command line options.

Fixing unit tests post rebase

Some changes that merged cleanly actually broke the unit
tests, so this fixes them.

First pass of diff index to workdir implementation

This is an initial version of git_diff_workdir_to_index.  It
also includes renaming some structures and some refactoring
of the existing code so that it could be shared better with
the new function.

This is not complete since it needs a rebase to get some
new odb functions from the upstream branch.

Add tests and fix bugs for diff whitespace options

Once I added tests for the whitespace handling options of
diff, I realized that there were some bugs.  This fixes
those and adds the new tests into the test suite.

Continue implementation of git-diff

* Implemented git_diff_index_to_tree
* Reworked git_diff_options structure to handle more options
* Made most of the options in git_diff_options actually work
* Reorganized code a bit to remove some redundancy
* Added option parsing to examples/diff.c to test most options

Fix minor WIN32 incompatibility

File mode flags are not all defined on WIN32, but since git
is so rigid in how it uses file modes, there is no reason not
to hard code a particular value.  Also, this is only used in
the git_diff_print_compact helper function, so it is really
really not important.

Clean up diff implementation for review

This fixes several bugs, updates tests and docs, eliminates the
FILE* assumption in favor of printing callbacks for the diff patch
formatter helpers, and adds a "diff" example function that can
perform a diff from the command line.

Implement diff lists and formatters

This reworks the diff API to separate the steps of producing
a diff descriptions from formatting the diff.  This will allow
us to share diff output code with the various diff creation
scenarios and will allow us to implement rename detection as
an optional pass that can be run on a diff list.

Initial implementation of git_diff_blob

This gets the basic plumbing in place for git_diff_blob.
There is a known issue where additional parameters like
the number of lines of context to display on the diff
are not working correctly (which leads one of the new
unit tests to fail).

Eliminate xdiff compiler warnings

This cleans up the various GCC compiler warnings with the
xdiff code that was copied in.