Fix issues raised on pull request

This resolves the comments on pull request #590

Migrating diff to new error handling

Ended up migrating a bunch of upstream functions as well
including vector, attr_file, and odb in order to get this
to work right.

error-handling: Repository

This also includes droping `git_buf_lasterror` because it makes no sense
in the new system. Note that in most of the places were it has been
dropped, the code needs cleanup. I.e. GIT_ENOMEM is going away, so
instead it should return a generic `-1` and obviously not throw
anything.

diff: Fix rebase breackage

error-handling: References

Yes, this is error handling solely for `refs.c`, but some of the
abstractions leak all ofer the code base.

refs: Error handling rework. WIP

error-handling: Add new routines

Obviously all the old throw routines are still in place, so we can
gradually port over.

error-handling: Add reference documentation

Fixes for merge of filters branch

Revert GIT_STATUS constants to avoid issues

This reverts the changes to the GIT_STATUS constants and adds a
new enumeration to describe the type of change in a git_diff_delta.
I don't love this solution, but it should prevent strange errors
from occurring for now.  Eventually, I would like to unify the
various status constants, but it needs a larger plan and I just
wanted to eliminate this breakage quickly.

Fixing memory leaks indicated by valgrind

This clears up the memory leaks that valgrind seems to find on
my machine.

Fix a win32 warning message

Clean up GIT_UNUSED macros on all platforms

It turns out that commit 31e9cfc4cbcaf1b38cdd3dbe3282a8f57e5366a5
did not fix the GIT_USUSED behavior on all platforms.  This commit
walks through and really cleans things up more thoroughly, getting
rid of the unnecessary stuff.

To remove the use of some GIT_UNUSED, I ended up adding a couple
of new iterators for hashtables that allow you to iterator just
over keys or just over values.

In making this change, I found a bug in the clar tests (where we
were doing *count++ but meant to do (*count)++ to increment the
value).  I fixed that but then found the test failing because it
was not really using an empty repo.  So, I took some of the code
that I wrote for iterator testing and moved it to clar_helpers.c,
then made use of that to make it easier to open fixtures on a
per test basis even within a single test file.

Update diff to use iterators

This is a major reorganization of the diff code.  This changes
the diff functions to use the iterators for traversing the
content.  This allowed a lot of code to be simplified.  Also,
this moved the functions relating to outputting a diff into a
new file (diff_output.c).

This includes a number of other changes - adding utility
functions, extending iterators, etc. plus more tests for the
diff code.  This also takes the example diff.c program much
further in terms of emulating git-diff command line options.

Fixing unit tests post rebase

Some changes that merged cleanly actually broke the unit
tests, so this fixes them.

First pass of diff index to workdir implementation

This is an initial version of git_diff_workdir_to_index.  It
also includes renaming some structures and some refactoring
of the existing code so that it could be shared better with
the new function.

This is not complete since it needs a rebase to get some
new odb functions from the upstream branch.

Add tests and fix bugs for diff whitespace options

Once I added tests for the whitespace handling options of
diff, I realized that there were some bugs.  This fixes
those and adds the new tests into the test suite.

Continue implementation of git-diff

* Implemented git_diff_index_to_tree
* Reworked git_diff_options structure to handle more options
* Made most of the options in git_diff_options actually work
* Reorganized code a bit to remove some redundancy
* Added option parsing to examples/diff.c to test most options

Fix minor WIN32 incompatibility

File mode flags are not all defined on WIN32, but since git
is so rigid in how it uses file modes, there is no reason not
to hard code a particular value.  Also, this is only used in
the git_diff_print_compact helper function, so it is really
really not important.

Clean up diff implementation for review

This fixes several bugs, updates tests and docs, eliminates the
FILE* assumption in favor of printing callbacks for the diff patch
formatter helpers, and adds a "diff" example function that can
perform a diff from the command line.

Implement diff lists and formatters

This reworks the diff API to separate the steps of producing
a diff descriptions from formatting the diff.  This will allow
us to share diff output code with the various diff creation
scenarios and will allow us to implement rename detection as
an optional pass that can be run on a diff list.

Initial implementation of git_diff_blob

This gets the basic plumbing in place for git_diff_blob.
There is a known issue where additional parameters like
the number of lines of context to display on the diff
are not working correctly (which leads one of the new
unit tests to fail).

Eliminate xdiff compiler warnings

This cleans up the various GCC compiler warnings with the
xdiff code that was copied in.

Simplify GIT_UNUSED macros

Since casting to void works to eliminate errors with unused
parameters on all platforms, avoid the various special cases.
Over time, it will make sense to eliminate the GIT_UNUSED
macro completely and just have GIT_UNUSED_ARG.

Import xdiff library from git

This is the initial import of the xdiff code (LGPL) from
core git as of rev f349b562086e2b7595d8a977d2734ab2ef9e71ef

Add test for possible attr bug

This is a test that should replicate an issue that Peff
is setting with git attributes.  But the test doesn't fail.

Merge pull request #575 from libgit2/filters

Filters, yo

Add filter tests and fix some bugs

This adds some initial unit tests for file filtering and fixes
some simple bugs in filter application.

attr: Add missing header to test suite

config: Add missing file

config: Implement a proper cvar cache

attr: Change the attribute check macros

The point of having `GIT_ATTR_TRUE` and `GIT_ATTR_FALSE` macros is to be
able to change the way that true and false values are stored inside of
the returned gitattributes value pointer.

However, if these macros are implemented as a simple rename for the
`git_attr__true` pointer, they will always be used with the `==`
operator, and hence we cannot really change the implementation to any
other way that doesn't imply using special pointer values and comparing
them!

We need to do the same thing that core Git does, which is using a
function macro. With `GIT_ATTR_TRUE(attr)`, we can change
internally the way that these values are stored to anything we want.

This commit does that, and rewrites a large chunk of the attributes test
suite to remove duplicated code for expected attributes, and to
properly test the function macro behavior instead of comparing
pointers.

filter: Beautiful refactoring

Comments soothe my soul.

filter: Properly cache filter settings

filter: Precache the filter config options on load

config: Refactor & add `git_config_get_mapped`

Sane API for real-world usage.

filter: Add write-to CRLF filter

filter: Load attributes for file

Merge pull request #576 from carlosmn/revwalk

Friendlier revision walking

Simple test for pushing HEAD and hiding a branch

revwalk: add convenience function to push/hide HEAD

It's not unusual to want the walker to act on HEAD, so add a
convencience function for the case that the user doesn't already have
a resolved HEAD reference.

Add revwalk glob test

revwalk: introduce pushing and hiding by glob

git_revwalk_{push,hide}_glob() lets you push the OIDs of references
that match the specified glob. This is the basics for what git.git
does with the rev-list options --branches, --tags, --remotes and
--glob.

Move revwalk test to clar

buffer: Null terminate on rtrim

filter: Apply filters before writing a file to the ODB

Initial implementation. The relevant code is in `blob.c`: the blob write
function has been split into smaller functions.

- Directly write a file to the ODB in streaming mode

- Directly write a symlink to the ODB in direct mode

- Apply a filter, and write a file to the ODB in direct mode

When trying to write a file, we first call `git_filter__load_for_file`,
which populates a filters array with the required filters based on the
filename.

If no filters are resolved to the filename, we can write to the ODB in
streaming mode straight from disk. Otherwise, we load the whole file in
memory and use double-buffering to apply the filter chain. We finish
by writing the file as a whole to the ODB.

buffer: Unify `git_fbuffer` and `git_buf`

This makes so much sense that I can't believe it hasn't been done
before. Kill the old `git_fbuffer` and read files straight into
`git_buf` objects.

Also: In order to fully support 4GB files in 32-bit systems, the
`git_buf` implementation has been changed from using `ssize_t` for
storage and storing negative values on allocation failure, to using
`size_t` and changing the buffer pointer to a magical pointer on
allocation failure.

Hopefully this won't break anything.

Merge pull request #574 from carlosmn/remotes

Add git_remote_list()

Add git_remote_list()

Loops through the configuration and generates a list of configured
remotes.

config: add more comprehensive multivar tests

config: correctly deal with setting a multivar with regex where there are no matches

We used to erroneously consider "^$" as a special case for appending a
value to a multivar. This was a misunderstanding and we should always
append a value if there are no existing values that match.

While we're in the area, replace all the variables in-memory in one
swoop and then replace them on disk so as to avoid matching a value
we've just introduced.

A remote exists with an URL alone

We used to consider it an error if a remote didn't have at least a
fetch refspec. This was too much checking, as a remote doesn't in fact
need to have anything other than an URL configured to be considered
a remote.

Ensure that commits don't fail if committing content that already exists

Making a commit that results in a blob that already exists in the ODB (i.e.
committing something, then making a revert commit) will result in us trying
to p_rename -> MoveFileExW a temp file into the existing ODB entry. Despite
the MOVEFILE_REPLACE_EXISTING flag is passed in, Win32 does not care and
fails it with STATUS_ACCESS_DENIED.

To fix this, we p_unlink the ODB entry before attempting to rename it. This
call will typically fail, but we don't care, we'll let the p_rename fail if
the file actually does exist and we couldn't delete it for some reason (ACLs,
etc).

Merge pull request #573 from schu/tests-notes-fix

tests-clar/notes: init oid before using

tests-clar/notes: init oid before using

Reported-by: Carlos Martín Nieto <carlos@cmartin.tk>
Signed-off-by: schu <schu-github@schulog.org>

tree: break out on write error

If write_tree() returs an error, we used to set the error message and
continued looping. Exit the loop so we return the error.

Fix workdir iterator unit tests

This test is fragile if you leave extra files in the test
data directory, such as a foo.c~ file from editing with
Emacs.  Who would do such a thing?

Fix readdir usage across platforms

This fixes the missing readdir_r from win32 and fixes other
platforms to always use the reentrant readdir_r form for reading
directory contents.

Fix warnings about type conversion on win32

Merge pull request #572 from schu/fix-warning-uninitialized

Fix -Wuninitialized warning

Fix -Wuninitialized warning

Signed-off-by: schu <schu-github@schulog.org>

Merge pull request #570 from arrbee/uniform-iterators

Uniform iterators for trees, index, and workdir

Fix iterators based on pull request feedback

This update addresses all of the feedback in pull request #570.

The biggest change was to create actual linked list stacks for
storing the tree and workdir iterator state.  This cleaned up
the code a ton.  Additionally, all of the static functions had
their 'git_' prefix removed, and a lot of other unnecessary
changes were removed from the original patch.

Iterator improvements from diff implementation

This makes two changes to iterator behavior: first, advance
can optionally do the work of returning the new current value.
This is such a common pattern that it really cleans up usage.

Second, for workdir iterators, this removes automatically
iterating into directories.  That seemed like a good idea,
but when an entirely new directory hierarchy is introduced
into the workdir, there is no reason to iterate into it if
there are no corresponding entries in the tree/index that it
is being compared to.

This second change actually wasn't a lot of code because not
descending into directories was already the behavior for
ignored directories.  This just extends that to all directories.

Merge pull request #565 from carlosmn/multimap

Add config multivar support

Merge pull request #571 from saurik/development

Export parse_tag_buffer as git_tag__parse_buffer.

Export parse_tag_buffer as git_tag__parse_buffer.

Uniform iterators for trees, index, and workdir

This create a new git_iterator type of object that provides a
uniform interface for iterating over the index, an arbitrary
tree, or the working directory of a repository.

As part of this, git ignore support was extended to support
push and pop of directory-based ignore files as the working
directory is being traversed (so the array of ignores does
not have to be recreated at each directory during traveral).

There are a number of other small utility functions in buffer,
path, vector, and fileops that are included in this patch
that made the iterator implementation cleaner.

Fix check for writing remote's fetch and push configurations

Fix copy-paste error

Merge pull request #568 from carlosmn/remotes

Remotes improvements

Move git_remote_load() to git_buf

Add git_remote_save()

Add git_remote_set_{fetch,push}spec()

Allow setting the fetch and push refspecs, which is useful for
creating new refspecs.

regex: fix sign warnings

regex: The world uses utf-8

regex: Move the defines to a config header and include it unconditionally

Add GNU LGPL to COPYING

Add POSIX regex sources when needed

Windows doesn't support POSIX regex, so we need to include it
ourselves. The sources come from git, which in turn took them from
gawk.

Document {get,set}_multivar

Implement setting multivars

Support getting multivars

tests: add multivar read test

Store multivars in the multimap

First round of config multimap changes

Move the configuration to use a multimap instead of a list. This
commit doesn't provide any functional changes but changes the support
structures.

Merge pull request #563 from schu/notes-fixup

notes: fix assert

notes: fix assert

Hopefully fix issue "Don't sleep and code" - #558.

Signed-off-by: schu <schu-github@schulog.org>

Merge pull request #558 from schu/notes-api

Notes API

Add git notes API

This commit adds basic git notes support to libgit2, namely:

* git_note_read
* git_note_message
* git_note_oid
* git_note_create
* git_note_remove

In the long run, we probably want to provide some convenience callback
mechanism for merging and moving (filter-branch) notes.

Signed-off-by: schu <schu-github@schulog.org>

zlib: Remove custom `git2/zlib.h` header

This is legacy compat stuff for when `deflateBound` is not defined, but
we're not embedding zlib and that function is always available. Kill
that with fire.

util: add git__ishex

git__ishex allows to check if a string is a hexadecimal representation.

Signed-off-by: schu <schu-github@schulog.org>

commit: actually allow yet to be born update_ref

git_commit_create is supposed to update the given reference
"update_ref", but segfaulted in case of a yet to be born
reference. Fix it.

Signed-off-by: schu <schu-github@schulog.org>

Merge pull request #557 from schu/copyright

Update Copyright header

Update Copyright header

Signed-off-by: schu <schu-github@schulog.org>

Merge pull request #474 from schu/clang-unused

Fix "clang warning: expression result unused"

config_file: fix clang sizeof-pointer-memaccess

Merge pull request #556 from schu/fix-sign-compare

tests-clar: fix warning sign-compare

tests-clar: fix warning sign-compare

Signed-off-by: schu <schu-github@schulog.org>

Merge pull request #554 from carlosmn/revwalk-reset

revwalk: unmark commits as uninteresting on reset

odb: Proper symlink hashing

odb: Add internal `git_odb__hashfd`