Go through `layout` to get doc dir output directories

Merge the get/download methods on the Source trait

Nothing currently implements the ability to more efficiently download a set of
packages at any one point in time, and the download/get distinction isn't really
used at all. We can always refactor later, but currently there's no benefit, nor
can it really be seen what the possible benefit is, so let's just merge these
two methods into one and have them operate on one id at a time.

Remove SourceSet

This isn't used anywhere

Remove the ability to list packages in PackageSet

If we download lazily, that's excessively wasteful!

Move the `get_package` step later when calculating deps

Future calls to `get_package` may end up actually downloading a package, so we
want to defer this as late as possible to ensure that we don't download
anything.

Refactor build script output state initialization

Like with the previous refactor, remove the need to list all packages in a
package set as we only need to lazily do this for the actual packages being
compiled. Whenever a build script is requested to be executed is when we
actually go and try to see if an override was in play.

Refactor links validation to not use PackageSet

Eventually we may not have the entire set of packages resident in memory, so
refactor the implementation to validate the `links` attribute in a demand driven
way rather than all at once up front.

Fuse SourceMap and PackageSet

This commit moves the SourceMap structure into the PackageSet structure, and
simultaneously massively cuts down on the API surface area of PackageSet. It's
intended that eventually a PackageSet will be a lazily loaded set of packages so
we don't have to download everything all at once, and this is the commit in
preparation of that.

Auto merge of #2393 - WiSaGaN:bugfix/tests-mod-naming, r=alexcrichton

In the default `lib.rs` provided by `cargo-new`, the "test" module is named "test" while Rust convention is using "tests" as the name of the module: https://doc.rust-lang.org/book/testing.html#the-tests-module
The plural form also conforms with the style used in special directories at project root such as "examples" and "tests".
This pull request conforms to the existing style.

Fix naming of tests mod in cargo new

Auto merge of #2390 - vi:conditionalize_adding_cargo_lock_to_gitignore, r=alexcrichton

For cargo new, it depends on --bin option

For cargo init, it depends on detected files
(--bin option may be used or may be ignored)

No tests conver this code so far.

cargo init: Implement test for conditional Cargo.lock ignoring

Auto merge of #2391 - alexcrichton:update, r=alexcrichton

Fixes compile on nightly

Update tar-rs dependency

Fixes compile on nightly

Auto merge of #2389 - vu3rdd:doc-init, r=alexcrichton

The commit documents the 'cargo init' sub-command in the usage string and in the manpage.

cargo new/init: Conditionalize adding Cargo.lock to gitignore

For cargo new, it depends on --bin option

For cargo init, it depends on detected files
(--bin option may be used or may be ignored)

No tests conver this code so far.

document "cargo init"

Auto merge of #2328 - alexcrichton:target-specific-deps, r=brson

This commit is an implementation of [RFC 1361][rfc] which is an extension of
Cargo's `target` section in `Cargo.toml` to allow the use of `#[cfg]`-like
expressions for target-specific dependencies. Now that the compiler has been
extended with `--print cfg` each invocation of Cargo will scrape this output and
learn about the relevant `#[cfg]` directives in play for the target being
compiled. Cargo will then use these directives to decide whether a dependency
should be activated or not.

This should allow definition of dependencies along the lines of:

    [target.'cfg(unix)'.dependencies]
    [target.'cfg(target_os = "linux")'.dependencies]
    [target.'cfg(windows)'.dependencies]

Which is much more ergonomic and robust than listing all the triples out!

Implement cfg-based target-specific dependencies

This commit is an implementation of [RFC 1361][rfc] which is an extension of
Cargo's `target` section in `Cargo.toml` to allow the use of `#[cfg]`-like
expressions for target-specific dependencies. Now that the compiler has been
extended with `--print cfg` each invocation of Cargo will scrape this output and
learn about the relevant `#[cfg]` directives in play for the target being
compiled. Cargo will then use these directives to decide whether a dependency
should be activated or not.

This should allow definition of dependencies along the lines of:

    [target.'cfg(unix)'.dependencies]
    [target.'cfg(target_os = "linux")'.dependencies]
    [target.'cfg(windows)'.dependencies]

Which is much more ergonomic and robust than listing all the triples out!

Auto merge of #2387 - alexcrichton:update, r=alexcrichton

The new bundled rust version supports unwinding on 32-bit MSVC!

Update some dependencies, plus the rust version

The new bundled rust version supports unwinding on 32-bit MSVC!

Auto merge of #2365 - japaric:env-gt-config, r=alexcrichton

This patches fixes the precedence in these cases:

- CARGO_TARGET_ROOT is now preferred over build.target-dir
- RUSTC is now preferred over build.rustc
- RUSTDOC is now preferred over build.rustdoc

r? @alexcrichton

Auto merge of #2384 - jseyfried:master, r=alexcrichton

r? @alexcrichton

Remove non-inline modules in blocks

Auto merge of #2382 - carols10cents:pointer-to-release-notes, r=alexcrichton

Connects to #1919 - just adds a note and a link to rust's release notes :) :runner:

Add a note about release notes being in Rust's release notes

Auto merge of #2370 - alexcrichton:windows-jobs, r=brson

Currently it's somewhat surprising if you're using cargo and it's then ctrl-c'd.
The child processes that Cargo spawned are likely to still be running around in
the background as they're not killed as well, and this could cause output spew
or future build failures.

This situation is handled by default on Unix because ctrl-c will end up sending
a signal to the entire *process group*, which kills everything, but on Windows
we're not as lucky (just Cargo itself is killed). By using job objects on
Windows we can ensure that the entire tree dies instead of just the top Cargo
process.

cc #2343

Use job objects on windows for ctrl-c to work

Currently it's somewhat surprising if you're using cargo and it's then ctrl-c'd.
The child processes that Cargo spawned are likely to still be running around in
the background as they're not killed as well, and this could cause output spew
or future build failures.

This situation is handled by default on Unix because ctrl-c will end up sending
a signal to the entire *process group*, which kills everything, but on Windows
we're not as lucky (just Cargo itself is killed). By using job objects on
Windows we can ensure that the entire tree dies instead of just the top Cargo
process.

cc #2343

fix: prefer env variables over config files

This patches fixes the precedence in these cases:

- CARGO_TARGET_ROOT is now preferred over build.target-dir
- RUSTC is now preferred over build.rustc
- RUSTDOC is now preferred over build.rustdoc

Auto merge of #2315 - alexcrichton:decode-some-signals, r=brson

Instead of text that looks like

    Process failed (signal: 11)

the text now looks like:

    Process failed (signal: 11, SIGSEGV: invalid memory reference)

Closes #2315

Auto merge of #2359 - matklad:metadata-no-deps, r=alexcrichton

closes #2356. The output is not exactly the same as with `read-manifest`, because I wanted to include the `version` field.

Tests and implementation is a copy-paste from `read-manifest` except that [this line](https://github.com/rust-lang/cargo/blob/master/src/bin/read_manifest.rs#L36) is omited, because `root_package` [does update anyway](https://github.com/rust-lang/cargo/blob/master/src/cargo/sources/path.rs#L51).

metadata: add --no-deps option

The intention is to eventually deprecate `cargo read-manifest`

Auto merge of #2335 - fpgaminer:config-target, r=alexcrichton

Fixed #2332.

This PR adds `build.target` to the Cargo config file, which behaves in the same way as passing `--target` to Cargo.  Example `.cargo/config`:

```
[build]
target = "thumbv6m-none-eabi"
```

Similar to how `--jobs` overrides `build.jobs`, `--target` will override `build.target`.

I added documentation to `config.md`, and a test to `test_cargo_cross_compile.rs`.  I couldn't get cross compile working on my machine for `cargo test`.  Hopefully travis passes it.

This is my first PR against Cargo; sorry if I missed any procedures.

Auto merge of #2357 - matklad:no-more-warnings-in-tests, r=alexcrichton

Warnings from unrelated tests can be a little disturbing. Maybe we should be stricter about them?

You can always temporary `#![allow(unused, warnings)]` in the module you are writing if you are in the middle of a new development and don't want the compiler putting a spoke in the wheel.

Auto merge of #2360 - jedireza:copy-change, r=alexcrichton

Fix typo on build script page

tests: deny warnings

Auto merge of #2355 - alexcrichton:fix-ordering-bug, r=brson

Cargo needs to ensure that if a build script prints a `-L` path that it's the
first `-L` path passed to the compiler. That way the build script can be sure
that any output it generated is the first to be considered by the compiler.

Closes #2354

Fix DAG ordering of passed -L flags

Cargo needs to ensure that if a build script prints a `-L` path that it's the
first `-L` path passed to the compiler. That way the build script can be sure
that any output it generated is the first to be considered by the compiler.

Closes #2354

Auto merge of #2353 - debris:bench_no_run, r=alexcrichton

Closes #2350

fixed cargo bench --no-run

Auto merge of #2351 - rbtcollins:master, r=alexcrichton

Auto merge of #2352 - alexcrichton:new-snapshots, r=alexcrichton

The current snapshot is *super* old (305 days), but as of a few minutes ago it looks like all builds are going to fail with:

```
    Updating registry `https://github.com/rust-lang/crates.io-index`
Failed to parse registry's information for: url

Caused by:
  the given version requirement is not implemented, yet
```

I believe this is because ages ago the semver library wasn't quite fully implemented. The [most recently published url crate](https://crates.io/crates/url/0.5.4) has a version requirement that looks like `>= foo, < bar` which I believe was implemented at some point in the last year.

As a result if we want to keep building Cargo on bors we'll have to upgrade the snapshot, so this does so! For now just pick the absolute newest Cargo to run with and we reset the counters!

Register new snapshots

Fix warning about private types in API.

Auto merge of #2348 - steveklabnik:gh2337, r=alexcrichton

Fixes #2337

Add a test for this too

Auto merge of #2344 - Stebalien:upgrade-term, r=alexcrichton

This PR re-upgrades term to 0.4.3. Cargo now detects whether or not
color is supported immediately after creating the TerminfoTerminal.

Backstory:

Before v0.4, term used to return `Ok(true)` if something succeeded,
`Ok(false)` if the operation was unsupported, and `Err(io::Error)` if there
was an IO error. Now, it returns `Ok(())` if the operation succeeds and
`Err(term::Error)` if the operation fails. If the operation is unsupported,
it returns `Err(term::Error::NotSupported)`. This means that, if `op` is
unsupported, `try!(term.op())` will now return an error instead of silently
failing (well, return false but that's effectively silent).

Fixes #2338.

Don't fall back on stderr if color is unavailable

Having a TTY has no bearing on color support.

Detect whether or not the terminal supports color.

Before v0.4, term used to return `Ok(true)` if something succeeded,
`Ok(false)` if the operation was unsupported, and `Err(io::Error)` if
there was an IO error. Now, it returns `Ok(())` if the operation
succeeds and `Err(term::Error)` if the operation fails. If the operation
is unsupported, it returns `Err(term::Error::NotSupported)`. This means
that, if `op` is unsupported, `try!(term.op())` will now return an error
instead of silently failing (well, return false but that's effectively
silent).

Fixes #2338

Bump semver version

Fixes #2337

Auto merge of #2336 - antonlarin:version-flag-interception-fix, r=alexcrichton

Addresses #2286: when subcommand used `execute_main_without_stdin` and provided `--version` flag, cargo intercepted it and printed it's own version.

Auto merge of #2347 - alexcrichton:robust-tests, r=wycats

* Remove the XDG_CONFIG_HOME environment variable as we're resetting HOME
* Add GIT_CONFIG_NOSYSTEM to encourage git to not read that configuration

Closes #2345

Make tests a little more robust

* Remove the XDG_CONFIG_HOME environment variable as we're resetting HOME
* Add GIT_CONFIG_NOSYSTEM to encourage git to not read that configuration

Closes #2345

Add a test for --version flag interception

Revert "Downgrade term crate back down to 0.2 (from 0.4)."

This reverts commit 75e0371ba0cd8ca235dea4e4178cf4c88dbf2e74.

Auto merge of #2340 - gentoo90:bash-comp, r=alexcrichton

Bashcomp: complete init and metadata commands

Auto merge of #2339 - pnkfelix:downgrade-term-crate-for-emacs-shell, r=alexcrichton

Downgrade term crate back down to 0.2 (from 0.4).

This is undoing part of commit dd34296

Fix #2338

(Unfortunately I do not have a suggestion for how to make a unit test for this problem; doing so would require putting in a bit more effort than I have time for at the moment.)

Downgrade term crate back down to 0.2 (from 0.4).

This is undoing part of commit dd34296

Fix #2338

(Unfortunately I do not have a suggestion for how to make a unit test
for this problem; doing so would require putting in a bit more effort
than I have time for at the moment.)

Fix interception of subcommand --version flag

Addresses #2286: when subcommand used execute_main_without_stdin and
provided --version flag, cargo intercepted it and printed it's own
version.

Set target using config file

Auto merge of #2333 - matklad:remove-unused-var, r=alexcrichton

It became unused after https://github.com/rust-lang/cargo/commit/3194a23a706c17037556c11e7bf4303ea233f208

Is this intentional that unused variables are not denied in tests?

tests: remove unused variable

Auto merge of #2331 - matklad:metadata-encodable-resolve, r=alexcrichton

metadata: change resolve serialization

Auto merge of #2330 - rillian:fixes, r=alexcrichton

std::slice::SliceConcatExt::connect() was deprecated in 1.3.0
and renamed to join(). Now that 1.6.0 is the stable release,
we can transition to the newer method name.

Replace deprecated slice::connect with slice::join.

std::slice::SliceConcatExt::connect() was deprecated in 1.3.0
and renamed to join(). Now that 1.6.0 is the stable release,
we can transition to the newer method name.

Auto merge of #2329 - alexcrichton:fix-nightly, r=alexcrichton

Relax an output assertion to just contains instead of exhaustively matching

Fix a test on nightly Rust

Relax an output assertion to just contains instead of exhaustively matching

Auto merge of #2327 - alexcrichton:ustar-archives, r=alexcrichton

The tar::Builder type by default will build GNU archives, but
unfortunately we force it here to use UStar archives instead. The
UStar format has more limitations on the length of path name that it
can encode, so it's not quite as nice to use.

Older cargos, however, had a bug where GNU archives were interpreted
as UStar archives. This bug means that if we publish a GNU archive
which has fully filled out metadata it'll be corrupt when unpacked by
older cargos.

Hopefully in the future after enough cargos have been running around
with the bugfixed tar-rs library we'll be able to switch this over to
GNU archives, but for now we'll just say that you can't encode paths
in archives that are *too* long.

Closes #2326

Build UStar archives by default

The tar::Builder type by default will build GNU archives, but
unfortunately we force it here to use UStar archives instead. The
UStar format has more limitations on the length of path name that it
can encode, so it's not quite as nice to use.

Older cargos, however, had a bug where GNU archives were interpreted
as UStar archives. This bug means that if we publish a GNU archive
which has fully filled out metadata it'll be corrupt when unpacked by
older cargos.

Hopefully in the future after enough cargos have been running around
with the bugfixed tar-rs library we'll be able to switch this over to
GNU archives, but for now we'll just say that you can't encode paths
in archives that are *too* long.

Closes #2326

Auto merge of #2324 - rillian:fixes, r=alexcrichton

Fix a typo.

Auto merge of #2323 - alexcrichton:update-libgit2, r=alexcrichton

Fixes a linkage error on linux if libhttp_parser is already installed.

Update libgit2-sys

Fixes a linkage error on linux if libhttp_parser is already installed.

Auto merge of #2321 - JanLikar:private-crate, r=alexcrichton

I Accidentally closed #2218, this is the new PR.

[Fix #2202]

 Add field `publish` to Cargo.toml

Field `publish` set to false can be used to prevent a
package from being accidentally published.

Auto merge of #2319 - alexcrichton:compat-12, r=brson

There hasn't actually ever been a request to maintain compatibility with older
stable Rust versions, and it's becoming a bit of a maintenance burden, so just
switch CI to run on stable Rust.

Remove 1.2.0 from .travis.yml

There hasn't actually ever been a request to maintain compatibility with older
stable Rust versions, and it's becoming a bit of a maintenance burden, so just
switch CI to run on stable Rust.

Auto merge of #2317 - alexcrichton:install-current-crate, r=alexcrichton

Rolling together https://github.com/rust-lang/cargo/pull/2205 and  https://github.com/rust-lang/cargo/pull/2240

Auto merge of #2316 - alexcrichton:update, r=alexcrichton

A few small tweaks to tests were necessary to accomodate rust-lang/rust#29520,
and a few changes were made to the code to account for that as well.

Upgrade Rust to build Cargo

A few small tweaks to tests were necessary to accomodate rust-lang/rust#29520,
and a few changes were made to the code to account for that as well.

Be sure the 'is not a crate root' message shows up

Merge branch 'master' of https://github.com/JIghtuse/cargo into install-current-crate

Merge branch 'quick-install' of https://github.com/thirtythreeforty/cargo into install-current-crate

Auto merge of #2196 - matklad:metadata2, r=alexcrichton

Most of the work was done by @dan-t in #1225 and by @winger in #1434

Fixes #2193

I failed to properly rebase previous attempts so I just salvaged this from bits and pieces.

@alexcrichton are you sure that the default format should be TOML? I think that TOML is more suitable for humans, and JSON is better (at the moment at least) for tools. Maybe we should default to ~~TOML~~ JSON?

Auto merge of #2297 - alexcrichton:update, r=alexcrichton

Just a routine for niche bug fixes, linkage errors, perf improvements, etc.

Closes #2295

Update dependencies and Rust version

Just a routine for niche bug fixes, linkage errors, perf improvements, etc.

Expand what signals are in output description

Instead of text that looks like

    Process failed (signal: 11)

the text now looks like:

    Process failed (signal: 11, SIGSEGV: invalid memory reference)

Closes #231

metadata: use existing infra for JSON output

metadata: add version to format

metadata: simplify

metadata: serialize Resolve

Introduce cargo metadata subcommand

Most of the work was done by @dan-t in #1225 and by @winger in #1434

Fixes #2193

Auto merge of #2081 - vi:cargo_init, r=alexcrichton

Implement `cargo init` command and appropriate tests ( #21).

Features:
* Working like `cargo new` if there are no files in current directory
* Auto-detection of `--bin`
* Auto-detection of already existing VSC and appending to respecive ignore file
* Appending of appropriate `[lib]` or `[[bin]]` section to `Cargo.toml` in case of some non-standard source locations

Concerns:
* I'm not experienced in Rust + lazy => code looks poorer compared to the rest Cargo code
* The test don't cover 100% of functions
* Project consisting of both binary and library is not handled
* Many deviations from [previously proposed algorithm](https://github.com/rust-lang/cargo/pull/2008#issuecomment-145607870)

Implement "cargo init"

When non-existing directory is provided as argument, it
works just like "cargo new".

When existing directory is used, it may also create template
source file like "cargo new" or may find and use existing
source code for Cargo.toml.

Squashed commit of the following:

    cargo init: Supply USER envvar for one test
    cargo init: Other message when Cargo.toml already exists
    cargo init: Resolve conflict after with #2257
    fix minor issues
    cargo new/init: Simplify error handling code in entry points
    cargo new/init: Better message for invalid characters in name
    cargo init: fix minor issues in test
    cargo init: Avoid excessive builds in the test
    cargo init: minor fixes
    cargo init: Skip no_filename test on Windows
    cargo init: Implement better error message for bin name clash
    cargo init: minor fixes
    cargo init: handle "/" path
    cargo init: Actualise
    cargo new: Fix upper case error message in test
    cargo init: Remove paths::{file,directory}_already_exists
    fix uppper-case error messages
    cargo init: Fix minor issues per diff comments
    cargo init: Change binary handling
    cargo init: Move multiple lib error detection away from mk
    cargo init: Support optional path argument
    cargo init: Fix minor issues per Github comments
    cargo init: Fix complaint from tests/check-style.sh
    cargo init: Handle projects with multiple mains
    cargo init: Major refactor, multi-target projects
    cargo init: Add Cargo.lock unconditionally
    cargo init: Fix complains from tests/check-style.sh
    cargo init: Tests for handling VCS
    cargo init: Handle VCS
    cargo init: work in progress
    cargo init: Deduplicate some things between new and init
    cargo init: Auto-detection of --bin
    cargo init: work in progress...
    cargo init: Fix tests and allow explicit --vcs
    cargo init: intermediate refactor
    cargo init: First sketch of implementation
    cargo init: Preliminary test
    cargo init: first stub

See
https://github.com/vi/cargo/tree/cargo_init_unsquashed
for individual commits

Auto merge of #2307 - alexcrichton:readme, r=brson

Running `cargo build` should work just fine to build cargo as well as not
running the python script to download rustc itself. Now that Cargo runs on
stable (and a pretty old stable) most Rust installations should "Just Work" to
build Cargo.

Add more info to README about compiling

Running `cargo build` should work just fine to build cargo as well as not
running the python script to download rustc itself. Now that Cargo runs on
stable (and a pretty old stable) most Rust installations should "Just Work" to
build Cargo.

Merge pull request #2303 from alexcrichton/bump

Bump to 0.9.0