List URL in HTTP download failures

Hopefully will help diagnose issues like #5924

Auto merge of #5902 - little-arhat:feature-add-required-features-to-metadata-output, r=alexcrichton

Add `required-features` to `SerializedTarget`

This will add it to `cargo metadata` output and will make it
possible to enable features needed to build specific target.

Auto merge of #5914 - alexcrichton:system-git, r=dwijnand

Add a configuration option to fetch with git-the-CLI

Currently Cargo always uses `libgit2` to perform all fetches of git
repositories, but sometimes this is not sufficient. The `libgit2` library
doesn't support all authentication schemes that `git` does and it isn't always
quite at feature parity with `git` itself, especially in terms of network
configuration.

This commit adds a configuration option to Cargo for fetching git repositories
with the `git` CLI tool rather than the internal `libgit2`. While this exposes
us to changes over time in the `git` CLI it's hopefully a very targeted use case
that doesn't change much. The internal `libgit2` library should be sufficient
for all other forms of git repository management. (and using `git` for only
fetches shouldn't slow us down much)

The new configuration option in `.cargo/config` is:

    [net]
    git-fetch-with-cli = true

which can also be specified with `CARGO_NET_GIT_FETCH_WITH_CLI=true` via an
environment variable.

Closes #5903

Add a configuration option to fetch with git-the-CLI

Currently Cargo always uses `libgit2` to perform all fetches of git
repositories, but sometimes this is not sufficient. The `libgit2` library
doesn't support all authentication schemes that `git` does and it isn't always
quite at feature parity with `git` itself, especially in terms of network
configuration.

This commit adds a configuration option to Cargo for fetching git repositories
with the `git` CLI tool rather than the internal `libgit2`. While this exposes
us to changes over time in the `git` CLI it's hopefully a very targeted use case
that doesn't change much. The internal `libgit2` library should be sufficient
for all other forms of git repository management. (and using `git` for only
fetches shouldn't slow us down much)

The new configuration option in `.cargo/config` is:

    [net]
    git-fetch-with-cli = true

which can also be specified with `CARGO_NET_GIT_FETCH_WITH_CLI=true` via an
environment variable.

Closes #5903

Auto merge of #5886 - dekellum:record-package-git-head-3, r=alexcrichton

Generate .cargo_vcs_info.json and include in `cargo package` (take 2)

Implements #5629 and supersedes #5786, with the following improvements:

* With an upstream git2-rs fix (tracked #5823, validated and min version update in: #5858), no longer requires windows/unix split tests.

* Per review in #5786, drops file system output and locks for .cargo_vcs_info.json.

* Now uses serde `json!` macro for json production with appropriate escaping.

* Now includes a test of the output json format.

Possible followup:

* Per discussion in #5786, we could improve reliability of both the VCS dirty check and the git head sha1 recording by preferring (and/or warning otherwise) the local repository bytes of each source file, at the same head commit. This makes the process more appropriately like an atomic snapshot, with no sentry file or other locking required.  However given my lack of a window's license and dev setup, as exhibited by troubles of #5823, this feel intuitively like too much to attempt to change in one iteration here.  I accept the "best effort" concept of this feature as suggested in #5786, and think it acceptable progress if merged in this form.

@alexcrichton r?
@joshtriplett cc

Serialize required_dependencies as 'require-dependencies'

Auto merge of #5912 - rust-lang:dependabot/cargo/opener-0.3.0, r=alexcrichton

Update opener requirement from 0.2.0 to 0.3.0

Updates the requirements on [opener](https://github.com/Seeker14491/opener) to permit the latest version.
<details>
<summary>Changelog</summary>

*Sourced from [opener's changelog](https://github.com/Seeker14491/opener/blob/master/CHANGELOG.md).*

> ## [0.3.0] - 2018-08-18
> ### Added
> - `stderr` field to `OpenError::ExitStatus` variant, which captures anything the failed process wrote to stderr.
>
> ## [0.2.0] - 2018-08-08
> ### Removed
> - The `open_sys` function, which was erroneously pub on non-Windows builds.
>
> ## [0.1.0] - 2018-08-08
> - Initial release.
</details>
<details>
<summary>Commits</summary>

- See full diff in [compare view](https://github.com/Seeker14491/opener/commits/v0.3.0)
</details>
<br />

Dependabot will resolve any conflicts with this PR as long as you don't alter it yourself. You can also trigger a rebase manually by commenting `@dependabot rebase`.

---

<details>
<summary>Dependabot commands and options</summary>
<br />

You can trigger Dependabot actions by commenting on this PR:
- `@dependabot rebase` will rebase this PR
- `@dependabot merge` will merge this PR after your CI passes on it
- `@dependabot reopen` will reopen this PR if it is closed
- `@dependabot ignore this [patch|minor|major] version` will close this PR and stop Dependabot creating any more for this minor/major version (unless you reopen the PR or upgrade to it yourself)
- `@dependabot ignore this dependency` will close this PR and stop Dependabot creating any more for this dependency (unless you reopen the PR or upgrade to it yourself)
- `@dependabot use these labels` will set the current labels as the default for future PRs for this repo and language
- `@dependabot use these reviewers` will set the current reviewers as the default for future PRs for this repo and language
- `@dependabot use these assignees` will set the current assignees as the default for future PRs for this repo and language
- `@dependabot use this milestone` will set the current milestone as the default for future PRs for this repo and language
- `@dependabot badge me` will comment on this PR with code to add a "Dependabot enabled" badge to your readme

Additionally, you can set the following in your Dependabot [dashboard](https://app.dependabot.com):
- Update frequency (including time of day and day of week)
- Automerge options (never/patch/minor, and dev/runtime dependencies)
- Pull request limits (per update run and/or open at any time)
- Out-of-range updates (receive only lockfile updates, if desired)
- Security updates (receive only security updates, if desired)

Finally, you can contact us by mentioning @dependabot.

</details>

Update opener requirement from 0.2.0 to 0.3.0

Updates the requirements on [opener](https://github.com/Seeker14491/opener) to permit the latest version.
- [Release notes](https://github.com/Seeker14491/opener/releases)
- [Changelog](https://github.com/Seeker14491/opener/blob/master/CHANGELOG.md)
- [Commits](https://github.com/Seeker14491/opener/commits/v0.3.0)

Signed-off-by: dependabot[bot] <support@dependabot.com>

Auto merge of #5908 - orium:fix-package-cargo-toml, r=alexcrichton

Fix serialization bug in `edition` field of `TomlProject`.

Fixes #5906.

Auto merge of #5904 - dwijnand:backslash, r=alexcrichton

Remove backslash management in 2 tool_paths tests

With #5851 this is no longer necessary

Auto merge of #5907 - dwijnand:collapse-test-cmd-args, r=matklad

Collapse ProcessBuilder::arg calls in tests

Refs #5742
More of #5854

Fix 3 corner tests where whitespaces are important

Fix serialization bug in `edition` field of `TomlProject`.

Fixes #5906.

Move .env/.masquerade_as_nightly_cargo to collapse some more p.cargo calls

Collapse multiline ProcessBuilder::arg calls in tests

.. by calling this a bunch of times:

    fastmod --multiline '\.cargo\("([^"]+)"\).[ ]+\.arg\("([^"]+)"\)' '.cargo("${1} ${2}")' tests/testsuite/

Collapse ProcessBuilder::arg calls in tests

.. with mutliple calls of:

    fastmod --accept-all '\.cargo\("([^"]+)"\)\.arg\("([^"]+)"\)' '.cargo("${1} ${2}")' tests/testsuite/

until no changes are left.

Single slash root on Windows

Remove backslash management in 2 tool_paths tests

Add `required-features` to `SerializedTarget`

This will add it to `cargo metadata` output and will make it
possible to enable features needed to build specific target.

Auto merge of #5901 - dwijnand:1.28-win, r=alexcrichton

Align AppVeyor to use 1.28 for minimal versions

.. like Travis CI's setup.

Align AppVeyor to use 1.28 for minimal versions

.. like Travis CI's setup.

Auto merge of #5900 - orium:fix-broken-url, r=alexcrichton

Fix broken url in diagnostic.

Fix broken url in diagnostic.

Fix a clippy lint

Simplify json production and append to archive

Per github review.

Auto merge of #5856 - Eh2406:min-test, r=alexcrichton

run some tests with minimal-versions on CI

In #5757 we discovered that sum test don't pass with minimal-versions, and so only added CI for `cargo check`. This PR is to see if that is still needed, and if it is then which test rely on upstream bugfix.

Auto merge of #5888 - Seeker14491:opener, r=alexcrichton

Handle opening browser with `opener` crate

Fixes #5701

A note about behavior on Linux:
When looking for a browser to open the docs with, Cargo currently tries the `$BROWSER` environment variable, `xdg-open`, `gnome-open`, and finally `kde-open`, in that order. With this commit, this behavior changes; the `opener` crate always uses the `xdg-open` script, which is included in the `opener` crate. The `xdg-open` script takes care of finding a suitable browser.

stop test on appveyor as requested

bump min rust, and remove nightly check

DISABLE_CROSS_TESTS for minimal-versions

fix short_message_format vs nightly

Try serde_json

get `features_are_quoted` working with minimal-versions on CI

try running tests with minimal-versions on CI

Auto merge of #5889 - light4:patch-1, r=alexcrichton

Update transitioning url

Update transitioning url

Handle opening browser with `opener` crate

Fixes #5701

Auto merge of #5884 - dwijnand:some-clippings, r=alexcrichton

Resolve some clippy lint warnings

None

Auto merge of #5887 - Seeker14491:job-fix, r=alexcrichton

 Don't kill child processes on normal exit on Windows

Fix for #5598

Remove unused imports

Merge remote-tracking branch 'origin/master' into job-fix

Don't kill child processes on normal exit on Windows

Fixes #5598

Fix typo

Add test package::vcs_file_collision

Add generated .cargo_vcs_info.json (git hash) file to `cargo package`

Collapse let bindings

Resolve a drop_copy lint warning

Resolve a identity_conversion lint warning

Resolve a single_match lint warning

Resolve a const_static_lifetime lint warning

Resolve 4 unreadable_literal lint warnings

Resolve 2 unneeded_field_pattern lint warnings

Resolve a redundant_closure lint warning

Resolve a unit_arg lint warning

Resolve 2 redundant_field_names lint warnings

Auto merge of #5876 - matthiaskrgr:clippy_2, r=alexcrichton

fix a bunch of clippy warnings

 (invocation: cargo clippy --all-targets --all-features -- --cap-lints warn )

Auto merge of #5879 - dwijnand:short-errors, r=alexcrichton

Add support for rustc's --error-format short

Running a local build of this branch on some broken code shows this kind of output:

    18:42:29 $ dcargo check --message-format=short --tests
        Checking bufstream v0.1.3
        Checking cargo v0.30.0 (file:///d/cargo)
    tests/testsuite/config.rs:298:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:307:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:363:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:367:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:371:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:375:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:382:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:386:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:400:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:428:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:479:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:491:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:496:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:501:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:506:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:512:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:582:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:660:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:666:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:672:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:678:9: error[E0308]: mismatched types
    error: aborting due to 21 previous errors
    error: Could not compile `cargo`.
    warning: build failed, waiting for other jobs to finish...
    error: build failed

Rehash of @QuietMisdreavus' #4720 now that `--short-message` is stable (thanks for the ping @pickfire!).

Feedback welcome.

fix a bunch of clippy warnings (invocation: cargo clippy --all-targets --all-features -- --cap-lints warn )

Special thanks to dwijnand for helping me with this! :)

Add a test for "cargo doc --message-format=short"

Extract & reuse add_error_format for rustdoc too

Add a test for "cargo check --message-format=short"

Add support for rustc's --error-format short

Running a local build of this branch on some broken code shows this kind of output:

    18:42:29 $ dcargo check --message-format=short --tests
        Checking bufstream v0.1.3
        Checking cargo v0.30.0 (file:///d/cargo)
    tests/testsuite/config.rs:298:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:307:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:363:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:367:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:371:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:375:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:382:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:386:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:400:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:428:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:479:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:491:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:496:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:501:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:506:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:512:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:582:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:660:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:666:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:672:9: error[E0308]: mismatched types
    tests/testsuite/config.rs:678:9: error[E0308]: mismatched types
    error: aborting due to 21 previous errors
    error: Could not compile `cargo`.
    warning: build failed, waiting for other jobs to finish...
    error: build failed

Auto merge of #5878 - ehuss:rustdoc-json, r=alexcrichton

Support JSON with rustdoc.

This allows `cargo doc --message-format=json` to actually work.

Note that this explicitly does not attempt to support it for doctests for
several reasons:
- `rustdoc --test --error-format=json` does not work for some reason.
- Since the lib is usually compiled before running rustdoc, warnings/errors
  will be emitted correctly by rustc.
- I'm unaware of any errors/warnings `rustdoc --test` is capable of producing
  assuming the code passed `rustc`.
- The compilation of the tests themselves do not support JSON.
- libtest does not output json, so it's utility is limited.

Auto merge of #5880 - dwijnand:fix-rustfmt-instructions, r=alexcrichton

Fix rustfmt instructions in CONTRIBUTING.md

rustfmt's --skip-children is now behind --unstable-features
(rust-lang-nursery/rustfmt#2796) which only works on nightly rustfmt, so
change the install instructions too.

Update for review comments.

Fix rustfmt instructions in CONTRIBUTING.md

rustfmt's --skip-children is now behind --unstable-features
(rust-lang-nursery/rustfmt#2796) which only works on nightly rustfmt, so
change the install instructions too.

Support JSON with rustdoc.

This allows `cargo doc --message-format=json` to actually work.

Note that this explicitly does not attempt to support it for doctests for
several reasons:
- `rustdoc --test --error-format=json` does not work for some reason.
- Since the lib is usually compiled before running rustdoc, warnings/errors
  will be emitted correctly by rustc.
- I'm unaware of any errors/warnings `rustdoc --test` is capable of producing
  assuming the code passed `rustc`.
- The compilation of the tests themselves do not support JSON.
- libtest does not output json, so it's utility is limited.

Auto merge of #5877 - ehuss:ws-run, r=alexcrichton

Allow `cargo run` in workspaces.

Closes #3713

Allow `cargo run` in workspaces.

Auto merge of #5873 - ehuss:ws-filters, r=alexcrichton

Change target filters in workspaces.

This changes it so that filters like `--bin`, `--test`, `--example`,
`--bench`, `--lib` will work in a workspace.  Today, these filters
require that they match *every* package in a workspace which makes
them not very useful.  This change makes it so that they only must
match at least one package.

Closes #5819.

Auto merge of #5858 - dekellum:git-check-logging-and-test, r=alexcrichton

Improve verbose console and log for finding git repo in package check

Third attempt to resolve #5823 by improving logging and tests. This exposes the issue to testing,  via verbose console output and is dependent on alexcrichton/git2-rs#341 as just released in git2 0.7.5 crate. Thus tests *should* now pass on all platforms, incl. windows, but I also intend to bump the minimal git2 release dependency (in a subsequently added commit).

cc: @Eh2406 thanks for your fix and help!

Auto merge of #5871 - matklad:meta-rename, r=alexcrichton

Meta rename

Some work towards https://github.com/rust-lang/cargo/issues/5583

Previously, `cargo metadata` exposed dependencies info as a graph of
package id without any additional information on edges.

However, we do want to add some data to edges, including for example,
package renames and `cfg` info.

Internally, the edges info is represented as a `Vec<Dependnecy>`. We
could have exposed that directly, but that risks exposing and
ossifying an implementation details.

So instead we collapse a `Vec<Dependnecy>` to a single JSON object,
which at the moment contains `id` and `rename` info only. It should be
possible to add additional fields to that object backwards compatibly.
Such representation does not correspond directly to any internal Cargo
data structure, but hopefully it shouldn't be to hard to maintain.

This representation also does not quite correspond to the "real
world", where dependencies are between crate (cargo targets), and not
packages. However, because each dep edge is a JSON object, adding a
target filter should be possible, which would handle dev-, build-, and
potential future bin-specific dependencies backwards-compatibly.

Change target filters in workspaces.

This changes it so that filters like `--bin`, `--test`, `--example`,
`--bench`, `--lib` will work in a workspace.  Today, these filters
require that they match *every* package in a workspace which makes
them not very useful.  This change makes it so that they only must
match at least one package.

Add rename info to Cargo metadata

Previously, `cargo metadata` exposed dependencies info as a graph of
package id without any additional information on edges.

However, we do want to add some data to edges, including for example,
package renames and `cfg` info.

Internally, the edges info is represented as a `Vec<Dependnecy>`. We
could have exposed that directly, but that risks exposing and
ossifying an implementation details.

So instead we collapse a `Vec<Dependnecy>` to a single JSON object,
which at the moment contains `id` and `rename` info only. It should be
possible to add additional fields to that object backwards compatibly.
Such representation does not correspond directly to any internal Cargo
data structure, but hopefully it shouldn't be to hard to maintain.

This representation also does not quite correspond to the "real
world", where dependencies are between crate (cargo targets), and not
packages. However, because each dep edge is a JSON object, adding a
target filter should be possible, which would handle dev-, build-, and
potential future bin-specific dependencies backwards-compatibly.

Move extern_crate_name to Resolve

Auto merge of #5870 - bmwill:fix-fetch-target-tests, r=alexcrichton

fetch: skip target tests when cross_compile is disabled

It was reported in #5864 that the fetch-by-target tests fail when run on a non-x86 platform.  This is due to the cross_compile module being disabled when running on non-x86 platforms.  Fix this by skipping the two fetch tests which rely on the cross_compile module, when cross_compile has been disabled.

Signed-off-by: Brandon Williams <bmwill@google.com>

fetch: skip target tests when cross_compile is disabled

Signed-off-by: Brandon Williams <bmwill@google.com>

Auto merge of #5862 - kennytm:capture-rustc-output, r=alexcrichton

Fully capture rustc and rustdoc output when -Zcompile-progress is passed

Fixes #5764 and #5695.

On Windows, we will parse the ANSI escape code into console commands via my `fwdansi` package, based on @ishitatsuyuki's idea in https://github.com/rust-lang/cargo/issues/5695#issuecomment-406300234. Outside of Windows the content is forwarded as-is.

Auto merge of #5867 - ehuss:test-example-help, r=alexcrichton

Fix test --example docs.

As part of #5464 I forgot to update the help text.

Closes #5177

Fix test --example docs.

As part of #5464 I forgot to update the help text.

Closes #5177

Auto merge of #5865 - alexcrichton:vendor-openssl, r=matklad

Add a feature to build a vendored OpenSSL

This will be enabled through rust-lang/rust to ensure that for dist builds we
can build a Cargo with a vendored OpenSSL

Add a feature to build a vendored OpenSSL

This will be enabled through rust-lang/rust to ensure that for dist builds we
can build a Cargo with a vendored OpenSSL

Auto merge of #5861 - alexcrichton:build-script-edition, r=ehuss

Fix the edition build scripts are compiled with

Previously build scripts were accidentally and unconditionally compiled with the
2015 edition, but they should instead use the edition of the `[package]` itself.

Closes #5860

Fix the edition build scripts are compiled with

Previously build scripts were accidentally and unconditionally compiled with the
2015 edition, but they should instead use the edition of the `[package]` itself.

Closes #5860

Capture output from rustc and rustdoc.

Auto merge of #5852 - dwijnand:exit-code-0, r=alexcrichton

Default test support's Execs to exit code 0

Refs #5742

Auto merge of #5859 - jeizsm:master, r=alexcrichton

check target env in test when use targets

Hello. It also should check for target vendor but it's still unstable for some reason https://github.com/rust-lang/rust/issues/29718

Drop niche Execs::with_no_expected_status

.. by gating the nightly-only tests.

Fix tests that have no stable expected exit code

Fix tests that have failing commands w/o specifying the exit code

Default test support's Execs to exit code 0

check target env in test when use targets

Update git2 minimal version to 0.7.5 for a fix

Merge branch 'master' into git-check-logging-and-test

Improve verbose console and logging for finding git repo in package check

Auto merge of #5854 - dwijnand:args-split_whitespace, r=alexcrichton

Cleanup tests by using single string commands, split on whitespaces

Refs #5742

Auto merge of #5857 - matthiaskrgr:borrowck_mut, r=alexcrichton

fix borrowck-migrate unused mut warnings.

fix borrowck-migrate unused mut warnings.

Fix install_empty_argument by passing an empty arg

Introduce git_process too