Make `cargo metadata` output deterministic

Uses BTreeMap instead of HashMap for the `cargo metadata` command.
The change did not cause a measurable performance impact for
running `cargo metadata` on `cargo` itself.

Fixes #8477

Auto merge of #8416 - est31:remove_derive, r=alexcrichton

Remove unused serde_derive dependency from the crates.io crate

Remove unused serde_derive dependency

Auto merge of #8412 - est31:remove_remove, r=alexcrichton

Remove unused remove_dir_all dependency

Originally part of #8384 but sadly the PR got rejected.

Remove unused remove_dir_all dependency

Need to research why it isn't detected by cargo-udeps.

Auto merge of #8409 - alexcrichton:git-instead-of, r=Eh2406

Improve git error messages a bit

This commit is targeted at further improving the error messages
generated from git errors. For authentication errors the actual URL
fetched is now printed out as well if it's different from the original
URL. This should help handle `insteadOf` logic where SSH urls are used
instead of HTTPS urls and users can know to track that down.

Otherwise the logic about recommending `net.git-fetch-with-cli` was
tweaked a bit and moved to the same location as the rest of our error
reporting.

Note that a change piggy-backed here as well is that `Caused by:` errors
are now automatically all tabbed over a bit instead of only having the
first line tabbed over. This required a good number of tests to be
updated, but it's just an updated in renderings.

Improve git error messages a bit

This commit is targeted at further improving the error messages
generated from git errors. For authentication errors the actual URL
fetched is now printed out as well if it's different from the original
URL. This should help handle `insteadOf` logic where SSH urls are used
instead of HTTPS urls and users can know to track that down.

Otherwise the logic about recommending `net.git-fetch-with-cli` was
tweaked a bit and moved to the same location as the rest of our error
reporting.

Note that a change piggy-backed here as well is that `Caused by:` errors
are now automatically all tabbed over a bit instead of only having the
first line tabbed over. This required a good number of tests to be
updated, but it's just an updated in renderings.

Auto merge of #8408 - jstasiak:improve-home-path-documentation, r=alexcrichton

Improve the description of Config.home_path

I poked around and it seems it's not the user's home directory but Cargo
home (which may or may not be in user's home).

Improve the description of Config.home_path

I poked around and it seems it's not the user's home directory but Cargo
home (which may or may not be in user's home).

Auto merge of #8364 - alexcrichton:default-no-master, r=ehuss

Improve support for non-`master` main branches

This commit improves Cargo's support for git repositories whose "main
branch" is not called `master`. Cargo currently pretty liberally assumes
that if nothing else about a git repository is specified then `master`
is the branch name to use. Instead now Cargo has a fourth option as the
desired reference of a repository named `DefaultBranch`. Cargo doesn't
know anything about the actual name of the default branch, it just
updates how git references are fetched internally.

This commit is motivated by news that GitHub is likely to switch away
from the default branch being named `master` in the near future. It
would be a bit of a bummer if from now on everyone had to type
`branch = '...'`, so this tries to improve that!

Closes #3517

Auto merge of #8403 - matklad:abs-out-dir, r=Eh2406

Document that OUT_DIR in JSON messages is an absolute path

Document that OUT_DIR in JSON messages is an absolute path

Auto merge of #8387 - robinmoussu:master, r=alexcrichton

Adding environment variable CARGO_PKG_LICENSE_FILE

When #8325 was added, only CARGO_PKG_LICENSE was added. However, the field license [may be empty](https://doc.rust-lang.org/cargo/reference/manifest.html#the-license-and-license-file-fields) if the license_field is filled in.

Auto merge of #8391 - bl2e:install-target-dir, r=alexcrichton

Enable "--target-dir" in "cargo install"

Issue #8263

Auto merge of #8323 - naerbnic:add_workspace_metadata_table, r=alexcrichton

Add support for `workspace.metadata` table

Implements feature request #8309

Additionally includes the information in the output of "cargo metadata" through a new top-level field `metadata`, similar to the per-package `metadata` field

Auto merge of #8398 - ehuss:clean-reserved-name, r=Eh2406

Fix overzealous `clean -p` for reserved names.

#8210 changed the way `clean -p` worked, but in some ways it is a little too sloppy.  If a package has a test named `build`, then it would delete the `build` directory thinking an executable named "build" exists.  This changes it so that it does not attempt to delete tests/benches from the uplift directory.

Fix overzealous `clean -p` for reserved names.

Auto merge of #8395 - ehuss:fix-opt-dep-order, r=Eh2406

Fix order-dependent feature resolution.

There is a situation where if you have `pkg/feature` syntax, and `pkg` is an optional dependency, but also a dev-dependency, and the dev-dependency appears before the (optional) normal dependency in the summary, then the optional dependency would not get activated. This is because the feature code used `find` to get the first entry.

Fixes #8394

Fix order-dependent feature resolution.

Fix post-execution  path checks to be compatible with Windows

Fix test compatibility for Windows

Reference options-target-dir in `cargo install` documentation

Add test for `cargo install` option `--target-dir`

Enable `--target-dir` support in `install` subcommand

Auto merge of #8389 - hbina:spelling, r=ehuss

Correct mispelling of `cargo`.

Correct mispelling of `cargo`.

Auto merge of #8386 - crlf0710:master, r=ehuss

Add missing license field.

Hi, i was playing with `cargo-deny`, and found that it says this crate doesn't have a license field. So i'm going ahead and add it for consistency.

Adding environment variable CARGO_PKG_LICENSE_FILE

Auto merge of #8325 - kerkmann:license-field-as-environment-variable, r=joshtriplett

Adding environment variable CARGO_PKG_LICENSE

Fixes #8024

Add missing license field.

Improve support for non-`master` main branches

This commit improves Cargo's support for git repositories whose "main
branch" is not called `master`. Cargo currently pretty liberally assumes
that if nothing else about a git repository is specified then `master`
is the branch name to use. Instead now Cargo has a fourth option as the
desired reference of a repository named `DefaultBranch`. Cargo doesn't
know anything about the actual name of the default branch, it just
updates how git references are fetched internally.

This commit is motivated by news that GitHub is likely to switch away
from the default branch being named `master` in the near future. It
would be a bit of a bummer if from now on everyone had to type
`branch = '...'`, so this tries to improve that!

Auto merge of #8363 - alexcrichton:less-git-data, r=ehuss

Cut down on data fetch from git dependencies

Currently Cargo pretty heavily over-approximates data fetch for git
dependencies. For the index it fetches precisely one branch, but for all
other git dependencies Cargo will fetch all branches and all tags all
the time. In each of these situations, however, Cargo knows if one
branch is desired or if only one tag is desired.

This commit updates Cargo's fetching logic to plumb the desired
`GitReference` all the way down to `fetch`. In that one location we then
determine what to fetch. Namely if a branch or tag is explicitly
selected then we only fetch that one reference from the remote, cutting
down on the amount of traffic to the git remote.

Additionally a bugfix included here is that the GitHub fast path for
checking if a repository is up-to-date now works for non-`master`-based
branch dependencies.

Update how locked git commits are fetched

This commit refactors various logic of the git source internals to
ensure that if we have a locked revision that we plumb the desired
branch/tag all the way through to the `fetch`. Previously we'd switch to
`Rev` very early on, but the fetching logic for `Rev` is very eager and
fetches too much, so instead we only resolve the locked revision later
on.

Internally this does some various refactoring to try to make various
bits and pieces of logic a bit easyer to grok, although it's still
perhaps not the cleanest implementation.

Strip `.git` from urls on GitHub fast-path

Cut down on data fetch from git dependencies

Currently Cargo pretty heavily over-approximates data fetch for git
dependencies. For the index it fetches precisely one branch, but for all
other git dependencies Cargo will fetch all branches and all tags all
the time. In each of these situations, however, Cargo knows if one
branch is desired or if only one tag is desired.

This commit updates Cargo's fetching logic to plumb the desired
`GitReference` all the way down to `fetch`. In that one location we then
determine what to fetch. Namely if a branch or tag is explicitly
selected then we only fetch that one reference from the remote, cutting
down on the amount of traffic to the git remote.

Additionally a bugfix included here is that the GitHub fast path for
checking if a repository is up-to-date now works for non-`master`-based
branch dependencies.

Auto merge of #8359 - ehuss:doctest-xcompile-linker, r=alexcrichton

Support linker with -Zdoctest-xcompile.

This adds support for `-Clinker` with `-Zdoctest-xcompile`.

I'm not entirely sure how `-Zdoctest-xcompile` was supposed to work without setting the linker. I tested this with std on arm-unknown-linux-gnueabihf with qemu. It seems to work (although it was quite slow).

Closes #7529.

Auto merge of #8358 - ehuss:fix-target-host-doctest, r=alexcrichton

Fix doctests not running with --target=HOST.

There was a regression in #8167 where `cargo test --target=$HOST` stopped running doctests. This caused doctests to silently stop running in rust-lang/rust (https://github.com/rust-lang/rust/issues/73286).  This PR restores the original behavior where `--target=$HOST` behaves as-if it is a normal host test.

There was a discussion about this at https://github.com/rust-lang/cargo/pull/8167#pullrequestreview-402196323, but I think I let it slip through the cracks.

Auto merge of #8344 - kellda:install-index-flag, r=ehuss

Allow passing a registry index url directly to `cargo install`

Fixes #8318

Add --index to `install` man page.

Support linker with -Zdoctest-xcompile.

Fix doctests not running with --target=HOST.

Update src/doc/src/reference/manifest.md

Add a link to the mdbook generated link

Co-authored-by: Eric Huss <eric@huss.org>

Update src/doc/src/reference/workspaces.md

Remove anchor to use the mdbook generated link instead.

Co-authored-by: Eric Huss <eric@huss.org>

Auto merge of #8353 - ehuss:fix-missing-readme, r=alexcrichton

Fix failure with missing readme.

#8277 added implicit README support, but it also rejected parsing any manifest where the README was missing.  This causes a problem because the README is often missing in many registry packages (for various reasons).

This removes the validation at parsing time.  Cargo has historically not had hard enforcement at the parsing stage.  Whether or not the readme exists has always been enforced during publishing. I have added some extra context to the error message, and added a test to that effect.

Fixes #8351

Fix failure with missing readme.

Auto merge of #8349 - ehuss:fix-lto, r=alexcrichton

Some LTO fixes.

This reworks the LTO computation a little to address a few issues:

- `cargo build` in a project with both a lib and bin would not engage the optimization introduced in #8192 where the lib *should* be compiled with `-C linker-plugin-lto` (bitcode only). This happened because the old code was starting root units as `Lto::None`. The solution here is to conditionally choose the starting Lto for roots.
- A project with a dylib dependency would fail to build. It was building the dylib with `-C linker-plugin-lto` which is not valid.
- A project with a bin/lib would build the lib differently based on whether or not it was selected. This changes it so that the lib is built the same. See `lto::between_builds`, where the second build the lib is now fresh.
- Tests/benchmarks of a `lib` target will now support LTO.
- Treats example libs a little more consistently as regular libs.

I scattered some comments throughout, hopefully it's not too difficult to follow.

Closes #8337

Some LTO fixes.

Add test for `cargo install --index`

Auto merge of #8277 - tverghis:default-readme, r=alexcrichton

Default values for `readme` if not specified

If the a value for `readme` is not specified in Cargo.toml, we will now check for the existence of files named `README.md`, `README.txt` or `README`. If one does exist, the name of that file will be defaulted in to the manifest for the project.

This behavior can be suppressed if `readme` is set to `false`.

Closes #8133

Create README file so tests pass

Assume README.md if readme=true

Merge branch 'master' into license-field-as-environment-variable

Auto merge of #8342 - ehuss:fix-tree-completions, r=alexcrichton

Fix tree completions.

During #8062, the flags were changed, but the completions weren't updated.

Fixes #8330

Auto merge of #8267 - drmikehenry:prefix, r=alexcrichton

Support `{prefix}` and `{lowerprefix}` markers in `config.json` `dl` key

Hello,

The crates.io-index Git repository uses a nice directory structure to keep individual directory sizes under control.

When mirroring crates.io, it's useful to store crate files in a similar directory structure for the same reasons.

Cargo provides "markers" for use in the `dl` key of the `config.json` file in crates.io-index to allow flexibility in mapping a crate's name and version into a URL for the crate.  The marker `{crate}` is replaced by the crate's name, and the marker `{version}` is replaced with the crate's version.  The default URL template is `https://crates.io/api/v1/crates/{crate}/{version}/download`.

Currently, if a mirror of crates.io stores crates in a directory structure similar to that of crates.io-index, it's up to the server to construct the directory name from the crate name.  This eliminates trivial web servers and `file:` URLs from hosting such a tree of crates.

This pull requests adds two new markers for the `dl` key in `config.json`, allowing Cargo to supply the directory name as part of the URL.  The marker `{lowerprefix}` is the same directory name used within crates.io-index; it is calculated from the crate name converted to lowercase.  The marker `{prefix}` is similar, but it uses the crate name as-is (without case conversion), which is useful for supporting older versions of Cargo that lack these markers; for example, nginx rewrite rules can easily construct `{prefix}` but can't perform case-conversion to construct `{lowerprefix}`.  These new markers will provide implementation flexibility and simplicity for crate mirror servers.

Auto merge of #8270 - reggaemuffin:8251-binary-name-env-var, r=ehuss

Add environment variables to identify the binary and crate name

Closes #8251

This adds `CARGO_BIN_NAME` and `CARGO_CRATE_NAME` to rustc/rustdoc process env.

`CARGO_BIN_NAME` is added for binary compilation units, `CARGO_CRATE_NAME` is added for binary and library units.

The `build::crate_env_vars` test was updated to test for this. The test is currently only checking behavior for the binary compile unit.

Documentation was updated to reflect the added environment variables.

Add `--index` flag to `cargo install`

Reformat

Inline load_workspace_metadata() into Workspace::new()

Fix tree completions.

Change test 'MIT' license to 'MIT OR Apache-2.0'

Auto merge of #8336 - ehuss:version-bump, r=alexcrichton

Bump to 0.47.0, update changelog

Auto merge of #8334 - Eh2406:small-nits, r=alexcrichton

 Nits: Remove unneeded mut and loop

just some small nits.

Update changelog for 1.45.

Remove unneeded mut and loop

Change tag to avoid duplicate link

Bump to 0.47.0

Auto merge of #8331 - ehuss:1.45-beta-backport, r=Eh2406

1.45 beta backports

Beta backports for:
* #8290 — Fix fingerprinting for lld on Windows with dylib.
* #8329 — Don't hash executable filenames on apple platforms. (fix macos backtraces)

Extract a `fn load_workspace_config()`

Reword the documentation for the two `metadata` tables, and
suggest consistent usage.

Add support for `workspace.metadata` table

Auto merge of #8329 - ehuss:apple-no-hash, r=alexcrichton

Don't hash executable filenames on apple platforms.

Due to some recent changes to the backtrace crate, backtraces on apple platforms haven't been working (they are missing line/filename information). The reason is that previously libbacktrace would hunt through the directory for any matching file in the `.dSYM` directory. The new implementation expects a file matching the executable name exactly (which no longer includes the hash because Cargo renames it).

The solution here is to not include a hash in the executable filename. This matches the behavior on Windows which does it for a similar reason (paths are embedded in pdb files).

The downside is that switching between different settings (like different features) causes Cargo to rebuild the binary each time.  I don't think this is a particularly common use case, at least I've not heard any complaints about this behavior on Windows.

Fixes https://github.com/rust-lang/rust/issues/72550

Auto merge of #8290 - ehuss:fix-lld-freshness, r=alexcrichton

Fix fingerprinting for lld on Windows with dylib.

This fixes an issue where if `lld` is used on Windows, dynamic libraries will never be treated as "fresh". This is a regression from #8210 where Cargo is expecting export files to be created, but lld does not create these.

The solution is to ignore "Auxiliary" files in fingerprinting, which AFAIK aren't really needed (only the primary output files really matter).

Fixes #8284

Auto merge of #8321 - hbina:issue_7596, r=alexcrichton

Better error message when passing in relative path to Workspace::new

Fixes #7596

Auto merge of #8329 - ehuss:apple-no-hash, r=alexcrichton

Don't hash executable filenames on apple platforms.

Due to some recent changes to the backtrace crate, backtraces on apple platforms haven't been working (they are missing line/filename information). The reason is that previously libbacktrace would hunt through the directory for any matching file in the `.dSYM` directory. The new implementation expects a file matching the executable name exactly (which no longer includes the hash because Cargo renames it).

The solution here is to not include a hash in the executable filename. This matches the behavior on Windows which does it for a similar reason (paths are embedded in pdb files).

The downside is that switching between different settings (like different features) causes Cargo to rebuild the binary each time.  I don't think this is a particularly common use case, at least I've not heard any complaints about this behavior on Windows.

Fixes https://github.com/rust-lang/rust/issues/72550

Don't hash executable filenames on apple platforms.

Auto merge of #8324 - matthiaskrgr:clippy_v14, r=ehuss

fix clippy warnings

Passing a relative path to Workspace now bails with proper message.

Previously, this failure will return an unhelpful warning.
This commit adds an error message saying that the argument for
`manifest_path` must be an absolute path.

Adding environment variable CARGO_PKG_LICENSE

Fixes #8024

fix clippy warnings

Auto merge of #8320 - alexcrichton:update-libgit2, r=ehuss

Require latest libgit2 to pull in bugfixes

This'll pull in a fix for #8258

Attemtping to solve Workspace using relative path.

Require latest libgit2 to pull in bugfixes

This'll pull in a fix for #8258

Auto merge of #8319 - alexcrichton:fix-access, r=Eh2406

Fix an accidental raw access of field

The manifest has a few different ways of specifying whether a crate is a
procedural macro, and there's a `TomlTarget::proc_macro()` method to
unify these various lines. Unfortunately though we had a bug where one
location forgot to call the method and read the raw field! This led to
surprising behavior where the different ways to specify a proc macro
would have subtly different changes in behavior. The fix here in this PR
is to ensure that we access the property always via the method.

Closes #8315

Fix an accidental raw access of field

The manifest has a few different ways of specifying whether a crate is a
procedural macro, and there's a `TomlTarget::proc_macro()` method to
unify these various lines. Unfortunately though we had a bug where one
location forgot to call the method and read the raw field! This led to
surprising behavior where the different ways to specify a proc macro
would have subtly different changes in behavior. The fix here in this PR
is to ensure that we access the property always via the method.

Closes #8315

Auto merge of #8314 - cuviper:mem-take, r=Eh2406

Use mem::take to replace with Default values

Use mem::take to replace with Default values

Auto merge of #8310 - ehuss:allow-non-dll-suffix, r=Eh2406

Allow Windows dylibs without dll suffix.

Custom target JSON specs can change the suffix, so don't require it.

Fixes #8308

Allow Windows dylibs without dll suffix.

Auto merge of #8307 - pickfire:alias-help, r=alexcrichton

Show alias in help message

Improve feature discovery of help message
Inspired by x.py help https://github.com/rust-lang/rust/issues/71357
Improves https://github.com/rust-lang/cargo/issues/6104

Show alias in help message

Improve feature discovery of help message
Inspired by x.py help https://github.com/rust-lang/rust/issues/71357
Improves https://github.com/rust-lang/cargo/issues/6104

Auto merge of #8297 - mjarkk:warn-when-using-hash-in-git-url, r=ehuss

Warn if using hash in git URL, Fixes #8241

This fixes an issue where if the user wants to set the git rev but doesn't know how and as results tries to set the ref in the url hash as also shown when downloading the dependency.
Now cargo returns a warning notifying the user about the correct way to set the ref.

Fixes #8241

Add test

Fix review

Update src/cargo/util/toml/mod.rs

Co-authored-by: Eric Huss <eric@huss.org>

Auto merge of #8274 - Eh2406:8249-repro, r=alexcrichton

reset lockfile information between resolutions

#8249 pointed out that some kind of lockfile data was leaking between calls to the resolver. @ehuss made a reproducing test case. This PR resets the `LockedMap` data structure when calling `register_previous_locks`.

lets see if CI likes it.
fix #8249

Auto merge of #8301 - ehuss:disable-strip-macos, r=alexcrichton

Disable strip_works test on macos.

This feature doesn't work on macOS, because it uses ld64 with clang.  See https://github.com/rust-lang/rust/issues/72110#issuecomment-636609419.

Disable strip_works test on macos.

Auto merge of #8299 - kpp:master, r=ehuss

Fix typo in impl Display for Strip

Fix typo in impl Display for Strip

Update documentation as per review

Move constructor fn for manifest with readme to test file