]> git.proxmox.com Git - pve-firmware.git/blobdiff - assemble-firmware.pl
bump version to 3.5-2
[pve-firmware.git] / assemble-firmware.pl
index 66c8a034083a6ccd18830a80d773184608279691..07ec09fed4f312e7d3989923a3f4959aa3761c88 100755 (executable)
@@ -6,7 +6,6 @@ use warnings;
 use File::Basename;
 use File::Path;
 
-my $fwsrc1 = "linux-firmware.git";
 my $fwsrc2 = "dvb-firmware.git";
 my $fwsrc3 = "firmware-misc";
 
@@ -16,16 +15,7 @@ die "no firmware list specified" if !$fwlist || ! -f $fwlist;
 my $target = shift;
 die "no target directory" if !$target || ! -d $target;
 
-my $force_skip = {
-
-    # not needed, the HBA has burned-in firmware
-    'ql2600_fw.bin' => 1,
-    'ql2700_fw.bin' => 1,
-    'ql8100_fw.bin' => 1,
-    'ql8300_fw.bin' => 1,
-};
-
-my $skip = {};
+my $ALLOW_MISSING = {};
 # debian squeeze also misses those files
 foreach my $fw (qw(
 3826.arm
@@ -35,30 +25,18 @@ FW13
 RTL8192U/boot.img
 RTL8192U/data.img
 RTL8192U/main.img
-amdgpu/arcturus_asd.bin
-amdgpu/arcturus_gpu_info.bin
-amdgpu/arcturus_mec.bin
-amdgpu/arcturus_mec2.bin
-amdgpu/arcturus_rlc.bin
-amdgpu/arcturus_sdma.bin
-amdgpu/arcturus_smc.bin
-amdgpu/arcturus_sos.bin
-amdgpu/arcturus_vcn.bin
+amdgpu/cyan_skillfish_ce.bin
+amdgpu/cyan_skillfish_me.bin
+amdgpu/cyan_skillfish_mec.bin
+amdgpu/cyan_skillfish_mec2.bin
+amdgpu/cyan_skillfish_pfp.bin
+amdgpu/cyan_skillfish_rlc.bin
+amdgpu/cyan_skillfish_sdma.bin
+amdgpu/cyan_skillfish_sdma1.bin
 amdgpu/navi10_mes.bin
-amdgpu/navi12_asd.bin
-amdgpu/navi12_ce.bin
-amdgpu/navi12_gpu_info.bin
-amdgpu/navi12_me.bin
-amdgpu/navi12_mec.bin
-amdgpu/navi12_mec2.bin
-amdgpu/navi12_pfp.bin
-amdgpu/navi12_rlc.bin
-amdgpu/navi12_sdma.bin
-amdgpu/navi12_sdma1.bin
-amdgpu/navi12_smc.bin
-amdgpu/navi12_sos.bin
-amdgpu/navi12_vcn.bin
-amdgpu/vega20_ta.bin
+amdgpu/sienna_cichlid_mes.bin
+amdgpu/vangogh_gpu_info.bin
+amdgpu/yellow_carp_gpu_info.bin
 ar9170.fw
 ast_dp501_fw.bin
 ath10k/QCA6174/hw2.1/firmware-4.bin
@@ -78,6 +56,7 @@ ath6k/AR6004/hw1.1/bdata.bin
 ath6k/AR6004/hw1.1/fw.ram.bin
 ath6k/AR6004/hw1.2/fw.ram.bin
 ath6k/AR6004/hw1.3/fw.ram.bin
+atmsar11.fw
 b43/ucode11.fw
 b43/ucode13.fw
 b43/ucode14.fw
@@ -98,9 +77,15 @@ b43/ucode9.fw
 b43legacy/ucode2.fw
 b43legacy/ucode4.fw
 bfubase.frm
+brcm/brcm/brcmfmac*-pcie.*.txt
+brcm/brcm/brcmfmac*-sdio.*.txt
+brcm/brcmfmac*-pcie.*.bin
+brcm/brcmfmac*-pcie.*.txt
+brcm/brcmfmac*-pcie.txt
+brcm/brcmfmac*-sdio.*.bin
+brcm/brcmfmac*-sdio.*.txt
 brcm/brcmfmac-sdio.bin
 brcm/brcmfmac-sdio.txt
-brcm/brcmfmac43012-sdio.bin
 brcm/brcmfmac43143-sdio.txt
 brcm/brcmfmac43241b0-sdio.txt
 brcm/brcmfmac43241b4-sdio.txt
@@ -113,6 +98,7 @@ brcm/brcmfmac4335-sdio.txt
 brcm/brcmfmac43362-sdio.txt
 brcm/brcmfmac4339-sdio.txt
 brcm/brcmfmac43430-sdio.txt
+brcm/brcmfmac43430b0-sdio.bin
 brcm/brcmfmac43455-sdio.txt
 brcm/brcmfmac43456-sdio.bin
 brcm/brcmfmac4350-pcie.txt
@@ -123,12 +109,16 @@ brcm/brcmfmac4356-pcie.txt
 brcm/brcmfmac43570-pcie.txt
 brcm/brcmfmac4358-pcie.txt
 brcm/brcmfmac4359-pcie.bin
+brcm/brcmfmac4359-sdio.bin
 brcm/brcmfmac43602-pcie.txt
+brcm/brcmfmac4364-pcie.bin
 brcm/brcmfmac4365b-pcie.bin
 brcm/brcmfmac4365b-pcie.txt
 brcm/brcmfmac4365c-pcie.bin
 brcm/brcmfmac4366b-pcie.txt
 brcm/brcmfmac4371-pcie.txt
+brcm/brcmfmac43752-sdio.bin
+brcm/brcmfmac43752-sdio.clm_blob
 c218tunx.cod
 c320tunx.cod
 cbfw-3.0.3.1.bin
@@ -140,9 +130,6 @@ ct2fw.bin
 ctfw-3.0.3.1.bin
 ctfw.bin
 cxgb4/t4fw-1.3.10.0.bin
-cxgb4/t4fw.bin
-cxgb4/t5fw.bin
-cxgb4/t6fw.bin
 cyzfirm.bin
 daqboard2000_firmware.bin
 fw.ram.bin
@@ -150,7 +137,9 @@ i1480-phy-0.0.bin
 i1480-pre-phy-0.0.bin
 i1480-usb-0.0.bin
 i2400m-fw-sdio-1.3.sbcf
-intel/ice/ddp/ice.pkg
+i2400m-fw-usb-1.5.sbcf
+i6050-fw-usb-1.5.sbcf
+idt82p33xxx.bin
 isi4608.bin
 isi4616.bin
 isi608.bin
@@ -202,8 +191,6 @@ iwlwifi-Qu-a0-jf-b0-48.ucode
 iwlwifi-Qu-a0-jf-b0-50.ucode
 iwlwifi-Qu-b0-hr-b0-43.ucode
 iwlwifi-Qu-b0-jf-b0-43.ucode
-iwlwifi-Qu-b0-jf-b0-50.ucode
-iwlwifi-Qu-c0-hr-b0-50.ucode
 iwlwifi-QuQnj-a0-hr-a0-34.ucode
 iwlwifi-QuQnj-a0-hr-a0-43.ucode
 iwlwifi-QuQnj-a0-hr-a0-48.ucode
@@ -213,21 +200,66 @@ iwlwifi-QuQnj-a0-jf-b0-43.ucode
 iwlwifi-QuQnj-b0-hr-b0-43.ucode
 iwlwifi-QuQnj-b0-hr-b0-48.ucode
 iwlwifi-QuQnj-b0-hr-b0-50.ucode
+iwlwifi-QuQnj-b0-hr-b0-59.ucode
+iwlwifi-QuQnj-b0-hr-b0-63.ucode
+iwlwifi-QuQnj-b0-hr-b0-66.ucode
 iwlwifi-QuQnj-b0-jf-b0-48.ucode
 iwlwifi-QuQnj-b0-jf-b0-50.ucode
+iwlwifi-QuQnj-b0-jf-b0-59.ucode
+iwlwifi-QuQnj-b0-jf-b0-63.ucode
+iwlwifi-QuQnj-b0-jf-b0-66.ucode
 iwlwifi-QuQnj-f0-hr-a0-34.ucode
 iwlwifi-QuQnj-f0-hr-a0-43.ucode
 iwlwifi-QuQnj-f0-hr-a0-48.ucode
 iwlwifi-QuQnj-f0-hr-a0-50.ucode
-iwlwifi-QuZ-a0-hr-b0-50.ucode
-iwlwifi-QuZ-a0-jf-b0-50.ucode
-iwlwifi-cc-a0-50.ucode
+iwlwifi-SoSnj-a0-gf-a0-59.ucode
+iwlwifi-SoSnj-a0-gf-a0-63.ucode
+iwlwifi-SoSnj-a0-gf-a0-66.ucode
+iwlwifi-SoSnj-a0-gf4-a0-59.ucode
+iwlwifi-SoSnj-a0-gf4-a0-63.ucode
+iwlwifi-SoSnj-a0-gf4-a0-66.ucode
+iwlwifi-SoSnj-a0-hr-b0-59.ucode
+iwlwifi-SoSnj-a0-hr-b0-63.ucode
+iwlwifi-SoSnj-a0-hr-b0-66.ucode
+iwlwifi-SoSnj-a0-jf-b0-63.ucode
+iwlwifi-SoSnj-a0-jf-b0-66.ucode
+iwlwifi-SoSnj-a0-mr-a0-59.ucode
+iwlwifi-SoSnj-a0-mr-a0-63.ucode
+iwlwifi-SoSnj-a0-mr-a0-66.ucode
+iwlwifi-bz-a0-gf-a0-63.ucode
+iwlwifi-bz-a0-gf-a0-66.ucode
+iwlwifi-bz-a0-gf4-a0-63.ucode
+iwlwifi-bz-a0-gf4-a0-66.ucode
+iwlwifi-bz-a0-hr-b0-63.ucode
+iwlwifi-bz-a0-hr-b0-66.ucode
+iwlwifi-bz-a0-mr-a0-63.ucode
+iwlwifi-bz-a0-mr-a0-66.ucode
+iwlwifi-ma-a0-fm-a0-66.ucode
+iwlwifi-ma-a0-gf-a0-59.ucode
+iwlwifi-ma-a0-gf-a0-63.ucode
+iwlwifi-ma-a0-gf-a0-66.ucode
+iwlwifi-ma-a0-gf4-a0-63.ucode
+iwlwifi-ma-a0-gf4-a0-66.ucode
+iwlwifi-ma-a0-hr-b0-63.ucode
+iwlwifi-ma-a0-hr-b0-66.ucode
+iwlwifi-ma-a0-mr-a0-59.ucode
+iwlwifi-ma-a0-mr-a0-63.ucode
+iwlwifi-ma-a0-mr-a0-66.ucode
 iwlwifi-so-a0-gf-a0-48.ucode
 iwlwifi-so-a0-gf-a0-50.ucode
+iwlwifi-so-a0-gf-a0-59.ucode
+iwlwifi-so-a0-gf-a0-63.ucode
+iwlwifi-so-a0-gf-a0-66.ucode
 iwlwifi-so-a0-hr-b0-48.ucode
 iwlwifi-so-a0-hr-b0-50.ucode
+iwlwifi-so-a0-hr-b0-59.ucode
+iwlwifi-so-a0-hr-b0-63.ucode
+iwlwifi-so-a0-hr-b0-66.ucode
 iwlwifi-so-a0-jf-b0-48.ucode
 iwlwifi-so-a0-jf-b0-50.ucode
+iwlwifi-so-a0-jf-b0-59.ucode
+iwlwifi-so-a0-jf-b0-63.ucode
+iwlwifi-so-a0-jf-b0-66.ucode
 iwlwifi-su-z0-43.ucode
 iwlwifi-ty-a0-gf-a0-48.ucode
 iwlwifi-ty-a0-gf-a0-50.ucode
@@ -246,8 +278,6 @@ libertas/cf8305.bin
 libertas/gspi8385.bin
 libertas/gspi8385_helper.bin
 libertas/gspi8385_hlp.bin
-libertas/sd8688.bin
-libertas/sd8688_helper.bin
 libertas/usb8388.bin
 libertas_cs.fw
 libertas_cs_helper.fw
@@ -257,7 +287,6 @@ liquidio/lio_23xx.bin
 liquidio/lio_410nv.bin
 me2600_firmware.bin
 me4000_firmware.bin
-mediatek/mt7663pr2h.bin
 mrvl/pcie8766_uapsta.bin
 mrvl/pcie8997_uapsta.bin
 mrvl/sd8786_uapsta.bin
@@ -271,17 +300,6 @@ mt7628_e1.bin
 mt7628_e2.bin
 mwl8k/fmimage_8363.fw
 mwl8k/helper_8363.fw
-netronome/nic_AMDA0058-0011_2x40.nffw
-netronome/nic_AMDA0058-0012_2x40.nffw
-netronome/nic_AMDA0081-0001_1x40.nffw
-netronome/nic_AMDA0081-0001_4x10.nffw
-netronome/nic_AMDA0096-0001_2x10.nffw
-netronome/nic_AMDA0097-0001_2x40.nffw
-netronome/nic_AMDA0097-0001_4x10_1x40.nffw
-netronome/nic_AMDA0097-0001_8x10.nffw
-netronome/nic_AMDA0099-0001_1x10_1x25.nffw
-netronome/nic_AMDA0099-0001_2x10.nffw
-netronome/nic_AMDA0099-0001_2x25.nffw
 ni6534a.bin
 niscrb01.bin
 niscrb02.bin
@@ -294,14 +312,20 @@ phanfw-4.0.579.bin
 prism2_ru.fw
 prism_ap_fw.bin
 prism_sta_fw.bin
-rt3070.bin
-rt3090.bin
+qat_4xxx.bin
+qat_4xxx_mmp.bin
+ql2600_fw.bin
+ql2700_fw.bin
+ql8100_fw.bin
+ql8300_fw.bin
+regulatory.db
+regulatory.db.p7s
+renesas_usb_fw.mem
 rtl_bt/rtl8723b_config.bin
 rtl_bt/rtl8723bs_config.bin
 rtl_bt/rtl8723ds_config.bin
 rtl_bt/rtl8723ds_fw.bin
 rtl_bt/rtl8761a_config.bin
-rtl_bt/rtl8821a_config.bin
 rtlwifi/rtl8723bu_bt.bin
 rtlwifi/rtl8723efw.bin
 s5k4ecgx.bin
@@ -320,7 +344,6 @@ solos-db-FPGA.bin
 symbol_sp24t_prim_fw
 symbol_sp24t_sec_fw
 tehuti/firmware.bin
-ti-connectivity/wl1271-nvs.bin
 ti-connectivity/wl18xx-conf.bin
 tms380tr.bin
 usb8388.bin
@@ -330,10 +353,11 @@ wil6210_sparrow_plus.fw
 wil6436.brd
 wil6436.fw
 wlan/prima/WCNSS_qcom_wlan_nv.bin
+wlwifi-SoSnj-a0-mr-a0-59.ucode
 zd1201-ap.fw
 zd1201.fw
 )) {
-    $skip->{$fw} = 1;
+    $ALLOW_MISSING->{$fw} = 1;
 }
 
 sub copy_fw {
@@ -344,38 +368,39 @@ sub copy_fw {
     return if -f $dest;
 
     mkpath dirname($dest);
-    system ("cp '$src' '$dest'") == 0 || die "copy $src to $dest failed";
+    system ("cp '$src' '$dest'") == 0 or die "copy '$src' to '$dest' failed!\n";
 }
 
 my $fwdone = {};
+my $fwbase_name = {};
 
 my $error = 0;
 
-open(TMP, $fwlist);
-while(defined(my $line = <TMP>)) {
+open(my $fd, '<', $fwlist);
+while(defined(my $line = <$fd>)) {
     chomp $line;
     my ($fw, $mod) = split(/\s+/, $line, 2);
 
+    next if $fw =~ m/\b(?:microcode_amd|amd_sev_)/; # contained in amd64-microcode
+
+    my $fw_name = basename($fw);
+    $fwbase_name->{$fw_name} = 1;
+
     next if $mod =~ m|^kernel/sound|;
     next if $mod =~ m|^kernel/drivers/isdn|;
 
     # skip ZyDas usb wireless, use package zd1211-firmware instead
-    next if $fw =~ m|^zd1211/|; 
+    next if $fw =~ m|^zd1211/|;
 
-    # skip atmel at76c50x wireless networking chips.
-    # use package atmel-firmware instead
+    # skip atmel at76c50x wireless networking chips, use package atmel-firmware instead
     next if $fw =~ m|^atmel_at76c50|;
 
-    # skip Bluetooth dongles based on the Broadcom BCM203x 
-    # use package bluez-firmware instead
+    # skip Bluetooth dongles based on the Broadcom BCM203x, use package bluez-firmware instead
     next if $fw =~ m|^BCM2033|;
 
     next if $fw =~ m|^xc3028-v27\.fw|; # found twice!
-    next if $fw =~ m|.inp|; # where are those files?
     next if $fw =~ m|^ueagle-atm/|; # where are those files?
 
-    next if $force_skip->{$fw};
-
     next if $fwdone->{$fw};
     $fwdone->{$fw} = 1;
 
@@ -390,9 +415,9 @@ while(defined(my $line = <TMP>)) {
     if ($fw eq 'PE520.cis') {
        $fw = 'cis/PE520.cis';
     }
-    if (-f "$fwsrc1/$fw") {
-       copy_fw("$fwsrc1/$fw", $fwdest);
+
+    if (-e "$target/$fw") {
+       warn "WARN: allowed to skip existing '$fw'\n" if $ALLOW_MISSING->{$fw};
        next;
     }
     if (-f "$fwsrc3/$fw") {
@@ -400,22 +425,46 @@ while(defined(my $line = <TMP>)) {
        next;
     }
 
+    my $module = basename($mod);
+    my $name = basename($fw);
+
+    if ($name =~ /\*/) {
+       my $sr = `find '$target' \\( -type f -o -type l \\) -name '$name'`;
+       chomp $sr;
+       if ($sr) {
+           for my $f (split("\n", $sr)) {
+               print "found $f for GLOB '$name'\n";
+               my $f_name = basename($f);
+               $fwbase_name->{$f_name} = 1;
+           }
+           warn "WARN: allowed to skip existing '$fw'\n" if $ALLOW_MISSING->{$fw};
+           next;
+       } else {
+           next if $ALLOW_MISSING->{$fw};
+           warn "ERROR: unable to find FW for GLOB ($module): $fw\n";
+           $error++;
+       }
+    }
+
     if ($fw =~ m|/|) {
-       next if $skip->{$fw};
+       next if $ALLOW_MISSING->{$fw};
 
-       warn "unable to find firmware: $fw $mod\n";
+       warn "ERROR: unable to find firmware ($module): $fw\n";
        $error++;
        next;
     }
 
-    my $name = basename($fw);
-
-    my $sr = `find '$fwsrc1' -type f -name '$name'`;
+    my $sr = `find '$target' \\( -type f -o -type l \\) -name '$name'`;
     chomp $sr;
     if ($sr) {
-       print "found $fw in $sr\n";
-       copy_fw($sr, $fwdest);
-       next;
+       my $found = 0;
+       for my $f (split("\n", $sr)) {
+           if ($f =~ /$fw$/) {
+               print "found linked $fw in $f\n";
+               $found = 1;
+           }
+       }
+       next if $found;
     }
 
     $sr = `find '$fwsrc2' -type f -name '$name'`;
@@ -434,13 +483,50 @@ while(defined(my $line = <TMP>)) {
        next;
     }
 
-    next if $skip->{$fw};
-    next if $fw =~ m|^dvb-|;
+    next if $ALLOW_MISSING->{$fw};
+    next if $fw =~ m|^dvb-| || $fw =~ m|\.inp$|;
 
-    warn "unable to find firmware: $fw $mod\n";
+    warn "ERROR: unable to find firmware ($module): $fw\n";
     $error++;
     next;
 }
-close(TMP);
+close($fd);
+
+exit($error) if $error;
+
+my $target_fw_string = `find '$target' -type f -o -type l`;
+chomp $target_fw_string;
+exit(-1) if !$target_fw_string;
+
+my $all_fw_files = [ split("\n", $target_fw_string) ];
+
+my ($keep, $delete) = (0, 0);
+
+my $link_target = {};
+for my $f (@$all_fw_files) {
+    next if ! -l $f;
+    my $link = basename($f);
+    my $file = readlink($f);
+    my $target = basename($file);
+    $link_target->{$target} = 1 if $fwbase_name->{$link};
+    $link_target->{$file} = 1 if $fwbase_name->{$link};
+}
+
+for my $f (@$all_fw_files) {
+    my $name = basename($f);
+
+    if ($fwbase_name->{$name}) {
+       $keep++;
+    } elsif ($link_target->{$name}) {
+       #print "skip link target '$f'\n";
+       $keep++;
+    } else {
+       print "delete unreferenced $f\n";
+       unlink $f or warn "ERROR deleting '$f' - $!\n";
+       $delete++;
+    }
+}
+
+print "cleanup end result: keep: $keep, delete: $delete\n";
 
-exit($error);
+exit(0);