]> git.proxmox.com Git - mirror_edk2.git/blobdiff - BaseTools/Source/Python/Workspace/DscBuildData.py
BaseTools: PcdDataBase Optimization for multiple SkuIds
[mirror_edk2.git] / BaseTools / Source / Python / Workspace / DscBuildData.py
index 5b5dbb64f9af89c5d8619c1ff3355394ad8ae72b..d2114fedcd2f20158eb1eada4bde3db6af58bb70 100644 (file)
@@ -598,7 +598,7 @@ class DscBuildData(PlatformBuildClassObject):
                 if not IsValidWord(Record[1]):\r
                     EdkLogger.error('build', FORMAT_INVALID, "The format of the Sku ID name is invalid. The correct format is '(a-zA-Z0-9_)(a-zA-Z0-9_-.)*'",\r
                                     File=self.MetaFile, Line=Record[-1])\r
-                self._SkuIds[Record[1]] = (Record[0],Record[1],Record[2])\r
+                self._SkuIds[Record[1].upper()] = (Record[0], Record[1].upper(), Record[2].upper())\r
             if 'DEFAULT' not in self._SkuIds:\r
                 self._SkuIds['DEFAULT'] = ("0","DEFAULT","DEFAULT")\r
             if 'COMMON' not in self._SkuIds:\r
@@ -617,7 +617,7 @@ class DscBuildData(PlatformBuildClassObject):
                 if Record[1] in [None, '']:\r
                     EdkLogger.error('build', FORMAT_INVALID, 'No DefaultStores ID name',\r
                                     File=self.MetaFile, Line=Record[-1])\r
-                self.DefaultStores[Record[1]] = (self.ToInt(Record[0]),Record[1])\r
+                self.DefaultStores[Record[1].upper()] = (self.ToInt(Record[0]),Record[1].upper())\r
             if TAB_DEFAULT_STORES_DEFAULT not in self.DefaultStores:\r
                 self.DefaultStores[TAB_DEFAULT_STORES_DEFAULT] = (0,TAB_DEFAULT_STORES_DEFAULT)\r
         return self.DefaultStores\r
@@ -794,7 +794,7 @@ class DscBuildData(PlatformBuildClassObject):
 \r
     def _ValidatePcd(self, PcdCName, TokenSpaceGuid, Setting, PcdType, LineNo):\r
         if self._DecPcds == None:\r
-            self._DecPcds = GetDeclaredPcd(self, self._Bdb, self._Arch, self._Target, self._Toolchain)\r
+\r
             FdfInfList = []\r
             if GlobalData.gFdfParser:\r
                 FdfInfList = GlobalData.gFdfParser.Profile.InfList\r
@@ -806,13 +806,11 @@ class DscBuildData(PlatformBuildClassObject):
                     continue\r
                 ModuleData = self._Bdb[ModuleFile, self._Arch, self._Target, self._Toolchain]\r
                 PkgSet.update(ModuleData.Packages)\r
-            DecPcds = {}\r
-            for Pkg in PkgSet:\r
-                for Pcd in Pkg.Pcds:\r
-                    DecPcds[Pcd[0], Pcd[1]] = Pkg.Pcds[Pcd]\r
-            self._DecPcds.update(DecPcds)\r
 \r
-        if (PcdCName, TokenSpaceGuid) not in self._DecPcds and "." in TokenSpaceGuid and (TokenSpaceGuid.split(".")[1], TokenSpaceGuid.split(".")[0]) not in self._DecPcds:\r
+            self._DecPcds = GetDeclaredPcd(self, self._Bdb, self._Arch, self._Target, self._Toolchain,PkgSet)\r
+\r
+\r
+        if (PcdCName, TokenSpaceGuid) not in self._DecPcds:\r
             EdkLogger.error('build', PARSER_ERROR,\r
                             "Pcd (%s.%s) defined in DSC is not declared in DEC files. Arch: ['%s']" % (TokenSpaceGuid, PcdCName, self._Arch),\r
                             File=self.MetaFile, Line=LineNo)\r
@@ -861,6 +859,18 @@ class DscBuildData(PlatformBuildClassObject):
                 pcd = Pcds[pcdname]\r
                 Pcds[pcdname].SkuInfoList = {skuid:pcd.SkuInfoList[skuid] for skuid in pcd.SkuInfoList if skuid in available_sku}\r
         return Pcds\r
+    def CompleteHiiPcdsDefaultStores(self,Pcds):\r
+        HiiPcd = [Pcds[pcd] for pcd in Pcds if Pcds[pcd].Type in [self._PCD_TYPE_STRING_[MODEL_PCD_DYNAMIC_HII], self._PCD_TYPE_STRING_[MODEL_PCD_DYNAMIC_EX_HII]]]\r
+        DefaultStoreMgr = DefaultStore(self.DefaultStores)\r
+        for pcd in HiiPcd:\r
+            for skuid in pcd.SkuInfoList:\r
+                skuobj = pcd.SkuInfoList.get(skuid)\r
+                if "STANDARD" not in skuobj.DefaultStoreDict:\r
+                    PcdDefaultStoreSet = set([defaultstorename  for defaultstorename in skuobj.DefaultStoreDict])\r
+                    mindefaultstorename = DefaultStoreMgr.GetMin(PcdDefaultStoreSet)\r
+                    skuobj.DefaultStoreDict['STANDARD'] = copy.deepcopy(skuobj.DefaultStoreDict[mindefaultstorename])\r
+        return Pcds\r
+\r
     ## Retrieve all PCD settings in platform\r
     def _GetPcds(self):\r
         if self._Pcds == None:\r
@@ -877,6 +887,7 @@ class DscBuildData(PlatformBuildClassObject):
 \r
             self._Pcds = self.CompletePcdValues(self._Pcds)\r
             self._Pcds = self.UpdateStructuredPcds(MODEL_PCD_TYPE_LIST, self._Pcds)\r
+            self._Pcds = self.CompleteHiiPcdsDefaultStores(self._Pcds)\r
             self._Pcds = self._FilterPcdBySkuUsage(self._Pcds)\r
         return self._Pcds\r
 \r
@@ -938,28 +949,6 @@ class DscBuildData(PlatformBuildClassObject):
 \r
         return structure_pcd_data\r
 \r
-    def CompleteStructurePcdValue(self,pcdset):\r
-        skuset = set([item[3] for item in pcdset])\r
-        pcddatamap = {(item[0],item[1],item[2],item[3]):item for item in pcdset}\r
-        FieldSet = {}\r
-        for item in pcdset:\r
-            if (item[0],item[1]) not in FieldSet:\r
-                FieldSet[(item[0],item[1])] = set()\r
-            FieldSet[(item[0],item[1])].add(item[2])\r
-        completeset = []\r
-        for tockenspacename,pcdname, in FieldSet:\r
-            for field in FieldSet[(tockenspacename,pcdname)]:\r
-                for skuid in skuset:\r
-                    nextskuid = skuid\r
-                    while (tockenspacename,pcdname,field,nextskuid) not in pcddatamap:\r
-                        nextskuid = self.SkuIdMgr.GetNextSkuId(nextskuid)\r
-                        if nextskuid == "DEFAULT":\r
-                            break\r
-                    if (tockenspacename,pcdname,field,nextskuid) not in pcddatamap:\r
-                        continue\r
-                    item = pcddatamap[tockenspacename,pcdname,field,nextskuid]\r
-                    completeset.append((tockenspacename,pcdname,field,skuid, item[4],item[5], item[6]))\r
-        return completeset\r
     def UpdateStructuredPcds(self, TypeList, AllPcds):\r
         Pcds = AllPcds\r
         DefaultStoreMgr = DefaultStore(self.DefaultStores)\r
@@ -969,16 +958,19 @@ class DscBuildData(PlatformBuildClassObject):
         S_PcdSet = []\r
         # Find out all possible PCD candidates for self._Arch\r
         RecordList = []\r
+\r
         for Type in TypeList:\r
             RecordList.extend(self._RawData[Type, self._Arch])\r
 \r
         for TokenSpaceGuid, PcdCName, Setting, Arch, SkuName, default_store, Dummy4,Dummy5 in RecordList:\r
+            SkuName = SkuName.upper()\r
+            default_store = default_store.upper()\r
+            SkuName = 'DEFAULT' if SkuName == 'COMMON' else SkuName\r
             if SkuName not in SkuIds:\r
                 continue\r
-            SkuName = 'DEFAULT' if SkuName == 'COMMON' else SkuName\r
+\r
             if SkuName in SkuIds and "." in TokenSpaceGuid:\r
                 S_PcdSet.append(( TokenSpaceGuid.split(".")[0],TokenSpaceGuid.split(".")[1], PcdCName,SkuName, default_store,Dummy5, AnalyzePcdExpression(Setting)[0]))\r
-        S_PcdSet = self.CompleteStructurePcdValue(S_PcdSet)\r
 \r
         # handle pcd value override\r
         StrPcdSet = self.GetStructurePcdInfo(S_PcdSet)\r
@@ -997,6 +989,10 @@ class DscBuildData(PlatformBuildClassObject):
                     if str_pcd_data[3] in SkuIds:\r
                         str_pcd_obj_str.AddOverrideValue(str_pcd_data[2], str(str_pcd_data[6]), 'DEFAULT' if str_pcd_data[3] == 'COMMON' else str_pcd_data[3],'STANDARD' if str_pcd_data[4] == 'COMMON' else str_pcd_data[4], self.MetaFile.File,LineNo=str_pcd_data[5])\r
                 S_pcd_set[str_pcd[1], str_pcd[0]] = str_pcd_obj_str\r
+            else:\r
+                EdkLogger.error('build', PARSER_ERROR,\r
+                            "Pcd (%s.%s) defined in DSC is not declared in DEC files. Arch: ['%s']" % (str_pcd[0], str_pcd[1], self._Arch),\r
+                            File=self.MetaFile,Line = StrPcdSet[str_pcd][0][5])\r
         # Add the Structure PCD that only defined in DEC, don't have override in DSC file\r
         for Pcd in self._DecPcds:\r
             if type (self._DecPcds[Pcd]) is StructurePcd:\r
@@ -1022,22 +1018,33 @@ class DscBuildData(PlatformBuildClassObject):
             if stru_pcd.Type in [self._PCD_TYPE_STRING_[MODEL_PCD_DYNAMIC_HII], self._PCD_TYPE_STRING_[MODEL_PCD_DYNAMIC_EX_HII]]:\r
                 for skuid in SkuIds:\r
                     nextskuid = skuid\r
+                    NoDefault = False\r
                     if skuid not in stru_pcd.SkuOverrideValues:\r
                         while nextskuid not in stru_pcd.SkuOverrideValues:\r
+                            if nextskuid == "DEFAULT":\r
+                                NoDefault = True\r
+                                break\r
                             nextskuid = self.SkuIdMgr.GetNextSkuId(nextskuid)\r
                         stru_pcd.SkuOverrideValues[skuid] = {}\r
-                    PcdDefaultStoreSet = set([defaultstorename  for defaultstorename in stru_pcd.SkuOverrideValues[skuid]])\r
+                    if NoDefault:\r
+                        continue\r
+                    PcdDefaultStoreSet = set([defaultstorename  for defaultstorename in stru_pcd.SkuOverrideValues[nextskuid]])\r
                     mindefaultstorename = DefaultStoreMgr.GetMin(PcdDefaultStoreSet)\r
+\r
                     for defaultstoreid in DefaultStores:\r
                         if defaultstoreid not in stru_pcd.SkuOverrideValues[skuid]:\r
-                            stru_pcd.SkuOverrideValues[skuid][defaultstoreid] = stru_pcd.SkuOverrideValues[nextskuid][mindefaultstorename]\r
+                            stru_pcd.SkuOverrideValues[skuid][defaultstoreid] = copy.deepcopy(stru_pcd.SkuOverrideValues[nextskuid][mindefaultstorename])\r
             for skuid in SkuIds:\r
                 if skuid in stru_pcd.SkuOverrideValues:\r
                     continue\r
                 nextskuid = self.SkuIdMgr.GetNextSkuId(skuid)\r
+                NoDefault = False\r
                 while nextskuid not in stru_pcd.SkuOverrideValues:\r
+                    if nextskuid == "DEFAULT":\r
+                        NoDefault = True\r
+                        break\r
                     nextskuid = self.SkuIdMgr.GetNextSkuId(nextskuid)\r
-                stru_pcd.SkuOverrideValues[skuid] = stru_pcd.SkuOverrideValues[nextskuid]\r
+                stru_pcd.SkuOverrideValues[skuid] = copy.deepcopy(stru_pcd.SkuOverrideValues[nextskuid]) if not NoDefault else copy.deepcopy({defaultstorename: stru_pcd.DefaultValues for defaultstorename in DefaultStores})\r
         Str_Pcd_Values = self.GenerateByteArrayValue(S_pcd_set)\r
         if Str_Pcd_Values:\r
             for (skuname,StoreName,PcdGuid,PcdName,PcdValue) in Str_Pcd_Values:\r
@@ -1070,8 +1077,7 @@ class DscBuildData(PlatformBuildClassObject):
                 str_pcd_obj.SkuInfoList[self.SkuIdMgr.SystemSkuId].HiiDefaultValue = str_pcd_obj.SkuInfoList[self.SkuIdMgr.SystemSkuId].DefaultStoreDict[mindefaultstorename]\r
 \r
             for str_pcd_obj in S_pcd_set.values():\r
-                if not str_pcd_obj.OverrideValues:\r
-                    continue\r
+\r
                 str_pcd_obj.MaxDatumSize = self.GetStructurePcdMaxSize(str_pcd_obj)\r
                 Pcds[str_pcd_obj.TokenCName, str_pcd_obj.TokenSpaceGuidCName] = str_pcd_obj\r
 \r
@@ -1089,7 +1095,7 @@ class DscBuildData(PlatformBuildClassObject):
         # tdict is a special dict kind of type, used for selecting correct\r
         # PCD settings for certain ARCH\r
         #\r
-\r
+        AvailableSkuIdSet = copy.copy(self.SkuIds)\r
 \r
         PcdDict = tdict(True, 3)\r
         PcdSet = set()\r
@@ -1097,6 +1103,11 @@ class DscBuildData(PlatformBuildClassObject):
         RecordList = self._RawData[Type, self._Arch]\r
         PcdValueDict = sdict()\r
         for TokenSpaceGuid, PcdCName, Setting, Arch, SkuName, Dummy3, Dummy4,Dummy5 in RecordList:\r
+            SkuName = SkuName.upper()\r
+            SkuName = 'DEFAULT' if SkuName == 'COMMON' else SkuName\r
+            if SkuName not in AvailableSkuIdSet:\r
+                EdkLogger.error('build ', PARAMETER_INVALID, 'Sku %s is not defined in [SkuIds] section' % SkuName,\r
+                                            File=self.MetaFile, Line=Dummy5)\r
             if SkuName in (self.SkuIdMgr.SystemSkuId, 'DEFAULT', 'COMMON'):\r
                 if "." not in TokenSpaceGuid:\r
                     PcdSet.add((PcdCName, TokenSpaceGuid, SkuName, Dummy4))\r
@@ -1516,8 +1527,11 @@ class DscBuildData(PlatformBuildClassObject):
 \r
 \r
         for TokenSpaceGuid, PcdCName, Setting, Arch, SkuName, Dummy3, Dummy4,Dummy5 in RecordList:\r
+            SkuName = SkuName.upper()\r
+            SkuName = 'DEFAULT' if SkuName == 'COMMON' else SkuName\r
             if SkuName not in AvailableSkuIdSet:\r
-                continue\r
+                EdkLogger.error('build', PARAMETER_INVALID, 'Sku %s is not defined in [SkuIds] section' % SkuName,\r
+                                            File=self.MetaFile, Line=Dummy5)\r
             if "." not in TokenSpaceGuid:\r
                 PcdList.append((PcdCName, TokenSpaceGuid, SkuName, Dummy4))\r
             PcdDict[Arch, SkuName, PcdCName, TokenSpaceGuid] = Setting\r
@@ -1590,7 +1604,7 @@ class DscBuildData(PlatformBuildClassObject):
     def CompletePcdValues(self,PcdSet):\r
         Pcds = {}\r
         DefaultStoreObj = DefaultStore(self._GetDefaultStores())\r
-        SkuIds = set([skuid for pcdobj in PcdSet.values() for skuid in pcdobj.SkuInfoList.keys()])\r
+        SkuIds = set([(skuid,skuobj.SkuId) for pcdobj in PcdSet.values() for skuid,skuobj in pcdobj.SkuInfoList.items()])\r
         DefaultStores = set([storename for pcdobj in PcdSet.values() for skuobj in pcdobj.SkuInfoList.values() for storename in skuobj.DefaultStoreDict.keys()])\r
         for PcdCName, TokenSpaceGuid in PcdSet:\r
             PcdObj = PcdSet[(PcdCName, TokenSpaceGuid)]\r
@@ -1609,14 +1623,16 @@ class DscBuildData(PlatformBuildClassObject):
                     mindefaultstorename = DefaultStoreObj.GetMin(set([defaultstorename  for defaultstorename in skuobj.DefaultStoreDict]))\r
                     for defaultstorename in DefaultStores:\r
                         if defaultstorename not in skuobj.DefaultStoreDict:\r
-                            skuobj.DefaultStoreDict[defaultstorename] = skuobj.DefaultStoreDict[mindefaultstorename]\r
+                            skuobj.DefaultStoreDict[defaultstorename] = copy.deepcopy(skuobj.DefaultStoreDict[mindefaultstorename])\r
                     skuobj.HiiDefaultValue = skuobj.DefaultStoreDict[mindefaultstorename]\r
-            for skuid in SkuIds:\r
-                if skuid not in PcdObj.SkuInfoList:\r
-                    nextskuid = self.SkuIdMgr.GetNextSkuId(skuid)\r
+            for skuname,skuid in SkuIds:\r
+                if skuname not in PcdObj.SkuInfoList:\r
+                    nextskuid = self.SkuIdMgr.GetNextSkuId(skuname)\r
                     while nextskuid not in PcdObj.SkuInfoList:\r
                         nextskuid = self.SkuIdMgr.GetNextSkuId(nextskuid)\r
-                    PcdObj.SkuInfoList[skuid] = PcdObj.SkuInfoList[nextskuid]\r
+                    PcdObj.SkuInfoList[skuname] = copy.deepcopy(PcdObj.SkuInfoList[nextskuid])\r
+                    PcdObj.SkuInfoList[skuname].SkuId = skuid\r
+                    PcdObj.SkuInfoList[skuname].SkuIdName = skuname\r
             if PcdType in [self._PCD_TYPE_STRING_[MODEL_PCD_DYNAMIC_HII], self._PCD_TYPE_STRING_[MODEL_PCD_DYNAMIC_EX_HII]]:\r
                 PcdObj.DefaultValue = PcdObj.SkuInfoList.values()[0].HiiDefaultValue if self.SkuIdMgr.SkuUsageType == self.SkuIdMgr.SINGLE else PcdObj.SkuInfoList["DEFAULT"].HiiDefaultValue\r
             Pcds[PcdCName, TokenSpaceGuid]= PcdObj\r
@@ -1641,12 +1657,20 @@ class DscBuildData(PlatformBuildClassObject):
         RecordList = self._RawData[Type, self._Arch]\r
         # Find out all possible PCD candidates for self._Arch\r
         AvailableSkuIdSet = copy.copy(self.SkuIds)\r
+        DefaultStoresDefine = self._GetDefaultStores()\r
 \r
         for TokenSpaceGuid, PcdCName, Setting, Arch, SkuName, DefaultStore, Dummy4,Dummy5 in RecordList:\r
+            SkuName = SkuName.upper()\r
+            SkuName = 'DEFAULT' if SkuName == 'COMMON' else SkuName\r
+            DefaultStore = DefaultStore.upper()\r
             if DefaultStore == "COMMON":\r
                 DefaultStore = "STANDARD"\r
             if SkuName not in AvailableSkuIdSet:\r
-                continue\r
+                EdkLogger.error('build', PARAMETER_INVALID, 'Sku %s is not defined in [SkuIds] section' % SkuName,\r
+                                            File=self.MetaFile, Line=Dummy5)\r
+            if DefaultStore not in DefaultStoresDefine:\r
+                EdkLogger.error('build', PARAMETER_INVALID, 'DefaultStores %s is not defined in [DefaultStores] section' % DefaultStore,\r
+                                            File=self.MetaFile, Line=Dummy5)\r
             if "." not in TokenSpaceGuid:\r
                 PcdSet.add((PcdCName, TokenSpaceGuid, SkuName,DefaultStore, Dummy4))\r
             PcdDict[Arch, SkuName, PcdCName, TokenSpaceGuid,DefaultStore] = Setting\r
@@ -1729,7 +1753,7 @@ class DscBuildData(PlatformBuildClassObject):
                     sku.HiiDefaultValue = pcdDecObject.DefaultValue\r
             if 'DEFAULT' not in pcd.SkuInfoList.keys() and 'COMMON' not in pcd.SkuInfoList.keys():\r
                 valuefromDec = pcdDecObject.DefaultValue\r
-                SkuInfo = SkuInfoClass('DEFAULT', '0', SkuInfoObj.VariableName, SkuInfoObj.VariableGuid, SkuInfoObj.VariableOffset, valuefromDec)\r
+                SkuInfo = SkuInfoClass('DEFAULT', '0', SkuInfoObj.VariableName, SkuInfoObj.VariableGuid, SkuInfoObj.VariableOffset, valuefromDec,VariableAttribute=SkuInfoObj.VariableAttribute,DefaultStore={DefaultStore:valuefromDec})\r
                 pcd.SkuInfoList['DEFAULT'] = SkuInfo\r
             elif 'DEFAULT' not in pcd.SkuInfoList.keys() and 'COMMON' in pcd.SkuInfoList.keys():\r
                 pcd.SkuInfoList['DEFAULT'] = pcd.SkuInfoList['COMMON']\r
@@ -1747,7 +1771,7 @@ class DscBuildData(PlatformBuildClassObject):
             else:\r
                 MaxSize = 0\r
             if pcdDecObject.DatumType == 'VOID*':\r
-                for (skuname, skuobj) in pcd.SkuInfoList.items():\r
+                for (_, skuobj) in pcd.SkuInfoList.items():\r
                     datalen = 0\r
                     if skuobj.HiiDefaultValue.startswith("L"):\r
                         datalen = (len(skuobj.HiiDefaultValue) - 3 + 1) * 2\r
@@ -1758,9 +1782,23 @@ class DscBuildData(PlatformBuildClassObject):
                     if datalen > MaxSize:\r
                         MaxSize = datalen\r
                 pcd.MaxDatumSize = str(MaxSize)\r
+        rt, invalidhii = self.CheckVariableNameAssignment(Pcds)\r
+        if not rt:\r
+            invalidpcd = ",".join(invalidhii)\r
+            EdkLogger.error('build', PCD_VARIABLE_INFO_ERROR, Message='The same HII PCD must map to the same EFI variable for all SKUs', File=self.MetaFile, ExtraData=invalidpcd)\r
         return Pcds\r
 \r
-\r
+    def CheckVariableNameAssignment(self,Pcds):\r
+        invalidhii = []\r
+        for pcdname in Pcds:\r
+            pcd = Pcds[pcdname]\r
+            varnameset = set([sku.VariableName for (skuid,sku) in pcd.SkuInfoList.items()])\r
+            if len(varnameset) > 1:\r
+                invalidhii.append(".".join((pcdname[1],pcdname[0])))\r
+        if len(invalidhii):\r
+            return False,invalidhii\r
+        else:\r
+            return True, []\r
     ## Retrieve dynamic VPD PCD settings\r
     #\r
     #   @param  Type    PCD type\r
@@ -1783,8 +1821,11 @@ class DscBuildData(PlatformBuildClassObject):
         AvailableSkuIdSet = copy.copy(self.SkuIds)\r
 \r
         for TokenSpaceGuid, PcdCName, Setting, Arch, SkuName, Dummy3, Dummy4,Dummy5 in RecordList:\r
+            SkuName = SkuName.upper()\r
+            SkuName = 'DEFAULT' if SkuName == 'COMMON' else SkuName\r
             if SkuName not in AvailableSkuIdSet:\r
-                continue\r
+                EdkLogger.error('build', PARAMETER_INVALID, 'Sku %s is not defined in [SkuIds] section' % SkuName,\r
+                                            File=self.MetaFile, Line=Dummy5)\r
             if "." not in TokenSpaceGuid:\r
                 PcdList.append((PcdCName, TokenSpaceGuid, SkuName, Dummy4))\r
             PcdDict[Arch, SkuName, PcdCName, TokenSpaceGuid] = Setting\r