]> git.proxmox.com Git - mirror_edk2.git/blobdiff - BaseTools/Source/Python/GenFds/FdfParser.py
BaseTools: Enable structure pcd in FDF file
[mirror_edk2.git] / BaseTools / Source / Python / GenFds / FdfParser.py
index 4518d8f2af7c5ae09350d82d04659b4486455225..e2e6df71673a6129f84e37b97c535912d203d09e 100644 (file)
@@ -16,6 +16,7 @@
 ##\r
 # Import Modules\r
 #\r
+from __future__ import print_function\r
 import re\r
 \r
 import Fd\r
@@ -48,12 +49,12 @@ from GenFdsGlobalVariable import GenFdsGlobalVariable
 from Common.BuildToolError import *\r
 from Common import EdkLogger\r
 from Common.Misc import PathClass\r
-from Common.String import NormPath\r
+from Common.StringUtils import NormPath\r
 import Common.GlobalData as GlobalData\r
 from Common.Expression import *\r
 from Common import GlobalData\r
 from Common.DataType import *\r
-from Common.String import ReplaceMacro\r
+from Common.StringUtils import ReplaceMacro\r
 import uuid\r
 from Common.Misc import tdict\r
 from Common.MultipleWorkspace import MultipleWorkspace as mws\r
@@ -82,13 +83,12 @@ T_CHAR_BACKSLASH, T_CHAR_DOUBLE_QUOTE, T_CHAR_SINGLE_QUOTE, T_CHAR_STAR, T_CHAR_
 SEPERATOR_TUPLE = ('=', '|', ',', '{', '}')\r
 \r
 RegionSizePattern = re.compile("\s*(?P<base>(?:0x|0X)?[a-fA-F0-9]+)\s*\|\s*(?P<size>(?:0x|0X)?[a-fA-F0-9]+)\s*")\r
-RegionSizeGuidPattern = re.compile("\s*(?P<base>\w+\.\w+)\s*\|\s*(?P<size>\w+\.\w+)\s*")\r
-RegionOffsetPcdPattern = re.compile("\s*(?P<base>\w+\.\w+)\s*$")\r
+RegionSizeGuidPattern = re.compile("\s*(?P<base>\w+\.\w+[\.\w\[\]]*)\s*\|\s*(?P<size>\w+\.\w+[\.\w\[\]]*)\s*")\r
+RegionOffsetPcdPattern = re.compile("\s*(?P<base>\w+\.\w+[\.\w\[\]]*)\s*$")\r
 ShortcutPcdPattern = re.compile("\s*\w+\s*=\s*(?P<value>(?:0x|0X)?[a-fA-F0-9]+)\s*\|\s*(?P<name>\w+\.\w+)\s*")\r
 BaseAddrValuePattern = re.compile('^0[xX][0-9a-fA-F]+')\r
 FileExtensionPattern = re.compile(r'([a-zA-Z][a-zA-Z0-9]*)')\r
 TokenFindPattern = re.compile(r'([a-zA-Z0-9\-]+|\$\(TARGET\)|\*)_([a-zA-Z0-9\-]+|\$\(TOOL_CHAIN_TAG\)|\*)_([a-zA-Z0-9\-]+|\$\(ARCH\)|\*)')\r
-\r
 AllIncludeFileList = []\r
 \r
 # Get the closest parent\r
@@ -172,7 +172,7 @@ class IncludeFileProfile :
         self.InsertAdjust = 0\r
         self.IncludeFileList = []\r
         self.Level = 1 # first level include file\r
-    \r
+\r
     def GetTotalLines(self):\r
         TotalLines = self.InsertAdjust + len(self.FileLinesList)\r
 \r
@@ -190,7 +190,7 @@ class IncludeFileProfile :
     def GetLineInFile(self, Line):\r
         if not self.IsLineInFile (Line):\r
             return (self.FileName, -1)\r
-        \r
+\r
         InsertedLines = self.InsertStartLineNumber\r
 \r
         for Profile in self.IncludeFileList:\r
@@ -225,14 +225,15 @@ class FileProfile :
         except:\r
             EdkLogger.error("FdfParser", FILE_OPEN_FAILURE, ExtraData=FileName)\r
 \r
-\r
+        self.FileName = FileName\r
         self.PcdDict = {}\r
+        self.PcdLocalDict = {}\r
         self.InfList = []\r
         self.InfDict = {'ArchTBD':[]}\r
         # ECC will use this Dict and List information\r
         self.PcdFileLineDict = {}\r
         self.InfFileLineList = []\r
-        \r
+\r
         self.FdDict = {}\r
         self.FdNameNotSet = False\r
         self.FvDict = {}\r
@@ -338,11 +339,11 @@ class FdfParser:
     #\r
     #   @param  self        The object pointer\r
     #   @param  DestLine    Optional new destination line number.\r
-    #   @param  DestOffset  Optional new destination offset.     \r
+    #   @param  DestOffset  Optional new destination offset.\r
     #\r
-    def Rewind(self, DestLine = 1, DestOffset = 0):  \r
-        self.CurrentLineNumber = DestLine           \r
-        self.CurrentOffsetWithinLine = DestOffset   \r
+    def Rewind(self, DestLine = 1, DestOffset = 0):\r
+        self.CurrentLineNumber = DestLine\r
+        self.CurrentOffsetWithinLine = DestOffset\r
 \r
     ## __UndoOneChar() method\r
     #\r
@@ -458,7 +459,7 @@ class FdfParser:
         if MacroName.startswith('!'):\r
             NotFlag = True\r
             MacroName = MacroName[1:].strip()\r
-         \r
+\r
         if not MacroName.startswith('$(') or not MacroName.endswith(')'):\r
             raise Warning("Macro name expected(Please use '$(%(Token)s)' if '%(Token)s' is a macro.)" % {"Token" : MacroName},\r
                           self.FileName, self.CurrentLineNumber)\r
@@ -598,7 +599,7 @@ class FdfParser:
     #   @param  self        The object pointer\r
     #\r
     def PreprocessIncludeFile(self):\r
-           # nested include support\r
+      # nested include support\r
         Processed = False\r
         MacroDict = {}\r
         while self.__GetNextToken():\r
@@ -663,7 +664,7 @@ class FdfParser:
                         IncludedFile1 = PathClass(IncludedFile, GlobalData.gWorkspace)\r
                         ErrorCode = IncludedFile1.Validate()[0]\r
                         if ErrorCode != 0:\r
-                            raise Warning("The include file does not exist under below directories: \n%s\n%s\n%s\n"%(os.path.dirname(self.FileName), PlatformDir, GlobalData.gWorkspace), \r
+                            raise Warning("The include file does not exist under below directories: \n%s\n%s\n%s\n"%(os.path.dirname(self.FileName), PlatformDir, GlobalData.gWorkspace),\r
                                           self.FileName, self.CurrentLineNumber)\r
 \r
                 if not IsValidInclude (IncludedFile1.Path, self.CurrentLineNumber):\r
@@ -706,18 +707,18 @@ class FdfParser:
                 Processed = False\r
         # Preprocess done.\r
         self.Rewind()\r
-        \r
+\r
     @staticmethod\r
     def __GetIfListCurrentItemStat(IfList):\r
         if len(IfList) == 0:\r
             return True\r
-        \r
+\r
         for Item in IfList:\r
             if Item[1] == False:\r
                 return False\r
-        \r
+\r
         return True\r
-    \r
+\r
     ## PreprocessConditionalStatement() method\r
     #\r
     #   Preprocess conditional statement.\r
@@ -777,7 +778,7 @@ class FdfParser:
                     Macro = self.__Token\r
                     if not self.__IsToken( "="):\r
                         raise Warning("expected '='", self.FileName, self.CurrentLineNumber)\r
-    \r
+\r
                     Value = self.__GetExpression()\r
                     self.__SetMacroValue(Macro, Value)\r
                     self.__WipeOffArea.append(((DefineLine, DefineOffset), (self.CurrentLineNumber - 1, self.CurrentOffsetWithinLine - 1)))\r
@@ -786,7 +787,7 @@ class FdfParser:
                     continue\r
                 SetLine = self.CurrentLineNumber - 1\r
                 SetOffset = self.CurrentOffsetWithinLine - len('SET')\r
-                PcdPair = self.__GetNextPcdName()\r
+                PcdPair = self.__GetNextPcdSettings()\r
                 PcdName = "%s.%s" % (PcdPair[1], PcdPair[0])\r
                 if not self.__IsToken( "="):\r
                     raise Warning("expected '='", self.FileName, self.CurrentLineNumber)\r
@@ -797,6 +798,7 @@ class FdfParser:
                 self.__PcdDict[PcdName] = Value\r
 \r
                 self.Profile.PcdDict[PcdPair] = Value\r
+                self.SetPcdLocalation(PcdPair)\r
                 FileLineTuple = GetRealFileLine(self.FileName, self.CurrentLineNumber)\r
                 self.Profile.PcdFileLineDict[PcdPair] = FileLineTuple\r
 \r
@@ -807,7 +809,7 @@ class FdfParser:
 \r
                 CondLabel = self.__Token\r
                 Expression = self.__GetExpression()\r
-                \r
+\r
                 if CondLabel == '!if':\r
                     ConditionSatisfied = self.__EvaluateConditional(Expression, IfList[-1][0][0] + 1, 'eval')\r
                 else:\r
@@ -818,7 +820,7 @@ class FdfParser:
                 BranchDetermined = ConditionSatisfied\r
                 IfList[-1] = [IfList[-1][0], ConditionSatisfied, BranchDetermined]\r
                 if ConditionSatisfied:\r
-                    self.__WipeOffArea.append((IfList[-1][0], (self.CurrentLineNumber - 1, self.CurrentOffsetWithinLine - 1)))                 \r
+                    self.__WipeOffArea.append((IfList[-1][0], (self.CurrentLineNumber - 1, self.CurrentOffsetWithinLine - 1)))\r
             elif self.__Token in ('!elseif', '!else'):\r
                 ElseStartPos = (self.CurrentLineNumber - 1, self.CurrentOffsetWithinLine - len(self.__Token))\r
                 if len(IfList) <= 0:\r
@@ -890,7 +892,7 @@ class FdfParser:
             ScopeMacro = self.__MacroDict[TAB_COMMON, TAB_COMMON, TAB_COMMON]\r
             if ScopeMacro:\r
                 MacroDict.update(ScopeMacro)\r
-    \r
+\r
             # Section macro\r
             ScopeMacro = self.__MacroDict[\r
                         self.__CurSection[0],\r
@@ -904,7 +906,7 @@ class FdfParser:
         MacroDict.update(GlobalData.gCommandLineDefines)\r
         if GlobalData.BuildOptionPcd:\r
             for Item in GlobalData.BuildOptionPcd:\r
-                if type(Item) is tuple:\r
+                if isinstance(Item, tuple):\r
                     continue\r
                 PcdName, TmpValue = Item.split("=")\r
                 TmpValue = BuildOptionValue(TmpValue, {})\r
@@ -921,16 +923,16 @@ class FdfParser:
                     return ValueExpression(Expression, MacroPcdDict)(True)\r
                 else:\r
                     return ValueExpression(Expression, MacroPcdDict)()\r
-            except WrnExpression, Excpt:\r
-                # \r
+            except WrnExpression as Excpt:\r
+                #\r
                 # Catch expression evaluation warning here. We need to report\r
                 # the precise number of line and return the evaluation result\r
                 #\r
                 EdkLogger.warn('Parser', "Suspicious expression: %s" % str(Excpt),\r
-                                File=self.FileName, ExtraData=self.__CurrentLine(), \r
+                                File=self.FileName, ExtraData=self.__CurrentLine(),\r
                                 Line=Line)\r
                 return Excpt.result\r
-            except Exception, Excpt:\r
+            except Exception as Excpt:\r
                 if hasattr(Excpt, 'Pcd'):\r
                     if Excpt.Pcd in GlobalData.gPlatformOtherPcds:\r
                         Info = GlobalData.gPlatformOtherPcds[Excpt.Pcd]\r
@@ -946,7 +948,7 @@ class FdfParser:
                     raise Warning(str(Excpt), self.FileName, Line)\r
         else:\r
             if Expression.startswith('$(') and Expression[-1] == ')':\r
-                Expression = Expression[2:-1]            \r
+                Expression = Expression[2:-1]\r
             return Expression in MacroPcdDict\r
 \r
     ## __IsToken() method\r
@@ -1048,6 +1050,29 @@ class FdfParser:
 \r
         return False\r
 \r
+    def __GetNextPcdWord(self):\r
+        self.__SkipWhiteSpace()\r
+        if self.__EndOfFile():\r
+            return False\r
+\r
+        TempChar = self.__CurrentChar()\r
+        StartPos = self.CurrentOffsetWithinLine\r
+        if (TempChar >= 'a' and TempChar <= 'z') or (TempChar >= 'A' and TempChar <= 'Z') or TempChar == '_' or TempChar == '[' or TempChar == ']':\r
+            self.__GetOneChar()\r
+            while not self.__EndOfLine():\r
+                TempChar = self.__CurrentChar()\r
+                if (TempChar >= 'a' and TempChar <= 'z') or (TempChar >= 'A' and TempChar <= 'Z') \\r
+                or (TempChar >= '0' and TempChar <= '9') or TempChar == '_' or TempChar == '-' or TempChar == '[' or TempChar == ']':\r
+                    self.__GetOneChar()\r
+\r
+                else:\r
+                    break\r
+\r
+            self.__Token = self.__CurrentLine()[StartPos : self.CurrentOffsetWithinLine]\r
+            return True\r
+\r
+        return False\r
+\r
     ## __GetNextToken() method\r
     #\r
     #   Get next token unit before a seperator\r
@@ -1239,6 +1264,26 @@ class FdfParser:
 \r
         return (pcdCName, pcdTokenSpaceCName)\r
 \r
+    def __GetNextPcdSettings(self):\r
+        if not self.__GetNextWord():\r
+            raise Warning("expected format of <PcdTokenSpaceCName>.<PcdCName>", self.FileName, self.CurrentLineNumber)\r
+        pcdTokenSpaceCName = self.__Token\r
+\r
+        if not self.__IsToken( "."):\r
+            raise Warning("expected format of <PcdTokenSpaceCName>.<PcdCName>", self.FileName, self.CurrentLineNumber)\r
+\r
+        if not self.__GetNextWord():\r
+            raise Warning("expected format of <PcdTokenSpaceCName>.<PcdCName>", self.FileName, self.CurrentLineNumber)\r
+        pcdCName = self.__Token\r
+\r
+        Fields = []\r
+        while self.__IsToken("."):\r
+            if not self.__GetNextPcdWord():\r
+                raise Warning("expected format of <PcdTokenSpaceCName>.<PcdCName>", self.FileName, self.CurrentLineNumber)\r
+            Fields.append(self.__Token)\r
+\r
+        return (pcdCName, pcdTokenSpaceCName,".".join(Fields))\r
+\r
     ## __GetStringData() method\r
     #\r
     #   Get string contents quoted in ""\r
@@ -1361,13 +1406,14 @@ class FdfParser:
 \r
         try:\r
             self.Preprocess()\r
+            self.__GetError()\r
             #\r
             # Keep processing sections of the FDF until no new sections or a syntax error is found\r
             #\r
             while self.__GetFd() or self.__GetFv() or self.__GetFmp() or self.__GetCapsule() or self.__GetVtf() or self.__GetRule() or self.__GetOptionRom():\r
                 pass\r
 \r
-        except Warning, X:\r
+        except Warning as X:\r
             self.__UndoToken()\r
             #'\n\tGot Token: \"%s\" from File %s\n' % (self.__Token, FileLineTuple[0]) + \\r
             # At this point, the closest parent would be the included file itself\r
@@ -1430,9 +1476,9 @@ class FdfParser:
                 self.__UndoToken()\r
                 self.__GetSetStatement(None)\r
                 continue\r
-            \r
+\r
             Macro = self.__Token\r
-            \r
+\r
             if not self.__IsToken("="):\r
                 raise Warning("expected '='", self.FileName, self.CurrentLineNumber)\r
             if not self.__GetNextToken() or self.__Token.startswith('['):\r
@@ -1441,6 +1487,17 @@ class FdfParser:
 \r
         return False\r
 \r
+    ##__GetError() method\r
+    def __GetError(self):\r
+        #save the Current information\r
+        CurrentLine = self.CurrentLineNumber\r
+        CurrentOffset = self.CurrentOffsetWithinLine\r
+        while self.__GetNextToken():\r
+            if self.__Token == TAB_ERROR:\r
+                EdkLogger.error('FdfParser', ERROR_STATEMENT, self.__CurrentLine().replace(TAB_ERROR, '', 1), File=self.FileName, Line=self.CurrentLineNumber)\r
+        self.CurrentLineNumber = CurrentLine\r
+        self.CurrentOffsetWithinLine = CurrentOffset\r
+\r
     ## __GetFd() method\r
     #\r
     #   Get FD section contents and store its data into FD dictionary of self.Profile\r
@@ -1479,7 +1536,7 @@ class FdfParser:
             else:\r
                 raise Warning("expected FdName in [FD.] section", self.FileName, self.CurrentLineNumber)\r
         self.CurrentFdName = FdName.upper()\r
-        \r
+\r
         if self.CurrentFdName in self.Profile.FdDict:\r
             raise Warning("Unexpected the same FD name", self.FileName, self.CurrentLineNumber)\r
 \r
@@ -1554,6 +1611,9 @@ class FdfParser:
 \r
         return True\r
 \r
+    def SetPcdLocalation(self,pcdpair):\r
+        self.Profile.PcdLocalDict[pcdpair] = (self.Profile.FileName,self.CurrentLineNumber)\r
+\r
     ## __GetTokenStatements() method\r
     #\r
     #   Get token statements\r
@@ -1565,16 +1625,17 @@ class FdfParser:
         if self.__IsKeyword( "BaseAddress"):\r
             if not self.__IsToken( "="):\r
                 raise Warning("expected '='", self.FileName, self.CurrentLineNumber)\r
-    \r
+\r
             if not self.__GetNextHexNumber():\r
                 raise Warning("expected Hex base address", self.FileName, self.CurrentLineNumber)\r
-    \r
+\r
             Obj.BaseAddress = self.__Token\r
-    \r
+\r
             if self.__IsToken( "|"):\r
-                pcdPair = self.__GetNextPcdName()\r
+                pcdPair = self.__GetNextPcdSettings()\r
                 Obj.BaseAddressPcd = pcdPair\r
                 self.Profile.PcdDict[pcdPair] = Obj.BaseAddress\r
+                self.SetPcdLocalation(pcdPair)\r
                 FileLineTuple = GetRealFileLine(self.FileName, self.CurrentLineNumber)\r
                 self.Profile.PcdFileLineDict[pcdPair] = FileLineTuple\r
             return True\r
@@ -1582,15 +1643,16 @@ class FdfParser:
         if self.__IsKeyword( "Size"):\r
             if not self.__IsToken( "="):\r
                 raise Warning("expected '='", self.FileName, self.CurrentLineNumber)\r
-    \r
+\r
             if not self.__GetNextHexNumber():\r
                 raise Warning("expected Hex size", self.FileName, self.CurrentLineNumber)\r
 \r
             Size = self.__Token\r
             if self.__IsToken( "|"):\r
-                pcdPair = self.__GetNextPcdName()\r
+                pcdPair = self.__GetNextPcdSettings()\r
                 Obj.SizePcd = pcdPair\r
                 self.Profile.PcdDict[pcdPair] = Size\r
+                self.SetPcdLocalation(pcdPair)\r
                 FileLineTuple = GetRealFileLine(self.FileName, self.CurrentLineNumber)\r
                 self.Profile.PcdFileLineDict[pcdPair] = FileLineTuple\r
             Obj.Size = long(Size, 0)\r
@@ -1599,13 +1661,13 @@ class FdfParser:
         if self.__IsKeyword( "ErasePolarity"):\r
             if not self.__IsToken( "="):\r
                 raise Warning("expected '='", self.FileName, self.CurrentLineNumber)\r
-    \r
+\r
             if not self.__GetNextToken():\r
                 raise Warning("expected Erase Polarity", self.FileName, self.CurrentLineNumber)\r
-    \r
+\r
             if self.__Token != "1" and self.__Token != "0":\r
                 raise Warning("expected 1 or 0 Erase Polarity", self.FileName, self.CurrentLineNumber)\r
-    \r
+\r
             Obj.ErasePolarity = self.__Token\r
             return True\r
 \r
@@ -1653,7 +1715,7 @@ class FdfParser:
         IsBlock = False\r
         while self.__GetBlockStatement(Obj):\r
             IsBlock = True\r
-        \r
+\r
             Item = Obj.BlockSizeList[-1]\r
             if Item[0] is None or Item[1] is None:\r
                 raise Warning("expected block statement", self.FileName, self.CurrentLineNumber)\r
@@ -1681,9 +1743,10 @@ class FdfParser:
         BlockSize = self.__Token\r
         BlockSizePcd = None\r
         if self.__IsToken( "|"):\r
-            PcdPair = self.__GetNextPcdName()\r
+            PcdPair = self.__GetNextPcdSettings()\r
             BlockSizePcd = PcdPair\r
             self.Profile.PcdDict[PcdPair] = BlockSize\r
+            self.SetPcdLocalation(PcdPair)\r
             FileLineTuple = GetRealFileLine(self.FileName, self.CurrentLineNumber)\r
             self.Profile.PcdFileLineDict[PcdPair] = FileLineTuple\r
         BlockSize = long(BlockSize, 0)\r
@@ -1764,7 +1827,7 @@ class FdfParser:
     #\r
     def __GetSetStatement(self, Obj):\r
         if self.__IsKeyword("SET"):\r
-            PcdPair = self.__GetNextPcdName()\r
+            PcdPair = self.__GetNextPcdSettings()\r
 \r
             if not self.__IsToken( "="):\r
                 raise Warning("expected '='", self.FileName, self.CurrentLineNumber)\r
@@ -1775,6 +1838,7 @@ class FdfParser:
             if Obj:\r
                 Obj.SetVarDict[PcdPair] = Value\r
             self.Profile.PcdDict[PcdPair] = Value\r
+            self.SetPcdLocalation(PcdPair)\r
             FileLineTuple = GetRealFileLine(self.FileName, self.CurrentLineNumber)\r
             self.Profile.PcdFileLineDict[PcdPair] = FileLineTuple\r
             return True\r
@@ -1807,7 +1871,7 @@ class FdfParser:
             return long(\r
                 ValueExpression(Expr,\r
                                 self.__CollectMacroPcd()\r
-                                )(True),0)\r
+                                )(True), 0)\r
         except Exception:\r
             self.SetFileBufferPos(StartPos)\r
             return None\r
@@ -1822,7 +1886,7 @@ class FdfParser:
     #   @retval False       Not able to find\r
     #\r
     def __GetRegionLayout(self, Fd):\r
-        Offset = self.__CalcRegionExpr() \r
+        Offset = self.__CalcRegionExpr()\r
         if Offset is None:\r
             return False\r
 \r
@@ -1851,14 +1915,16 @@ class FdfParser:
             IsRegionPcd = (RegionSizeGuidPattern.match(self.__CurrentLine()[self.CurrentOffsetWithinLine:]) or\r
                            RegionOffsetPcdPattern.match(self.__CurrentLine()[self.CurrentOffsetWithinLine:]))\r
             if IsRegionPcd:\r
-                RegionObj.PcdOffset = self.__GetNextPcdName()\r
+                RegionObj.PcdOffset = self.__GetNextPcdSettings()\r
                 self.Profile.PcdDict[RegionObj.PcdOffset] = "0x%08X" % (RegionObj.Offset + long(Fd.BaseAddress, 0))\r
+                self.SetPcdLocalation(RegionObj.PcdOffset)\r
                 self.__PcdDict['%s.%s' % (RegionObj.PcdOffset[1], RegionObj.PcdOffset[0])] = "0x%x" % RegionObj.Offset\r
                 FileLineTuple = GetRealFileLine(self.FileName, self.CurrentLineNumber)\r
                 self.Profile.PcdFileLineDict[RegionObj.PcdOffset] = FileLineTuple\r
                 if self.__IsToken( "|"):\r
-                    RegionObj.PcdSize = self.__GetNextPcdName()\r
+                    RegionObj.PcdSize = self.__GetNextPcdSettings()\r
                     self.Profile.PcdDict[RegionObj.PcdSize] = "0x%08X" % RegionObj.Size\r
+                    self.SetPcdLocalation(RegionObj.PcdSize)\r
                     self.__PcdDict['%s.%s' % (RegionObj.PcdSize[1], RegionObj.PcdSize[0])] = "0x%x" % RegionObj.Size\r
                     FileLineTuple = GetRealFileLine(self.FileName, self.CurrentLineNumber)\r
                     self.Profile.PcdFileLineDict[RegionObj.PcdSize] = FileLineTuple\r
@@ -2138,9 +2204,9 @@ class FdfParser:
         while True:\r
             self.__GetSetStatements(FvObj)\r
 \r
-            if not (self.__GetBlockStatement(FvObj) or self.__GetFvBaseAddress(FvObj) or \r
-                self.__GetFvForceRebase(FvObj) or self.__GetFvAlignment(FvObj) or \r
-                self.__GetFvAttributes(FvObj) or self.__GetFvNameGuid(FvObj) or \r
+            if not (self.__GetBlockStatement(FvObj) or self.__GetFvBaseAddress(FvObj) or\r
+                self.__GetFvForceRebase(FvObj) or self.__GetFvAlignment(FvObj) or\r
+                self.__GetFvAttributes(FvObj) or self.__GetFvNameGuid(FvObj) or\r
                 self.__GetFvExtEntryStatement(FvObj) or self.__GetFvNameString(FvObj)):\r
                 break\r
 \r
@@ -2185,7 +2251,7 @@ class FdfParser:
             raise Warning("Unknown alignment value '%s'" % self.__Token, self.FileName, self.CurrentLineNumber)\r
         Obj.FvAlignment = self.__Token\r
         return True\r
-    \r
+\r
     ## __GetFvBaseAddress() method\r
     #\r
     #   Get BaseAddress for FV\r
@@ -2209,8 +2275,8 @@ class FdfParser:
         if not BaseAddrValuePattern.match(self.__Token.upper()):\r
             raise Warning("Unknown FV base address value '%s'" % self.__Token, self.FileName, self.CurrentLineNumber)\r
         Obj.FvBaseAddress = self.__Token\r
-        return True  \r
-      \r
+        return True\r
+\r
     ## __GetFvForceRebase() method\r
     #\r
     #   Get FvForceRebase for FV\r
@@ -2233,14 +2299,14 @@ class FdfParser:
 \r
         if self.__Token.upper() not in ["TRUE", "FALSE", "0", "0X0", "0X00", "1", "0X1", "0X01"]:\r
             raise Warning("Unknown FvForceRebase value '%s'" % self.__Token, self.FileName, self.CurrentLineNumber)\r
-        \r
+\r
         if self.__Token.upper() in ["TRUE", "1", "0X1", "0X01"]:\r
             Obj.FvForceRebase = True\r
         elif self.__Token.upper() in ["FALSE", "0", "0X0", "0X00"]:\r
             Obj.FvForceRebase = False\r
         else:\r
             Obj.FvForceRebase = None\r
-           \r
+\r
         return True\r
 \r
 \r
@@ -2275,7 +2341,7 @@ class FdfParser:
             FvObj.FvAttributeDict[name] = self.__Token\r
 \r
         return IsWordToken\r
-    \r
+\r
     ## __GetFvNameGuid() method\r
     #\r
     #   Get FV GUID for FV\r
@@ -2321,14 +2387,14 @@ class FdfParser:
 \r
         if not self.__IsKeyword ("TYPE"):\r
             raise Warning("expected 'TYPE'", self.FileName, self.CurrentLineNumber)\r
-            \r
+\r
         if not self.__IsToken( "="):\r
             raise Warning("expected '='", self.FileName, self.CurrentLineNumber)\r
 \r
         if not self.__GetNextHexNumber() and not self.__GetNextDecimalNumber():\r
             raise Warning("expected Hex FV extension entry type value At Line ", self.FileName, self.CurrentLineNumber)\r
 \r
-        FvObj.FvExtEntryTypeValue += [self.__Token]\r
+        FvObj.FvExtEntryTypeValue.append(self.__Token)\r
 \r
         if not self.__IsToken( "{"):\r
             raise Warning("expected '{'", self.FileName, self.CurrentLineNumber)\r
@@ -2336,13 +2402,13 @@ class FdfParser:
         if not self.__IsKeyword ("FILE") and not self.__IsKeyword ("DATA"):\r
             raise Warning("expected 'FILE' or 'DATA'", self.FileName, self.CurrentLineNumber)\r
 \r
-        FvObj.FvExtEntryType += [self.__Token]\r
+        FvObj.FvExtEntryType.append(self.__Token)\r
 \r
         if self.__Token == 'DATA':\r
 \r
             if not self.__IsToken( "="):\r
                 raise Warning("expected '='", self.FileName, self.CurrentLineNumber)\r
-                \r
+\r
             if not self.__IsToken( "{"):\r
                 raise Warning("expected '{'", self.FileName, self.CurrentLineNumber)\r
 \r
@@ -2370,17 +2436,17 @@ class FdfParser:
                 raise Warning("expected '}'", self.FileName, self.CurrentLineNumber)\r
 \r
             DataString = DataString.rstrip(",")\r
-            FvObj.FvExtEntryData += [DataString]\r
+            FvObj.FvExtEntryData.append(DataString)\r
 \r
         if self.__Token == 'FILE':\r
-        \r
+\r
             if not self.__IsToken( "="):\r
                 raise Warning("expected '='", self.FileName, self.CurrentLineNumber)\r
-                \r
+\r
             if not self.__GetNextToken():\r
                 raise Warning("expected FV Extension Entry file path At Line ", self.FileName, self.CurrentLineNumber)\r
-                \r
-            FvObj.FvExtEntryData += [self.__Token]\r
+\r
+            FvObj.FvExtEntryData.append(self.__Token)\r
 \r
             if not self.__IsToken( "}"):\r
                 raise Warning("expected '}'", self.FileName, self.CurrentLineNumber)\r
@@ -2542,7 +2608,7 @@ class FdfParser:
                 raise Warning("expected ARCH name", self.FileName, self.CurrentLineNumber)\r
             FfsInfObj.UseArch = self.__Token\r
 \r
-                \r
+\r
         if self.__GetNextToken():\r
             p = re.compile(r'([a-zA-Z0-9\-]+|\$\(TARGET\)|\*)_([a-zA-Z0-9\-]+|\$\(TOOL_CHAIN_TAG\)|\*)_([a-zA-Z0-9\-]+|\$\(ARCH\))')\r
             if p.match(self.__Token) and p.match(self.__Token).span()[1] == len(self.__Token):\r
@@ -2583,7 +2649,7 @@ class FdfParser:
             self.__UndoToken()\r
             self.__UndoToken()\r
             return False\r
-        \r
+\r
         FfsFileObj = FfsFileStatement.FileStatement()\r
         FfsFileObj.FvFileType = self.__Token\r
 \r
@@ -2596,13 +2662,13 @@ class FdfParser:
             if self.__Token == 'PCD':\r
                 if not self.__IsToken( "("):\r
                     raise Warning("expected '('", self.FileName, self.CurrentLineNumber)\r
-                PcdPair = self.__GetNextPcdName()\r
+                PcdPair = self.__GetNextPcdSettings()\r
                 if not self.__IsToken( ")"):\r
                     raise Warning("expected ')'", self.FileName, self.CurrentLineNumber)\r
                 self.__Token = 'PCD('+PcdPair[1]+'.'+PcdPair[0]+')'\r
-                \r
+\r
         FfsFileObj.NameGuid = self.__Token\r
-        \r
+\r
         self.__GetFilePart( FfsFileObj, MacroDict.copy())\r
 \r
         if ForCapsule:\r
@@ -2717,7 +2783,7 @@ class FdfParser:
         while True:\r
             AlignValue = None\r
             if self.__GetAlignment():\r
-                if self.__Token not in ("Auto", "8", "16", "32", "64", "128", "512", "1K", "4K", "32K" ,"64K", "128K",\r
+                if self.__Token not in ("Auto", "8", "16", "32", "64", "128", "512", "1K", "4K", "32K""64K", "128K",\r
                                         "256K", "512K", "1M", "2M", "4M", "8M", "16M"):\r
                     raise Warning("Incorrect alignment '%s'" % self.__Token, self.FileName, self.CurrentLineNumber)\r
                 #For FFS, Auto is default option same to ""\r
@@ -2776,7 +2842,7 @@ class FdfParser:
             FfsFileObj.CheckSum = True\r
 \r
         if self.__GetAlignment():\r
-            if self.__Token not in ("Auto", "8", "16", "32", "64", "128", "512", "1K", "4K", "32K" ,"64K", "128K",\r
+            if self.__Token not in ("Auto", "8", "16", "32", "64", "128", "512", "1K", "4K", "32K""64K", "128K",\r
                                     "256K", "512K", "1M", "2M", "4M", "8M", "16M"):\r
                 raise Warning("Incorrect alignment '%s'" % self.__Token, self.FileName, self.CurrentLineNumber)\r
             #For FFS, Auto is default option same to ""\r
@@ -2848,7 +2914,7 @@ class FdfParser:
 \r
         AlignValue = None\r
         if self.__GetAlignment():\r
-            if self.__Token not in ("Auto", "8", "16", "32", "64", "128", "512", "1K", "4K", "32K" ,"64K", "128K",\r
+            if self.__Token not in ("Auto", "8", "16", "32", "64", "128", "512", "1K", "4K", "32K""64K", "128K",\r
                                     "256K", "512K", "1M", "2M", "4M", "8M", "16M"):\r
                 raise Warning("Incorrect alignment '%s'" % self.__Token, self.FileName, self.CurrentLineNumber)\r
             AlignValue = self.__Token\r
@@ -2878,7 +2944,7 @@ class FdfParser:
             else:\r
                 VerSectionObj.FileName = self.__Token\r
             Obj.SectionList.append(VerSectionObj)\r
-            \r
+\r
         elif self.__IsKeyword( BINARY_FILE_TYPE_UI):\r
             if AlignValue == 'Auto':\r
                 raise Warning("Auto alignment can only be used in PE32 or TE section ", self.FileName, self.CurrentLineNumber)\r
@@ -3138,7 +3204,7 @@ class FdfParser:
 \r
         AlignValue = None\r
         if self.__GetAlignment():\r
-            if self.__Token not in ("8", "16", "32", "64", "128", "512", "1K", "4K", "32K" ,"64K", "128K",\r
+            if self.__Token not in ("8", "16", "32", "64", "128", "512", "1K", "4K", "32K""64K", "128K",\r
                                     "256K", "512K", "1M", "2M", "4M", "8M", "16M"):\r
                 raise Warning("Incorrect alignment '%s'" % self.__Token, self.FileName, self.CurrentLineNumber)\r
             AlignValue = self.__Token\r
@@ -3332,7 +3398,7 @@ class FdfParser:
                 Value = self.__Token.strip()\r
             else:\r
                 Value = self.__Token.strip()\r
-            Obj.TokensDict[Name] = Value  \r
+            Obj.TokensDict[Name] = Value\r
             if not self.__GetNextToken():\r
                 return False\r
         self.__UndoToken()\r
@@ -3474,7 +3540,7 @@ class FdfParser:
 \r
         if not self.__GetNextToken():\r
             raise Warning("expected File name", self.FileName, self.CurrentLineNumber)\r
-        \r
+\r
         AnyFileName = self.__Token\r
         self.__VerifyFile(AnyFileName)\r
 \r
@@ -3507,7 +3573,7 @@ class FdfParser:
         else:\r
             CapsuleObj.CapsuleDataList.append(CapsuleAnyFile)\r
         return True\r
-    \r
+\r
     ## __GetAfileStatement() method\r
     #\r
     #   Get Afile for capsule\r
@@ -3527,14 +3593,14 @@ class FdfParser:
 \r
         if not self.__GetNextToken():\r
             raise Warning("expected Afile name", self.FileName, self.CurrentLineNumber)\r
-        \r
+\r
         AfileName = self.__Token\r
         AfileBaseName = os.path.basename(AfileName)\r
-        \r
-        if os.path.splitext(AfileBaseName)[1]  not in [".bin",".BIN",".Bin",".dat",".DAT",".Dat",".data",".DATA",".Data"]:\r
+\r
+        if os.path.splitext(AfileBaseName)[1]  not in [".bin", ".BIN", ".Bin", ".dat", ".DAT", ".Dat", ".data", ".DATA", ".Data"]:\r
             raise Warning('invalid binary file type, should be one of "bin",BINARY_FILE_TYPE_BIN,"Bin","dat","DAT","Dat","data","DATA","Data"', \\r
                           self.FileName, self.CurrentLineNumber)\r
-        \r
+\r
         if not os.path.isabs(AfileName):\r
             AfileName = GenFdsGlobalVariable.ReplaceWorkspaceMacro(AfileName)\r
             self.__VerifyFile(AfileName)\r
@@ -3684,11 +3750,11 @@ class FdfParser:
             if self.__Token == 'PCD':\r
                 if not self.__IsToken( "("):\r
                     raise Warning("expected '('", self.FileName, self.CurrentLineNumber)\r
-                PcdPair = self.__GetNextPcdName()\r
+                PcdPair = self.__GetNextPcdSettings()\r
                 if not self.__IsToken( ")"):\r
                     raise Warning("expected ')'", self.FileName, self.CurrentLineNumber)\r
                 self.__Token = 'PCD('+PcdPair[1]+'.'+PcdPair[0]+')'\r
-            \r
+\r
         NameGuid = self.__Token\r
 \r
         KeepReloc = None\r
@@ -3728,7 +3794,7 @@ class FdfParser:
 \r
         AlignValue = ""\r
         if self.__GetAlignment():\r
-            if self.__Token not in ("Auto", "8", "16", "32", "64", "128", "512", "1K", "4K", "32K" ,"64K", "128K",\r
+            if self.__Token not in ("Auto", "8", "16", "32", "64", "128", "512", "1K", "4K", "32K""64K", "128K",\r
                                     "256K", "512K", "1M", "2M", "4M", "8M", "16M"):\r
                 raise Warning("Incorrect alignment '%s'" % self.__Token, self.FileName, self.CurrentLineNumber)\r
             #For FFS, Auto is default option same to ""\r
@@ -3778,7 +3844,7 @@ class FdfParser:
 \r
             SectAlignment = ""\r
             if self.__GetAlignment():\r
-                if self.__Token not in ("Auto", "8", "16", "32", "64", "128", "512", "1K", "4K", "32K" ,"64K", "128K",\r
+                if self.__Token not in ("Auto", "8", "16", "32", "64", "128", "512", "1K", "4K", "32K""64K", "128K",\r
                                         "256K", "512K", "1M", "2M", "4M", "8M", "16M"):\r
                     raise Warning("Incorrect alignment '%s'" % self.__Token, self.FileName, self.CurrentLineNumber)\r
                 if self.__Token == 'Auto' and (not SectionName == BINARY_FILE_TYPE_PE32) and (not SectionName == BINARY_FILE_TYPE_TE):\r
@@ -3858,7 +3924,7 @@ class FdfParser:
                 FvImageSectionObj.FvFileType = self.__Token\r
 \r
                 if self.__GetAlignment():\r
-                    if self.__Token not in ("8", "16", "32", "64", "128", "512", "1K", "4K", "32K" ,"64K", "128K",\r
+                    if self.__Token not in ("8", "16", "32", "64", "128", "512", "1K", "4K", "32K""64K", "128K",\r
                                             "256K", "512K", "1M", "2M", "4M", "8M", "16M"):\r
                         raise Warning("Incorrect alignment '%s'" % self.__Token, self.FileName, self.CurrentLineNumber)\r
                     FvImageSectionObj.Alignment = self.__Token\r
@@ -3926,7 +3992,7 @@ class FdfParser:
                 EfiSectionObj.BuildNum = self.__Token\r
 \r
         if self.__GetAlignment():\r
-            if self.__Token not in ("Auto", "8", "16", "32", "64", "128", "512", "1K", "4K", "32K" ,"64K", "128K",\r
+            if self.__Token not in ("Auto", "8", "16", "32", "64", "128", "512", "1K", "4K", "32K""64K", "128K",\r
                                     "256K", "512K", "1M", "2M", "4M", "8M", "16M"):\r
                 raise Warning("Incorrect alignment '%s'" % self.__Token, self.FileName, self.CurrentLineNumber)\r
             if self.__Token == 'Auto' and (not SectionName == BINARY_FILE_TYPE_PE32) and (not SectionName == BINARY_FILE_TYPE_TE):\r
@@ -3950,21 +4016,21 @@ class FdfParser:
         elif self.__GetNextToken():\r
             if self.__Token not in ("}", "COMPAT16", BINARY_FILE_TYPE_PE32, BINARY_FILE_TYPE_PIC, BINARY_FILE_TYPE_TE, "FV_IMAGE", "RAW", BINARY_FILE_TYPE_DXE_DEPEX,\\r
                        BINARY_FILE_TYPE_UI, "VERSION", BINARY_FILE_TYPE_PEI_DEPEX, BINARY_FILE_TYPE_GUID, BINARY_FILE_TYPE_SMM_DEPEX):\r
-                \r
+\r
                 if self.__Token.startswith('PCD'):\r
                     self.__UndoToken()\r
                     self.__GetNextWord()\r
-                \r
+\r
                     if self.__Token == 'PCD':\r
                         if not self.__IsToken( "("):\r
                             raise Warning("expected '('", self.FileName, self.CurrentLineNumber)\r
-                        PcdPair = self.__GetNextPcdName()\r
+                        PcdPair = self.__GetNextPcdSettings()\r
                         if not self.__IsToken( ")"):\r
                             raise Warning("expected ')'", self.FileName, self.CurrentLineNumber)\r
                         self.__Token = 'PCD('+PcdPair[1]+'.'+PcdPair[0]+')'\r
-                        \r
-                EfiSectionObj.FileName = self.__Token        \r
-                            \r
+\r
+                EfiSectionObj.FileName = self.__Token\r
+\r
             else:\r
                 self.__UndoToken()\r
         else:\r
@@ -4351,7 +4417,7 @@ class FdfParser:
             self.SectionParser(S)\r
             self.__UndoToken()\r
             return False\r
-        \r
+\r
         self.__UndoToken()\r
         if not self.__IsToken("[OptionRom.", True):\r
             raise Warning("Unknown Keyword '%s'" % self.__Token, self.FileName, self.CurrentLineNumber)\r
@@ -4370,7 +4436,7 @@ class FdfParser:
             isFile = self.__GetOptRomFileStatement(OptRomObj)\r
             if not isInf and not isFile:\r
                 break\r
-            \r
+\r
         return True\r
 \r
     ## __GetOptRomInfStatement() method\r
@@ -4411,9 +4477,9 @@ class FdfParser:
             else:\r
                 self.Profile.InfDict['ArchTBD'].append(ffsInf.InfFileName)\r
 \r
-        \r
+\r
         self.__GetOptRomOverrides (ffsInf)\r
-            \r
+\r
         Obj.FfsList.append(ffsInf)\r
         return True\r
 \r
@@ -4475,7 +4541,7 @@ class FdfParser:
                     EdkLogger.error("FdfParser", FORMAT_INVALID, File=self.FileName, Line=self.CurrentLineNumber)\r
 \r
             Obj.OverrideAttribs = Overrides\r
-            \r
+\r
     ## __GetOptRomFileStatement() method\r
     #\r
     #   Get FILE statements\r
@@ -4507,7 +4573,7 @@ class FdfParser:
 \r
         if FfsFileObj.FileType == 'EFI':\r
             self.__GetOptRomOverrides(FfsFileObj)\r
-        \r
+\r
         Obj.FfsList.append(FfsFileObj)\r
 \r
         return True\r
@@ -4549,7 +4615,7 @@ class FdfParser:
             if hasattr(CapsuleDataObj, 'FvName') and CapsuleDataObj.FvName is not None and CapsuleDataObj.FvName.upper() not in RefFvList:\r
                 RefFvList.append (CapsuleDataObj.FvName.upper())\r
             elif hasattr(CapsuleDataObj, 'FdName') and CapsuleDataObj.FdName is not None and CapsuleDataObj.FdName.upper() not in RefFdList:\r
-                RefFdList.append (CapsuleDataObj.FdName.upper())            \r
+                RefFdList.append (CapsuleDataObj.FdName.upper())\r
             elif CapsuleDataObj.Ffs is not None:\r
                 if isinstance(CapsuleDataObj.Ffs, FfsFileStatement.FileStatement):\r
                     if CapsuleDataObj.Ffs.FvName is not None and CapsuleDataObj.Ffs.FvName.upper() not in RefFvList:\r
@@ -4644,7 +4710,7 @@ class FdfParser:
             RefFvStack = []\r
             RefFvStack.append(FvName)\r
             FdAnalyzedList = []\r
-            \r
+\r
             Index = 0\r
             while RefFvStack != [] and Index < MaxLength:\r
                 Index = Index + 1\r
@@ -4666,7 +4732,7 @@ class FdfParser:
                     FvInFdList = self.__GetFvInFd(RefFdName)\r
                     if FvInFdList != []:\r
                         for FvNameInFd in FvInFdList:\r
-                            LogStr += "FD %s contains FV %s\n" % (RefFdName,FvNameInFd)\r
+                            LogStr += "FD %s contains FV %s\n" % (RefFdName, FvNameInFd)\r
                             if FvNameInFd not in RefFvStack:\r
                                 RefFvStack.append(FvNameInFd)\r
 \r
@@ -4697,7 +4763,7 @@ class FdfParser:
             RefCapStack.append(CapName)\r
             FdAnalyzedList = []\r
             FvAnalyzedList = []\r
-            \r
+\r
             Index = 0\r
             while RefCapStack != [] and Index < MaxLength:\r
                 Index = Index + 1\r
@@ -4722,7 +4788,7 @@ class FdfParser:
                         CapInFdList = self.__GetCapInFd(RefFdName)\r
                         if CapInFdList != []:\r
                             for CapNameInFd in CapInFdList:\r
-                                LogStr += "FD %s contains Capsule %s\n" % (RefFdName,CapNameInFd)\r
+                                LogStr += "FD %s contains Capsule %s\n" % (RefFdName, CapNameInFd)\r
                                 if CapNameInFd not in RefCapStack:\r
                                     RefCapStack.append(CapNameInFd)\r
 \r
@@ -4733,7 +4799,7 @@ class FdfParser:
                         FvInFdList = self.__GetFvInFd(RefFdName)\r
                         if FvInFdList != []:\r
                             for FvNameInFd in FvInFdList:\r
-                                LogStr += "FD %s contains FV %s\n" % (RefFdName,FvNameInFd)\r
+                                LogStr += "FD %s contains FV %s\n" % (RefFdName, FvNameInFd)\r
                                 if FvNameInFd not in RefFvList:\r
                                     RefFvList.append(FvNameInFd)\r
 \r
@@ -4764,16 +4830,16 @@ if __name__ == "__main__":
     import sys\r
     try:\r
         test_file = sys.argv[1]\r
-    except IndexError, v:\r
-        print "Usage: %s filename" % sys.argv[0]\r
+    except IndexError as v:\r
+        print("Usage: %s filename" % sys.argv[0])\r
         sys.exit(1)\r
 \r
     parser = FdfParser(test_file)\r
     try:\r
         parser.ParseFile()\r
         parser.CycleReferenceCheck()\r
-    except Warning, X:\r
-        print str(X)\r
+    except Warning as X:\r
+        print(str(X))\r
     else:\r
-        print "Success!"\r
+        print("Success!")\r
 \r