]> git.proxmox.com Git - mirror_edk2.git/blobdiff - BaseTools/Source/Python/Common/FdfParserLite.py
BaseTools: FdfParser and FdfParserLite share reg exp
[mirror_edk2.git] / BaseTools / Source / Python / Common / FdfParserLite.py
index b397b16b42baefd6a8cd33b688fa7128f1f6fb77..806fdd8aa5bb487cdbb23da1ffc5ecea51927e44 100644 (file)
@@ -1,9 +1,9 @@
 ## @file\r
 # parse FDF file\r
 #\r
-#  Copyright (c) 2007, Intel Corporation\r
+#  Copyright (c) 2007 - 2018, Intel Corporation. All rights reserved.<BR>\r
 #\r
-#  All rights reserved. This program and the accompanying materials\r
+#  This program and the accompanying materials\r
 #  are licensed and made available under the terms and conditions of the BSD License\r
 #  which accompanies this distribution.  The full text of the license may be found at\r
 #  http://opensource.org/licenses/bsd-license.php\r
 # Import Modules\r
 #\r
 import re\r
-import os\r
+import Common.LongFilePathOs as os\r
 \r
 import CommonDataClass.FdfClass\r
+from Common.LongFilePathSupport import OpenLongFilePath as open\r
+from Common.MultipleWorkspace import MultipleWorkspace as mws\r
+from Common.RangeExpression import RangeExpression\r
 \r
 ##define T_CHAR_SPACE                ' '\r
 ##define T_CHAR_NULL                 '\0'\r
@@ -44,6 +47,8 @@ InputMacroDict = {}
 # All Macro values when parsing file, not replace existing Macro\r
 AllMacroList = []\r
 \r
+FileExtensionPattern = re.compile(r'([a-zA-Z][a-zA-Z0-9]*)')\r
+\r
 def GetRealFileLine (File, Line):\r
     \r
     InsertedLines = 0\r
@@ -67,8 +72,8 @@ class Warning (Exception):
     #   @param  File        The FDF name\r
     #   @param  Line        The Line number that error occurs\r
     #\r
-    def __init__(self, Str, File = None, Line = None):\r
-        \r
+    def __init__(self, Str, File=None, Line=None):\r
+\r
         FileLineTuple = GetRealFileLine(File, Line)\r
         self.FileName = FileLineTuple[0]\r
         self.LineNumber = FileLineTuple[1]\r
@@ -357,8 +362,8 @@ class FdfParser(object):
             else:\r
                 raise Warning("Macro not complete At Line ", self.FileName, self.CurrentLineNumber)\r
         return Str\r
-    \r
-    def __ReplaceFragment(self, StartPos, EndPos, Value = ' '):\r
+\r
+    def __ReplaceFragment(self, StartPos, EndPos, Value=' '):\r
         if StartPos[0] == EndPos[0]:\r
             Offset = StartPos[1]\r
             while Offset <= EndPos[1]:\r
@@ -383,7 +388,22 @@ class FdfParser(object):
         while Offset <= EndPos[1]:\r
             self.Profile.FileLinesList[EndPos[0]][Offset] = Value\r
             Offset += 1\r
-            \r
+\r
+\r
+    def __GetMacroName(self):\r
+        if not self.__GetNextToken():\r
+            raise Warning("expected Macro name", self.FileName, self.CurrentLineNumber)\r
+        MacroName = self.__Token\r
+        NotFlag = False\r
+        if MacroName.startswith('!'):\r
+            NotFlag = True\r
+            MacroName = MacroName[1:].strip()\r
+         \r
+        if not MacroName.startswith('$(') or not MacroName.endswith(')'):\r
+            raise Warning("Macro name expected(Please use '$(%(Token)s)' if '%(Token)s' is a macro.)" % {"Token" : MacroName},\r
+                          self.FileName, self.CurrentLineNumber)\r
+        MacroName = MacroName[2:-1]\r
+        return MacroName, NotFlag\r
     \r
     ## PreprocessFile() method\r
     #\r
@@ -469,7 +489,8 @@ class FdfParser(object):
                 IncFileName = self.__Token\r
                 if not os.path.isabs(IncFileName):\r
                     if IncFileName.startswith('$(WORKSPACE)'):\r
-                        Str = IncFileName.replace('$(WORKSPACE)', os.environ.get('WORKSPACE'))\r
+                        Str = mws.handleWsMacro(IncFileName)\r
+                        Str = Str.replace('$(WORKSPACE)', os.environ.get('WORKSPACE'))\r
                         if os.path.exists(Str):\r
                             if not os.path.isabs(Str):\r
                                 Str = os.path.abspath(Str)\r
@@ -478,7 +499,7 @@ class FdfParser(object):
                         # file is in the same dir with FDF file\r
                         FullFdf = self.FileName\r
                         if not os.path.isabs(self.FileName):\r
-                            FullFdf = os.path.join(os.environ.get('WORKSPACE'), self.FileName)\r
+                            FullFdf = mws.join(os.environ.get('WORKSPACE'), self.FileName)\r
                 \r
                         IncFileName = os.path.join(os.path.dirname(FullFdf), IncFileName)\r
                     \r
@@ -554,14 +575,7 @@ class FdfParser(object):
                 IfList.append([IfStartPos, None, None])\r
                 CondLabel = self.__Token\r
                 \r
-                if not self.__GetNextToken():\r
-                    raise Warning("expected Macro name At Line ", self.FileName, self.CurrentLineNumber)\r
-                MacroName = self.__Token\r
-                NotFlag = False\r
-                if MacroName.startswith('!'):\r
-                    NotFlag = True\r
-                    MacroName = MacroName[1:]\r
-\r
+                MacroName, NotFlag = self.__GetMacroName() \r
                 NotDefineFlag = False\r
                 if CondLabel == '!ifndef':\r
                     NotDefineFlag = True\r
@@ -615,14 +629,7 @@ class FdfParser(object):
                     self.__WipeOffArea.append((IfList[-1][0], ElseStartPos))\r
                     IfList[-1] = [ElseStartPos, True, IfList[-1][2]]\r
                     if self.__Token == '!elseif':\r
-                        if not self.__GetNextToken():\r
-                            raise Warning("expected Macro name At Line ", self.FileName, self.CurrentLineNumber)\r
-                        MacroName = self.__Token\r
-                        NotFlag = False\r
-                        if MacroName.startswith('!'):\r
-                            NotFlag = True\r
-                            MacroName = MacroName[1:]\r
-\r
+                        MacroName, NotFlag = self.__GetMacroName() \r
                         if not self.__GetNextOp():\r
                             raise Warning("expected !endif At Line ", self.FileName, self.CurrentLineNumber)\r
                     \r
@@ -927,8 +934,7 @@ class FdfParser(object):
         \r
         if not self.__GetNextToken():\r
             return False\r
-        p = re.compile('[a-fA-F0-9]{8}-[a-fA-F0-9]{4}-[a-fA-F0-9]{4}-[a-fA-F0-9]{4}-[a-fA-F0-9]{12}')\r
-        if p.match(self.__Token) != None:\r
+        if RangeExpression.RegGuidPattern.match(self.__Token) != None:\r
             return True\r
         else:\r
             self.__UndoToken()\r
@@ -1439,10 +1445,17 @@ class FdfParser(object):
     def __GetBlockStatements(self, Obj):\r
         \r
         if not self.__GetBlockStatement(Obj):\r
-            raise Warning("expected block statement At Line ", self.FileName, self.CurrentLineNumber)\r
-            \r
+            #set default block size is 1\r
+            Obj.BlockSizeList.append((1, Obj.Size, None))\r
+            return True\r
+\r
         while self.__GetBlockStatement(Obj):\r
             pass\r
+        \r
+        for Item in Obj.BlockSizeList:\r
+            if Item[0] == None or Item[1] == None:\r
+                raise Warning("expected block statement for Fd Section", self.FileName, self.CurrentLineNumber)\r
+\r
         return True\r
     \r
     ## __GetBlockStatement() method\r
@@ -1752,8 +1765,8 @@ class FdfParser(object):
         if not self.__GetNextHexNumber():\r
             raise Warning("expected Hex byte At Line ", self.FileName, self.CurrentLineNumber)\r
         \r
-        if len(self.__Token) > 4:\r
-            raise Warning("Hex byte(must be 2 digits) too long At Line ", self.FileName, self.CurrentLineNumber)\r
+        if len(self.__Token) > 18:\r
+            raise Warning("Hex string can't be converted to a valid UINT64 value", self.FileName, self.CurrentLineNumber)\r
         \r
         DataString = self.__Token\r
         DataString += ","\r
@@ -1784,8 +1797,8 @@ class FdfParser(object):
             if not self.__GetNextHexNumber():\r
                 raise Warning("expected Hex byte At Line ", self.FileName, self.CurrentLineNumber)\r
         \r
-            if len(self.__Token) > 4:\r
-                raise Warning("Hex byte(must be 2 digits) too long At Line ", self.FileName, self.CurrentLineNumber)\r
+            if len(self.__Token) > 18:\r
+                raise Warning("Hex string can't be converted to a valid UINT64 value", self.FileName, self.CurrentLineNumber)\r
         \r
             DataString = self.__Token\r
             DataString += ","\r
@@ -2329,6 +2342,9 @@ class FdfParser(object):
         \r
         AlignValue = None\r
         if self.__GetAlignment():\r
+            if self.__Token not in ("Auto", "8", "16", "32", "64", "128", "512", "1K", "4K", "32K" ,"64K", "128K",\r
+                                    "256K", "512K", "1M", "2M", "4M", "8M", "16M"):\r
+                raise Warning("Incorrect alignment '%s'" % self.__Token, self.FileName, self.CurrentLineNumber)\r
             AlignValue = self.__Token\r
             \r
         BuildNum = None\r
@@ -2342,6 +2358,8 @@ class FdfParser(object):
             BuildNum = self.__Token\r
             \r
         if self.__IsKeyword( "VERSION"):\r
+            if AlignValue == 'Auto':\r
+                raise Warning("Auto alignment can only be used in PE32 or TE section ", self.FileName, self.CurrentLineNumber)\r
             if not self.__IsToken( "="):\r
                 raise Warning("expected '=' At Line ", self.FileName, self.CurrentLineNumber)\r
             if not self.__GetNextToken():\r
@@ -2356,6 +2374,8 @@ class FdfParser(object):
             Obj.SectionList.append(VerSectionObj)\r
 \r
         elif self.__IsKeyword( "UI"):\r
+            if AlignValue == 'Auto':\r
+                raise Warning("Auto alignment can only be used in PE32 or TE section ", self.FileName, self.CurrentLineNumber)\r
             if not self.__IsToken( "="):\r
                 raise Warning("expected '=' At Line ", self.FileName, self.CurrentLineNumber)\r
             if not self.__GetNextToken():\r
@@ -2369,6 +2389,8 @@ class FdfParser(object):
             Obj.SectionList.append(UiSectionObj)\r
             \r
         elif self.__IsKeyword( "FV_IMAGE"):\r
+            if AlignValue == 'Auto':\r
+                raise Warning("Auto alignment can only be used in PE32 or TE section ", self.FileName, self.CurrentLineNumber)\r
             if not self.__IsToken( "="):\r
                 raise Warning("expected '=' At Line ", self.FileName, self.CurrentLineNumber)\r
             if not self.__GetNextWord():\r
@@ -2409,6 +2431,8 @@ class FdfParser(object):
             Obj.SectionList.append(FvImageSectionObj) \r
            \r
         elif self.__IsKeyword("PEI_DEPEX_EXP") or self.__IsKeyword("DXE_DEPEX_EXP") or self.__IsKeyword("SMM_DEPEX_EXP"):\r
+            if AlignValue == 'Auto':\r
+                raise Warning("Auto alignment can only be used in PE32 or TE section ", self.FileName, self.CurrentLineNumber)\r
             DepexSectionObj = CommonDataClass.FdfClass.DepexSectionClassObject()\r
             DepexSectionObj.Alignment = AlignValue\r
             DepexSectionObj.DepexType = self.__Token\r
@@ -2436,6 +2460,8 @@ class FdfParser(object):
             if self.__Token not in ("COMPAT16", "PE32", "PIC", "TE", "FV_IMAGE", "RAW", "DXE_DEPEX",\\r
                                "UI", "VERSION", "PEI_DEPEX", "SUBTYPE_GUID", "SMM_DEPEX"):\r
                 raise Warning("Unknown section type '%s'" % self.__Token, self.FileName, self.CurrentLineNumber)\r
+            if AlignValue == 'Auto'and (not self.__Token == 'PE32') and (not self.__Token == 'TE'):\r
+                raise Warning("Auto alignment can only be used in PE32 or TE section ", self.FileName, self.CurrentLineNumber)\r
             # DataSection\r
             DataSectionObj = CommonDataClass.FdfClass.DataSectionClassObject()\r
             DataSectionObj.Alignment = AlignValue\r
@@ -2585,6 +2611,9 @@ class FdfParser(object):
         \r
         AlignValue = None\r
         if self.__GetAlignment():\r
+            if self.__Token not in ("8", "16", "32", "64", "128", "512", "1K", "4K", "32K" ,"64K", "128K",\r
+                                    "256K", "512K", "1M", "2M", "4M", "8M", "16M"):\r
+                raise Warning("Incorrect alignment '%s'" % self.__Token, self.FileName, self.CurrentLineNumber)\r
             AlignValue = self.__Token\r
             \r
         if not self.__GetCglSection(FfsFileObj, AlignValue):\r
@@ -2747,7 +2776,7 @@ class FdfParser(object):
             raise Warning("expected '.' At Line ", self.FileName, self.CurrentLineNumber)\r
         \r
         Arch = self.__SkippedChars.rstrip(".")\r
-        if Arch.upper() not in ("IA32", "X64", "IPF", "EBC", "ARM", "COMMON"):\r
+        if Arch.upper() not in ("IA32", "X64", "IPF", "EBC", "ARM", "AARCH64", "COMMON"):\r
             raise Warning("Unknown Arch '%s'" % Arch, self.FileName, self.CurrentLineNumber)\r
         \r
         ModuleType = self.__GetModuleType()\r
@@ -2798,7 +2827,7 @@ class FdfParser(object):
                              "DXE_SMM_DRIVER", "DXE_RUNTIME_DRIVER", \\r
                              "UEFI_DRIVER", "UEFI_APPLICATION", "USER_DEFINED", "DEFAULT", "BASE", \\r
                              "SECURITY_CORE", "COMBINED_PEIM_DRIVER", "PIC_PEIM", "RELOCATABLE_PEIM", \\r
-                             "PE32_PEIM", "BS_DRIVER", "RT_DRIVER", "SAL_RT_DRIVER", "APPLICATION", "ACPITABLE", "SMM_CORE"):\r
+                             "PE32_PEIM", "BS_DRIVER", "RT_DRIVER", "SAL_RT_DRIVER", "APPLICATION", "ACPITABLE", "SMM_CORE", "MM_STANDALONE", "MM_CORE_STANDALONE"):\r
             raise Warning("Unknown Module type At line ", self.FileName, self.CurrentLineNumber)\r
         return self.__Token\r
     \r
@@ -2815,8 +2844,7 @@ class FdfParser(object):
             \r
         Ext = ""\r
         if self.__GetNextToken():\r
-            Pattern = re.compile(r'([a-zA-Z][a-zA-Z0-9]*)')\r
-            if Pattern.match(self.__Token):\r
+            if FileExtensionPattern.match(self.__Token):\r
                 Ext = self.__Token                            \r
                 return '.' + Ext    \r
             else:\r
@@ -2842,7 +2870,7 @@ class FdfParser(object):
         \r
         Type = self.__Token.strip().upper()\r
         if Type not in ("RAW", "FREEFORM", "SEC", "PEI_CORE", "PEIM",\\r
-                             "PEI_DXE_COMBO", "DRIVER", "DXE_CORE", "APPLICATION", "FV_IMAGE", "SMM", "SMM_CORE"):\r
+                             "PEI_DXE_COMBO", "DRIVER", "DXE_CORE", "APPLICATION", "FV_IMAGE", "SMM", "SMM_CORE", "MM_STANDALONE"):\r
             raise Warning("Unknown FV type At line ", self.FileName, self.CurrentLineNumber)\r
 \r
         if not self.__IsToken("="):\r
@@ -2899,7 +2927,8 @@ class FdfParser(object):
             \r
         AlignValue = ""\r
         if self.__GetAlignment():\r
-            if self.__Token not in ("8", "16", "32", "64", "128", "512", "1K", "4K", "32K" ,"64K"):\r
+            if self.__Token not in ("Auto", "8", "16", "32", "64", "128", "512", "1K", "4K", "32K" ,"64K", "128K",\r
+                                    "256K", "512K", "1M", "2M", "4M", "8M", "16M"):\r
                 raise Warning("Incorrect alignment At Line ", self.FileName, self.CurrentLineNumber)\r
             AlignValue = self.__Token\r
 \r
@@ -2963,8 +2992,11 @@ class FdfParser(object):
                 CheckSum = True\r
     \r
             if self.__GetAlignment():\r
-                if self.__Token not in ("8", "16", "32", "64", "128", "512", "1K", "4K", "32K" ,"64K"):\r
+                if self.__Token not in ("Auto", "8", "16", "32", "64", "128", "512", "1K", "4K", "32K" ,"64K", "128K",\r
+                                        "256K", "512K", "1M", "2M", "4M", "8M", "16M"):\r
                     raise Warning("Incorrect alignment At Line ", self.FileName, self.CurrentLineNumber)\r
+                if self.__Token == 'Auto' and (not SectionName == 'PE32') and (not SectionName == 'TE'):\r
+                    raise Warning("Auto alignment can only be used in PE32 or TE section ", self.FileName, self.CurrentLineNumber)\r
                 AlignValue = self.__Token\r
             \r
             if not self.__GetNextToken():\r
@@ -3035,18 +3067,11 @@ class FdfParser(object):
                 FvImageSectionObj.FvFileType = self.__Token\r
                 \r
                 if self.__GetAlignment():\r
-                    if self.__Token not in ("8", "16", "32", "64", "128", "512", "1K", "4K", "32K" ,"64K"):\r
+                    if self.__Token not in ("8", "16", "32", "64", "128", "512", "1K", "4K", "32K" ,"64K", "128K",\r
+                                            "256K", "512K", "1M", "2M", "4M", "8M", "16M"):\r
                         raise Warning("Incorrect alignment At Line ", self.FileName, self.CurrentLineNumber)\r
                     FvImageSectionObj.Alignment = self.__Token\r
                 \r
-                if self.__IsKeyword("FV"):\r
-                    FvImageSectionObj.FvFileType = self.__Token\r
-                \r
-                if self.__GetAlignment():\r
-                    if self.__Token not in ("8", "16", "32", "64", "128", "512", "1K", "4K", "32K" ,"64K"):\r
-                        raise Warning("Incorrect alignment At Line ", self.FileName, self.CurrentLineNumber)\r
-                    FvImageSectionObj.Alignment = self.__Token\r
-                    \r
                 if self.__IsToken('|'):\r
                     FvImageSectionObj.FvFileExtension = self.__GetFileExtension()\r
                 elif self.__GetNextToken():\r
@@ -3110,6 +3135,11 @@ class FdfParser(object):
                 EfiSectionObj.BuildNum = self.__Token\r
                 \r
         if self.__GetAlignment():\r
+            if self.__Token not in ("Auto", "8", "16", "32", "64", "128", "512", "1K", "4K", "32K" ,"64K", "128K",\r
+                                    "256K", "512K", "1M", "2M", "4M", "8M", "16M"):\r
+                raise Warning("Incorrect alignment '%s'" % self.__Token, self.FileName, self.CurrentLineNumber)\r
+            if self.__Token == 'Auto' and (not SectionName == 'PE32') and (not SectionName == 'TE'):\r
+                raise Warning("Auto alignment can only be used in PE32 or TE section ", self.FileName, self.CurrentLineNumber)\r
             EfiSectionObj.Alignment = self.__Token\r
         \r
         if self.__IsKeyword('RELOCS_STRIPPED') or self.__IsKeyword('RELOCS_RETAINED'):\r
@@ -3336,7 +3366,7 @@ class FdfParser(object):
             raise Warning("expected '.' At Line ", self.FileName, self.CurrentLineNumber)\r
 \r
         Arch = self.__SkippedChars.rstrip(".").upper()\r
-        if Arch not in ("IA32", "X64", "IPF", "ARM"):\r
+        if Arch not in ("IA32", "X64", "IPF", "ARM", "AARCH64"):\r
             raise Warning("Unknown Arch At line ", self.FileName, self.CurrentLineNumber)\r
 \r
         if not self.__GetNextWord():\r
@@ -3350,7 +3380,7 @@ class FdfParser(object):
         if self.__IsToken(","):\r
             if not self.__GetNextWord():\r
                 raise Warning("expected Arch list At Line ", self.FileName, self.CurrentLineNumber)\r
-            if self.__Token.upper() not in ("IA32", "X64", "IPF", "ARM"):\r
+            if self.__Token.upper() not in ("IA32", "X64", "IPF", "ARM", "AARCH64"):\r
                 raise Warning("Unknown Arch At line ", self.FileName, self.CurrentLineNumber)\r
             VtfObj.ArchList = self.__Token.upper()\r
 \r
@@ -3627,7 +3657,14 @@ class FdfParser(object):
             return CycleRefExists\r
         \r
 if __name__ == "__main__":\r
-    parser = FdfParser("..\LakeportX64Pkg.fdf")\r
+    import sys\r
+    try:\r
+        test_file = sys.argv[1]\r
+    except IndexError, v:\r
+        print "Usage: %s filename" % sys.argv[0]\r
+        sys.exit(1)\r
+\r
+    parser = FdfParser(test_file)\r
     try:\r
         parser.ParseFile()\r
         parser.CycleReferenceCheck()\r