]> git.proxmox.com Git - mirror_edk2.git/blobdiff - BaseTools/Source/Python/AutoGen/StrGather.py
BaseTool: Fixed the incorrect cache key.
[mirror_edk2.git] / BaseTools / Source / Python / AutoGen / StrGather.py
index ed33554cd7d285da70ec4ee56936c5f214fb313e..a702ef0dd583df6648a1ef887e5a8ee29cfd41d6 100644 (file)
@@ -1,8 +1,8 @@
 ## @file\r
-# This file is used to parse a strings file and create or add to a string database \r
+# This file is used to parse a strings file and create or add to a string database\r
 # file.\r
 #\r
-# Copyright (c) 2007 - 2014, Intel Corporation. All rights reserved.<BR>\r
+# Copyright (c) 2007 - 2018, Intel Corporation. All rights reserved.<BR>\r
 # This program and the accompanying materials\r
 # are licensed and made available under the terms and conditions of the BSD License\r
 # which accompanies this distribution.  The full text of the license may be found at\r
@@ -18,7 +18,7 @@ import re
 import Common.EdkLogger as EdkLogger\r
 from Common.BuildToolError import *\r
 from UniClassObject import *\r
-from StringIO import StringIO\r
+from io import BytesIO\r
 from struct import pack, unpack\r
 from Common.LongFilePathSupport import OpenLongFilePath as open\r
 \r
@@ -59,11 +59,7 @@ NOT_REFERENCED = 'not referenced'
 COMMENT_NOT_REFERENCED = ' ' + COMMENT + NOT_REFERENCED\r
 CHAR_ARRAY_DEFIN = 'unsigned char'\r
 COMMON_FILE_NAME = 'Strings'\r
-OFFSET = 'offset'\r
-STRING = 'string'\r
-TO = 'to'\r
 STRING_TOKEN = re.compile('STRING_TOKEN *\(([A-Z0-9_]+) *\)', re.MULTILINE | re.UNICODE)\r
-COMPATIBLE_STRING_TOKEN = re.compile('STRING_TOKEN *\(([A-Z0-9_]+) *\)', re.MULTILINE | re.UNICODE)\r
 \r
 EFI_HII_ARRAY_SIZE_LENGTH = 4\r
 EFI_HII_PACKAGE_HEADER_LENGTH = 4\r
@@ -98,7 +94,7 @@ PRINTABLE_LANGUAGE_NAME_STRING_NAME = '$PRINTABLE_LANGUAGE_NAME'
 # @retval:       The formatted hex string\r
 #\r
 def DecToHexStr(Dec, Digit = 8):\r
-    return eval("'0x%0" + str(Digit) + "X' % int(Dec)")\r
+    return '0x{0:0{1}X}'.format(Dec, Digit)\r
 \r
 ## Convert a dec number to a hex list\r
 #\r
@@ -113,11 +109,8 @@ def DecToHexStr(Dec, Digit = 8):
 # @retval:       A list for formatted hex string\r
 #\r
 def DecToHexList(Dec, Digit = 8):\r
-    Hex = eval("'%0" + str(Digit) + "X' % int(Dec)")\r
-    List = []\r
-    for Bit in range(Digit - 2, -1, -2):\r
-        List.append(HexHeader + Hex[Bit:Bit + 2])\r
-    return List\r
+    Hex = '{0:0{1}X}'.format(Dec, Digit)\r
+    return ["0x" + Hex[Bit:Bit + 2] for Bit in range(Digit - 2, -1, -2)]\r
 \r
 ## Convert a acsii string to a hex list\r
 #\r
@@ -129,27 +122,7 @@ def DecToHexList(Dec, Digit = 8):
 # @retval:       A list for formatted hex string\r
 #\r
 def AscToHexList(Ascii):\r
-    List = []\r
-    for Item in Ascii:\r
-        List.append('0x%02X' % ord(Item))\r
-\r
-    return List\r
-\r
-## Create header of .h file\r
-#\r
-# Create a header of .h file\r
-#\r
-# @param BaseName: The basename of strings\r
-#\r
-# @retval Str:     A string for .h file header\r
-#\r
-def CreateHFileHeader(BaseName):\r
-    Str = ''\r
-    for Item in H_C_FILE_HEADER:\r
-        Str = WriteLine(Str, Item)\r
-    Str = WriteLine(Str, '#ifndef _' + BaseName.upper() + '_STRINGS_DEFINE_H_')\r
-    Str = WriteLine(Str, '#define _' + BaseName.upper() + '_STRINGS_DEFINE_H_')\r
-    return Str\r
+    return ['0x{0:02X}'.format(ord(Item)) for Item in Ascii]\r
 \r
 ## Create content of .h file\r
 #\r
@@ -171,13 +144,13 @@ def CreateHFileContent(BaseName, UniObjectClass, IsCompatibleMode, UniGenCFlag):
     Str = WriteLine(Str, Line)\r
     UnusedStr = ''\r
 \r
-    #Group the referred/Unused STRING token together. \r
+    #Group the referred/Unused STRING token together.\r
     for Index in range(2, len(UniObjectClass.OrderedStringList[UniObjectClass.LanguageDef[0][0]])):\r
         StringItem = UniObjectClass.OrderedStringList[UniObjectClass.LanguageDef[0][0]][Index]\r
         Name = StringItem.StringName\r
         Token = StringItem.Token\r
         Referenced = StringItem.Referenced\r
-        if Name != None:\r
+        if Name is not None:\r
             Line = ''\r
             if Referenced == True:\r
                 if (ValueStartPtr - len(DEFINE_STR + Name)) <= 0:\r
@@ -215,19 +188,6 @@ def CreateHFile(BaseName, UniObjectClass, IsCompatibleMode, UniGenCFlag):
 \r
     return HFile\r
 \r
-## Create header of .c file\r
-#\r
-# Create a header of .c file\r
-#\r
-# @retval Str:     A string for .c file header\r
-#\r
-def CreateCFileHeader():\r
-    Str = ''\r
-    for Item in H_C_FILE_HEADER:\r
-        Str = WriteLine(Str, Item)\r
-\r
-    return Str\r
-\r
 ## Create a buffer to store all items in an array\r
 #\r
 # @param BinBuffer   Buffer to contain Binary data.\r
@@ -298,29 +258,29 @@ def GetFilteredLanguage(UniLanguageList, LanguageFilterList):
         # first check for exact match\r
         if Language in UniLanguageList:\r
             if Language not in UniLanguageListFiltered:\r
-                UniLanguageListFiltered += [Language]\r
+                UniLanguageListFiltered.append(Language)\r
         # find the first one with the same/equivalent primary tag\r
         else:\r
             if Language.find('-') != -1:\r
                 PrimaryTag = Language[0:Language.find('-')].lower()\r
             else:\r
                 PrimaryTag = Language\r
-            \r
+\r
             if len(PrimaryTag) == 3:\r
                 PrimaryTag = LangConvTable.get(PrimaryTag)\r
-            \r
+\r
             for UniLanguage in UniLanguageList:\r
                 if UniLanguage.find('-') != -1:\r
                     UniLanguagePrimaryTag = UniLanguage[0:UniLanguage.find('-')].lower()\r
                 else:\r
                     UniLanguagePrimaryTag = UniLanguage\r
-                \r
+\r
                 if len(UniLanguagePrimaryTag) == 3:\r
                     UniLanguagePrimaryTag = LangConvTable.get(UniLanguagePrimaryTag)\r
 \r
                 if PrimaryTag == UniLanguagePrimaryTag:\r
                     if UniLanguage not in UniLanguageListFiltered:\r
-                        UniLanguageListFiltered += [UniLanguage]\r
+                        UniLanguageListFiltered.append(UniLanguage)\r
                     break\r
             else:\r
                 # Here is rule 3 for "get best language"\r
@@ -332,10 +292,10 @@ def GetFilteredLanguage(UniLanguageList, LanguageFilterList):
                     for UniLanguage in UniLanguageList:\r
                         if UniLanguage.startswith('en-') or UniLanguage.startswith('eng-'):\r
                             if UniLanguage not in UniLanguageListFiltered:\r
-                                UniLanguageListFiltered += [UniLanguage]\r
+                                UniLanguageListFiltered.append(UniLanguage)\r
                             break\r
                     else:\r
-                        UniLanguageListFiltered += [DefaultTag]\r
+                        UniLanguageListFiltered.append(DefaultTag)\r
     return  UniLanguageListFiltered\r
 \r
 \r
@@ -347,7 +307,7 @@ def GetFilteredLanguage(UniLanguageList, LanguageFilterList):
 # @param UniObjectClass   A UniObjectClass instance\r
 # @param IsCompatibleMode Compatible mode\r
 # @param UniBinBuffer     UniBinBuffer to contain UniBinary data.\r
-# @param FilterInfo       Platform language filter information \r
+# @param FilterInfo       Platform language filter information\r
 #\r
 # @retval Str:           A string of .c file content\r
 #\r
@@ -365,14 +325,14 @@ def CreateCFileContent(BaseName, UniObjectClass, IsCompatibleMode, UniBinBuffer,
     else:\r
         # EDK module is using ISO639-2 format filter, convert to the RFC4646 format\r
         LanguageFilterList = [LangConvTable.get(F.lower()) for F in FilterInfo[1]]\r
-    \r
+\r
     UniLanguageList = []\r
     for IndexI in range(len(UniObjectClass.LanguageDef)):\r
         UniLanguageList += [UniObjectClass.LanguageDef[IndexI][0]]\r
 \r
     UniLanguageListFiltered = GetFilteredLanguage(UniLanguageList, LanguageFilterList)\r
\r
-        \r
+\r
+\r
     #\r
     # Create lines for each language's strings\r
     #\r
@@ -380,8 +340,8 @@ def CreateCFileContent(BaseName, UniObjectClass, IsCompatibleMode, UniBinBuffer,
         Language = UniObjectClass.LanguageDef[IndexI][0]\r
         if Language not in UniLanguageListFiltered:\r
             continue\r
-        \r
-        StringBuffer = StringIO()\r
+\r
+        StringBuffer = BytesIO()\r
         StrStringValue = ''\r
         ArrayLength = 0\r
         NumberOfUseOtherLangDef = 0\r
@@ -443,7 +403,7 @@ def CreateCFileContent(BaseName, UniObjectClass, IsCompatibleMode, UniBinBuffer,
         # Add an EFI_HII_SIBT_END at last\r
         #\r
         Str = WriteLine(Str, '  ' + EFI_HII_SIBT_END + ",")\r
-        \r
+\r
         #\r
         # Create binary UNI string\r
         #\r
@@ -498,13 +458,12 @@ def CreateCFileEnd():
 # @param BaseName:        The basename of strings\r
 # @param UniObjectClass   A UniObjectClass instance\r
 # @param IsCompatibleMode Compatible Mode\r
-# @param FilterInfo       Platform language filter information \r
+# @param FilterInfo       Platform language filter information\r
 #\r
 # @retval CFile:          A string of complete .c file\r
 #\r
 def CreateCFile(BaseName, UniObjectClass, IsCompatibleMode, FilterInfo):\r
     CFile = ''\r
-    #CFile = WriteLine(CFile, CreateCFileHeader())\r
     CFile = WriteLine(CFile, CreateCFileContent(BaseName, UniObjectClass, IsCompatibleMode, None, FilterInfo))\r
     CFile = WriteLine(CFile, CreateCFileEnd())\r
     return CFile\r
@@ -519,11 +478,11 @@ def CreateCFile(BaseName, UniObjectClass, IsCompatibleMode, FilterInfo):
 # @retval FileList:    A list of all files found\r
 #\r
 def GetFileList(SourceFileList, IncludeList, SkipList):\r
-    if IncludeList == None:\r
+    if IncludeList is None:\r
         EdkLogger.error("UnicodeStringGather", AUTOGEN_ERROR, "Include path for unicode file is not defined")\r
 \r
     FileList = []\r
-    if SkipList == None:\r
+    if SkipList is None:\r
         SkipList = []\r
 \r
     for File in SourceFileList:\r
@@ -572,11 +531,7 @@ def SearchString(UniObjectClass, FileList, IsCompatibleMode):
         if os.path.isfile(File):\r
             Lines = open(File, 'r')\r
             for Line in Lines:\r
-                if not IsCompatibleMode:\r
-                    StringTokenList = STRING_TOKEN.findall(Line)\r
-                else:\r
-                    StringTokenList = COMPATIBLE_STRING_TOKEN.findall(Line)\r
-                for StrName in StringTokenList:\r
+                for StrName in STRING_TOKEN.findall(Line):\r
                     EdkLogger.debug(EdkLogger.DEBUG_5, "Found string identifier: " + StrName)\r
                     UniObjectClass.SetStringReferenced(StrName)\r
 \r
@@ -589,7 +544,7 @@ def SearchString(UniObjectClass, FileList, IsCompatibleMode):
 # This function is used for UEFI2.1 spec\r
 #\r
 #\r
-def GetStringFiles(UniFilList, SourceFileList, IncludeList, IncludePathList, SkipList, BaseName, IsCompatibleMode = False, ShellMode = False, UniGenCFlag = True, UniGenBinBuffer = None, FilterInfo = [True, []]):  \r
+def GetStringFiles(UniFilList, SourceFileList, IncludeList, IncludePathList, SkipList, BaseName, IsCompatibleMode = False, ShellMode = False, UniGenCFlag = True, UniGenBinBuffer = None, FilterInfo = [True, []]):\r
     if len(UniFilList) > 0:\r
         if ShellMode:\r
             #\r