问题 有没有一种简单的方法来解决Delphi utf8文件漏洞?


我发现(困难的方法)如果文件具有有效的UTF-8 BOM但包含任何无效的UTF8编码,并且被任何Delphi(2009+)编码启用的方法读取,例如 LoadFromFile,然后结果是一个完全空的文件,没有错误指示。在我的几个应用程序中,我宁愿丢失一些不好的编码,即使在这种情况下我也没有得到任何错误报告。

调试显示了这一点 MultiByteToWideChar 被调用两次,首先获取输出缓冲区大小,然后进行转换。但是TEncoding.UTF8包含私有 FMBToWCharFlags 这些调用的值,用a初始化 MB_ERR_INVALID_CHARS 值。因此,获取charcount的调用返回0并且加载的文件完全为空。在没有标志的情况下调用此API将“默默地删除非法代码点”。

我的问题是如何最好地编织Encoding区域中的类的嵌套来解决这个私有值的事实(并且需要,因为它是所有线程的类var)。我想我可以使用Marco Cantu的Delphi 2009书中的指南添加自定义UTF8编码。如果,它可以选择性地引发异常 MultiByteToWideChar 在没有标志的情况下再次调用它后,它返回了一个编码错误。但这并没有解决如何使用我的自定义编码而不是 Tencoding.UTF8

如果我可以在初始化时将其设置为应用程序的默认值,可能实际上是通过修改类var来实现的 Tencoding.UFT8,这可能就足够了。

当然,我需要一个解决方案,而不是等待提交质量控制报告,要求更强大的设计,让它被接受,并看到它改变。

任何想法都会非常受欢迎。并且有人可以确认这仍然是XE4的一个问题,我还没有安装?


7779
2018-05-13 23:11


起源

如果您有答案,请将其作为答案发布,而不是编辑问题。否则问题将永远保持开放,没有答案。 - Celada


答案:


我遇到了 MB_ERR_INVALID_CHARS 当我第一次更新Indy以支持时的问题 TEncoding,最终实现了一个自定义 TEncoding - 用于UTF-8处理的派生类,以避免指定 MB_ERR_INVALID_CHARS。我没想过要使用类助手。

但是,这个问题不仅限于UTF-8。任何解码失败的任何一个 TEncoding 类将导致空白结果,而不是引发异常。当大多数RTL / VCL使用异常时,为什么Embarcadero选择了这条路线,这超出了我的范围。不提出错误的例外导致Indy中的大量问题必须解决。


11
2018-05-14 01:41



+1导出您自己的自定义TEncoding显然是您应该做的。 - David Heffernan
有很多设计和实现问题 TEncoding所以在Indy 10.6中我决定放弃 TEncoding 完全编写了我自己的基于接口的框架来替换它。 - Remy Lebeau
@David:当LoadFromFile检测到BOM时,您将如何使用编码?您是否必须读取前三个字节,然后为您找到的任何UTF8文件传递编码参数? - frogb
@frogb:是的,你会的。 TEncoding 不允许将用户定义的类注册到其默认的BOM处理逻辑中。 - Remy Lebeau
@remy:谢谢。我会接受你的答案,这对于维持Indy的人来说显然是正确的;但我自己更适合我,更接近我原来的问题。经常发生这种问题,可以帮助您自己找到答案! - frogb


这可以非常简单地完成,至少在Delphi XE5中(没有检查过早期版本)。只是实例化你自己的 TUTF8Encoding

procedure LoadInvalidUTF8File(const Filename: string);
var
  FEncoding: TUTF8Encoding;
begin
  FEncoding := TUTF8Encoding.Create(CP_UTF8, 0, 0); 
                      // Instead of CP_UTF8, MB_ERR_INVALID_CHARS, 0
  try
    with TStringList.Create do
    try
      LoadFromFile(Filename, FEncoding);
      // ...
    finally
      Free;
    end;
  finally
    FEncoding.Free;
  end;
end;

这里唯一的问题是 IsSingleByte 新实例化的属性 TUTF8Encoding 然后错误地设置为 False,但此属性目前未在Delphi源中的任何位置使用。


3
2017-07-29 04:46



不幸的是,只有当您知道文件包含无效字符时,该解决方案才有用。我们的软件只需要处理Unicode,UTF8和系统默认编码,因此真正的问题是加载没有编码参数的文件。然后VCL在所有情况下都“工作”,除非正确检测到文件的UTF8 BOM包含无效的UTF8序列。这样的文件最终加载为空。 - frogb
True - 此解决方案假设您知道编码为UTF-8,因此如果您尝试通过BOM或内容嗅探编码,则不适用。 - Marc Durdin


部分解决方法是强制禁止UTF8编码 MB_ERR_INVALID_CHARS 全球。对我来说,这避免了提出异常的需要,因为我发现它有所作为 MultiByteToWideChar不太'沉默':它实际上是插入的 $fffd 字符(Unicode'替换字符'),然后我可以在重要的情况下找到它。以下代码执行此操作:

unit fixutf8;
interface
uses System.Sysutils;
type
  TUTF8fixer = class helper for Tmbcsencoding
  public
    procedure setflag0;
  end;

implementation
procedure TUTF8fixer.setflag0;
{$if CompilerVersion = 31}
asm
  XOR ECX,ECX
  MOV Self.FMBToWCharFlags,ECX
end;
{$else}
begin
  Self.FMBToWCharFlags := 0;
end;
{$endif}

procedure initencoding;
begin
  (Tencoding.UTF8 as TmbcsEncoding).setflag0;
end;

initialization
  initencoding;
end.

更有用和有原则的修复需要将调用更改为 MultiByteToWideChar 不要用 MB_ERR_INVALID_CHARS,并使用此标志进行初始调用,以便在加载完成后引发异常,以指示将替换字符。

有关此问题的相关QC报告,包括76571,79042和111980.第一个已按“设计”解决。

(编辑与德尔福柏林合作)


1
2018-05-14 08:57



直到Delphi 10.1你才可以 class helper for Tmbcsencoding public property UnicodeFlags: cardinal read FMBToWCharFlags write FMBToWCharFlags end; 然后用 initialization Tencoding.UTF8.UnicodeFlags := 0; end. - Arioch 'The
如果获得它也不会起作用 TUTF8Encoding 通过其他方式的对象 TEncoding.GetUTF8,例如在XE2中 TEncoding.GetEncoding(CP_UTF8) 会创建一个新的实例 TUTF8Encoding 而不是本地的 - Arioch 'The
条件编译的目的是使用最初实现的代码帮助程序,保留早于柏林的代码的原始发布解决方案。我不确定未来编译器将要做什么,因为即使是ASM解决方案也可能在将来的版本中关闭。 - frogb
正如我在下面解释的那样,接受代码的目的是修复内置的UTF8检测。我没兴趣获得新的编码对象。但无论如何,谢谢。 - frogb
你不能确保你使用的库不能做到这一点。那些“新对象”是完全相同的“内置检测”。更重要的是,如果任何图书馆呼叫标准 FreeEncodings 任何原因的方法,将重新创建对象 - Arioch 'The


你的“全局”方法并不是真正的全局 - 它依赖于所有代码只使用同一个实例的假设 TUTF8Encoding。您攻击标志字段的相同实例。

但是如果获得它就行不通 TUTF8Encoding 通过其他方式的对象 TEncoding.GetUTF8,例如在XE2中的另一种方法 - TEncoding.GetEncoding(CP_UTF8)  - 将创建一个新的实例 TUTF8Encoding 而不是重新使用 FUTF8 共享一个。或者某些功能可能会运行 TUTF8Encode.Create 直。

所以我建议另外两种方法。

修补类实现的方法,有点hacky。为了获得新的“修复”构造函数体,您引入了自己的类。

type TMyUTF8Encoding = class(TUTF8Encoding)
  public constructor Create; override;
end;

这个构造函数将是 TUTF8Encoding.Create() 实现,除了设置你想要的标志(在XE2中,它通过调用另一个,继承 Create(x,y,z) 所以你不需要访问私有领域)。

然后你可以修补股票 TUTF8Encoding VMT将其虚拟构造函数重写为您的新构造函数。

您可以阅读有关“内部格式”等的Delphi文档,以获取VMT布局。你还需要打电话 VirtualProtect (或其他特定于平台的功能)在修补之前从VMT内存区域删除保护,然后恢复它。

要学习的例子

或者您可以尝试使用 Delphi Detours 库,希望它可以修补虚拟构造函数。然后......在这里使用那个相当复杂的lib来实现这个单一目标可能是一种过度杀伤力。

你砍了之后 TUTF8Encoding 上课打电话给 TEncoding.FreeEncodings 删除已创建的共享实例(如果有),从而触发使用您的修改重新创建UTF8实例。


然后,如果您将程序编译为 single monolithic EXE ,不使用运行时BPL模块,你只需要复制 SysUtils.pas 源到您的应用程序文件夹,然后明确地将该本地副本包含到您的项目中。

如何在Classes.pas中修补方法

你会改变它 TUTF8Encoding 您认为适合源代码的实现,Delphi将使用它。

如果您的项目可以重新构建,那么这种大脑致命的简单(因此同样可靠)方法将无法工作 rtlNNN.bpl运行时包而不是单片。


0
2018-01-16 15:33



感谢您的建议,我希望这些建议对其他人有用,但不幸的是,他们没有添加任何我需要的建议。正如我在第一次提出这个问题时所说,我从不要求你创建的MyEncoding等编码。我的问题的核心是AUTOMATIC检测传递给我的应用程序的文件的编码,这不受我的控制。所以我从不需要提供编码。当呈现和读取具有无效UTF8的文件时,我只需要避免异常或空文件。我接受的解决方案对我来说已经有好几年了,这就是为什么我如此标记它。 - frogb
您没有完整地修补AUTOMATIC检测,而只修改了许多路径中的一个。您正在建立两个预感的安全性:任何图书馆都不会使用任何其他方法来获得标准 TUTF8Encoding 对象,没有任何图书馆 Destroy 单身 TUTF8Encoding 修补的对象。两者都是不稳定的理由,它们可能适用于99%的情况,然后给你1%的错误。并且因为你错误地认为你“修补了内置的UTF8检测”(你只是部分地做了),你绝对不会有艰难的时刻明确忽视那些来源 - Arioch 'The
as the MyEncoding that you create  - 只是一个蹦床设备,使Delphi构建一个函数,然后在永久基础上注入标准TUTF8Encoding。你从不使用那个类本身。你错过了这一点 - 它应该是 TUTF8Encoding 需要修补的类,而不是它的实例。 MyEncoding class不是要在@Marc Durdin中使用的类,你永远不会实例化它,它只是修补内置类的固定代码的捐赠者。 - Arioch 'The
再次感谢您的评论。 - frogb