我有一个多行JSON文件,其中包含编码为十六进制的特殊字符的记录。以下是单个JSON记录的示例:
{\x22value\x22:\x22\xC4\xB1arines Bint\xC4\xB1\xC3\xA7 Ramu\xC3\xA7lar\x22}
该记录应该是{"value":"èarines BintíçRamuçlar"}
,例如'"字符被替换为相应的十六进制\x22,其他特殊的Unicode字符被替换为一个或两个十六进制(例如\xC3\xA7 encodeç等)
我需要将类似的字符串转换为Scala中的常规Unicode字符串,因此在打印时它会生成{"value":"èarines BintíçRamuçlar"}
没有十六进制。
Python我可以用一行代码轻松解码这些记录:
>>> a = "{\x22value\x22:\x22\xC4\xB1arines Bint\xC4\xB1\xC3\xA7 Ramu\xC3\xA7lar\x22}"
>>> a.decode("utf-8")
u'{"value":"\u0131arines Bint\u0131\xe7 Ramu\xe7lar"}'
>>> print a.decode("utf-8")
{"value":"ıarines Bintıç Ramuçlar"}
但是在Scala中我找不到解码它的方法。我尝试像这样转换它失败了:
scala> val a = """{\x22value\x22:\x22\xC4\xB1arines Bint\xC4\xB1\xC3\xA7 Ramu\xC3\xA7lar\x22}"""
scala> print(new String(a.getBytes(), "UTF-8"))
{\x22value\x22:\x22\xC4\xB1arines Bint\xC4\xB1\xC3\xA7 Ramu\xC3\xA7lar\x22}
我还尝试了URLDecoder,因为我发现了类似问题的解决方案(但URL):
scala> val a = """{\x22value\x22:\x22\xC4\xB1arines Bint\xC4\xB1\xC3\xA7 Ramu\xC3\xA7lar\x22}"""
scala> print(java.net.URLDecoder.decode(a.replace("\\x", "%"), "UTF-8"))
{"value":"ıarines Bintıç Ramuçlar"}
它为此示例生成了所需的结果,但对于通用文本字段似乎并不安全,因为它旨在处理URL并且需要将字符串中的所有\x
替换为%
。
Scala有更好的方法来处理这个问题吗?
我是Scala的新手,将感谢任何帮助
更新:我用javax. xml.bin.DatatypeConverter.parseHexBinary
制作了一个自定义解决方案。它现在有效,但看起来很麻烦,一点也不优雅。我认为应该有一个更简单的方法来做到这一点。
这是代码:
import javax.xml.bind.DatatypeConverter
import scala.annotation.tailrec
import scala.util.matching.Regex
def decodeHexChars(string: String): String = {
val regexHex: Regex = """\A\\[xX]([0-9a-fA-F]{1,2})(.*)""".r
def purgeBuffer(buffer: String, acc: List[Char]): List[Char] = {
if (buffer.isEmpty) acc
else new String(DatatypeConverter.parseHexBinary(buffer)).reverse.toList ::: acc
}
@tailrec
def traverse(s: String, acc: List[Char], buffer: String): String = s match {
case "" =>
val accUpdated = purgeBuffer(buffer, acc)
accUpdated.foldRight("")((str, b) => b + str)
case regexHex(chars, suffix) =>
traverse(suffix, acc, buffer + chars)
case _ =>
val accUpdated = purgeBuffer(buffer, acc)
traverse(s.tail, s.head :: accUpdated, "")
}
traverse(string, Nil, "")
}
每个\x??
编码一个字节,如\x22
编码"
和\x5C
编码\
。但是在UTF-8中,有些字符使用多个字节进行编码,因此您需要将\xC4\xB1
转换为符号等等。
replace eAllIn
真的很好,但它可能会吃掉你的斜杠。因此,如果您不在替换字符串中使用组(如\1
),quoteReplace
是转义\
和$
符号的推荐方法。
/** "22" -> 34, "AA" -> -86 */
def hex2byte(hex: String) = Integer.parseInt(hex, 16).toByte
/** decode strings like \x22 or \xC4\xB1\xC3\xA7 to specified encoding */
def decodeHexadecimals(str: String, encoding: String="UTF-8") =
new String(str.split("""\\x""").tail.map(hex2byte), encoding)
/** fix weird strings */
def replaceHexadecimals(str: String, encoding: String="UTF-8") =
"""(\\x[\dA-F]{2})+""".r.replaceAllIn(str, m =>
util.matching.Regex.quoteReplacement(
decodeHexadecimals(m.group(0), encoding)))
附言有人知道java. util.regex.Matcher.quoteReplace
和scala.util.match.Regex.quoteReplace
之间的区别吗?
问题是编码确实特定于python(我认为)。这样的东西可能会起作用:
val s = """{\x22value\x22:\x22\xC4\xB1arines Bint\xC4\xB1\xC3\xA7 Ramu\xC3\xA7lar\x22}"""
"""\\x([A-F0-9]{2})""".r.replaceAllIn(s, (x: Regex.Match) =>
new String(BigInt(x.group(1), 16).toByteArray, "UTF-8")
)