实现一个函数来检查字符串/字节数组是否遵循utf-8格式


问题内容

我正在尝试解决这个面试问题。

给出明确的UTF-8格式定义后。例如:1个字节:0b0xxxxxxx
2个字节:....被要求编写一个函数来验证输入是否有效的UTF-8。输入将为字符串/字节数组,输出应为是/否。

我有两种可能的方法。

首先,如果输入是字符串,由于UTF-8最多为4个字节,因此在删除前两个字符“
0b”之后,可以使用Integer.parseInt(s)检查字符串的其余部分是否位于范围为0至10FFFF。此外,最好检查字符串的长度是否为8的倍数,以及输入字符串是否首先包含全0和1。因此,我将不得不两次遍历字符串,复杂度将为O(n)。

其次,如果输入是字节数组(如果输入是字符串,我们也可以使用此方法),则检查每个1字节元素是否在正确的范围内。如果输入是字符串,则首先检查字符串的长度是8的倍数,然后检查每个8个字符的子字符串是否在范围内。

我知道有几种关于如何使用Java库检查字符串的解决方案,但是我的问题是如何根据问题实现函数。

非常感谢。


问题答案:

好吧,我感谢您的评论和回答。首先,我必须同意这是“另一个愚蠢的面试问题”。的确,在Java中,String已被编码,因此它将始终与UTF-8兼容。字符串的一种检查方法是:

public static boolean isUTF8(String s){
    try{
        byte[]bytes = s.getBytes("UTF-8");
    }catch(UnsupportedEncodingException e){
        e.printStackTrace();
        System.exit(-1);
    }
    return true;
}

但是,由于所有可打印的字符串都是unicode形式,所以我没有机会得到一个错误。

其次,如果给定一个字节数组,它将始终在-2 ^ 7(0b10000000)至2 ^ 7(0b1111111)范围内,因此它将始终在有效的UTF-8范围内。

我对该问题的最初理解是,给定一个字符串,说“ 0b11111111”,检查它是否为有效的UTF-8,我想我错了。

而且,Java确实提供了将字节数组转换为字符串的构造函数,如果您对解码方法感兴趣,请在此处检查。

还有一件事,以上答案对于另一种语言将是正确的。唯一的改进可能是:

2003年11月,RFC 3629将UTF-8限制为以U +
10FFFF结尾,以匹配UTF-16字符编码的约束。这删除了所有5字节和6字节序列,以及大约4字节序列的一半。

因此4个字节就足够了。

我绝对是这样,如果我错了,请纠正我。非常感谢。