hive 怎么区分字符串中“中文”的数量

hive 怎么区分字符串中“中文”的数量

第1个回答  2016-06-25
  IG5码编码规则是这样的:每个汉字由两个字节构成,第一个字节的范围从0X81-0XFE,共126种。第二个字节的范围分别为
0X40-0X7E,0XA1-0XFE,共157种。
    也就是说,利用这两个字节共可定义出 126 * 157=19782种汉字。这些汉字的一部分是
我们常用到的,如一、丁,这些字我们称为常用字,其BIG5码的范围为0XA440-0XC671,共5401个。较不常用的字,如滥、调,我们称为次常
用字,范围为 0XC940-0XF9FE,共7652个,剩下的便是一些特殊字符。
  制作码表文件的原理是这样的:首先将所有的BIG5编码写入一个文件,然后,使用具有BIG5码到GB码转换功能的软件,将文件转换为GB码文件,即得到码表文件,区分字符串的中文数量。本回答被提问者采纳

相关了解……

你可能感兴趣的内容

本站内容来自于网友发表,不代表本站立场,仅表示其个人看法,不对其真实性、正确性、有效性作任何的担保
相关事宜请发邮件给我们
© 非常风气网