由编码识别遇到有关问题，思考utf8编码正则表达式（php版本）

由编码识别遇到问题，思考utf8编码正则表达式（php版本）

起因：

最近遇到一件事情，一个接口能够接收传入编码可能是utf-8,gbk 两种。做过编码方面转换的同学应该知道的，是什么编码不会在字符串里面有什么标记位的。不过utf-8编码有特殊性，因此可以通过正则表达式来检查。只要发现是utf-8编码。就转换，不是utf-8就当gbk处理。编码一些常见问题可以查看：由web程序出现乱码开始挖掘(Bom头、字符集与乱码）

行动：

知道这个原理，马上领任务，开始工作。想到php版本有个mbstring模块可以进行编码检测转换：
&lt;?php//当前编码是gbk$str="中国";$aStrList=array($str,iconv('gbk','utf-8',$str));foreach ($aStrList as $v){echo mb_convert_encoding($v,'gbk','utf-8,gbk'),"\r\n";}
?
运行结果：
 
?
两个不同编码的“中国”，用一个函数mb_convert_encoding就可以自动转换成gbk编码。首页，尝试用utf-8解码，如果出现问题，就会用gbk转码。看来问题解决了，哈哈，可以交差了……
?
问题：
发布后，平静了几天，突然接到反馈：有中文：”袁小”解码出错。⊙⊙b汗 …… ,想……(难道php内置检测模块有问题，或是我哪里欠缺……)
 
⊙⊙b汗……  看来果然有问题，查询手册：mbstring 模块编码检查，只是识别字符串部分编码，发现与某个字符集匹配上，就认为它属于那种编码。 这不属于它的bug,因为字符串本身没有编码信息标识，没有那个语言能够完全检测通过。 
?
问题：
能不能自己写一个检查正则表达式看下到底怎么样呢？要写正则表达式，首先须了解utf8编码规范，查看：http://zh.wikipedia.org/zh/UTF-8?
目前编码集合只有这样6个维度：php得到维度代码
&lt;?php//得到utf8字编码各个维度的范围 echo base_convert('1111111',2,16),"\r\n";//维度1echo base_convert('10000000',2,16),base_convert('10111111',2,16),"\r\n";echo base_convert('11000000',2,16),base_convert('11011111',2,16),"\r\n";//维度2echo base_convert('11100000',2,16),base_convert('11101111',2,16),"\r\n";//维度3echo base_convert('11110000',2,16),base_convert('11110111',2,16),"\r\n";//维度4echo base_convert('11111000',2,16),base_convert('11111011',2,16),"\r\n";//维度5echo base_convert('11111100',2,16),base_convert('11111101',2,16),"\r\n";//维度6
运行结果：
通过上面6个维度得到得到对应的正则表达式：
[\x01-\x7f]|[\xc0-\xdf][\x80-\xbf]|[\xe0-\xef][\x80-\xbf]{2}|[\xf0-\xf7][\x80-\xbf]{3}|[\xf8-\xfb][\x80-\xbf]{4}|[\xfc-\xfd][\x80-\xbf]{5}
以上分别是各个维度范围
&lt;?php//当前编码是gbk$str="袁";echo urlencode($str);echo is_utf8($str);function is_utf8($str){///utf8编码正则检测函数///copyright qq:8292669  http://www.cnblogs.com/chengmo$re='/^([\x01-\x7f]|[\xc0-\xdf][\x80-\xbf]|[\xe0-\xef][\x80-\xbf]{2}|[\xf0-\xf7][\x80-\xbf]{3}|[\xf8-\xfb][\x80-\xbf]{4}|[\xfc-\xfd][\x80-\xbf]{5})+$/';return preg_match($re,$str);}
上面执行结果返回为1，然后”袁“本身应该是gbk编码。看来上面函数还是不能彻底检查utf8编码。分析原因，从上面正则可以看到，utf8的6个维度对应字节长度从1-6字节。 而gbk是1-2个字节。因此他们之间会在1-2个字节长度地方检查出现重合。1个字节的时候gbk与utf8的 编码与字符对应关系都一样，但是2个字节时候，对应编码与字符各不相同。
?
通过查询gbk编码表：http://www.knowsky.com/resource/gb2312tbl.htm 进一步确认，范围会在：
[c0-df][a0-bf]  之内汉字都会有问题了。 如果纯这个范围的汉字组合为字符串就会出现判断不了情况。如果它与其它范围字符组合都可以正确的判断出来。
?
GBK与UTF8字符集重叠对应的字符是：（gbk编码表）
?
?1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465code? +0 +1 +2 +3 +4 +5 +6 +7 +8 +9 +A +B +C +D +E +FC0A0???? 馈愧溃坤昆捆困括扩廓阔垃拉喇蜡C0B0? 腊辣啦莱来赖蓝婪栏拦篮阑兰澜谰揽C1A0???? 痢立粒沥隶力璃哩俩联莲连镰廉怜C1B0? 涟帘敛脸链恋炼练粮凉梁粱良两辆量C2A0???? 隆垄拢陇楼娄搂篓漏陋芦卢颅庐炉C2B0? 掳卤虏鲁麓碌露路赂鹿潞禄录陆戮驴C3A0???? 谩芒茫盲氓忙莽猫茅锚毛矛铆卯茂C3B0? 冒帽貌贸么玫枚梅酶霉煤没眉媒镁每C4A0???? 摹蘑模膜磨摩魔抹末莫墨默沫漠寞C4B0? 陌谋牟某拇牡亩姆母墓暮幕募慕木目C5A0???? 拧泞牛扭钮纽脓浓农弄奴努怒女暖C5B0? 虐疟挪懦糯诺哦欧鸥殴藕呕偶沤啪趴C6A0???? 啤脾疲皮匹痞僻屁譬篇偏片骗飘漂C6B0? 瓢票撇瞥拼频贫品聘乒坪苹萍平凭瓶C7A0???? 恰洽牵扦钎铅千迁签仟谦乾黔钱钳C7B0? 前潜遣浅谴堑嵌欠歉枪呛腔羌墙蔷强C8A0???? 取娶龋趣去圈颧权醛泉全痊拳犬券C8B0? 劝缺炔瘸却鹊榷确雀裙群然燃冉染瓤C9A0???? 伞散桑嗓丧搔骚扫嫂瑟色涩森僧莎C9B0? 砂杀刹沙纱傻啥煞筛晒珊苫杉山删煽CAA0???? 省盛剩胜圣师失狮施湿诗尸虱十石CAB0? 拾时什食蚀实识史矢使屎驶始式示士CBA0???? 恕刷耍摔衰甩帅栓拴霜双爽谁水睡CBB0? 税吮瞬顺舜说硕朔烁斯撕嘶思私司丝CCA0???? 獭挞蹋踏胎苔抬台泰酞太态汰坍摊CCB0? 贪瘫滩坛檀痰潭谭谈坦毯袒碳探叹炭CDA0???? 汀廷停亭庭挺艇通桐酮瞳同铜彤童CDB0? 桶捅筒统痛偷投头透凸秃突图徒途涂CEA0???? 巍微危韦违桅围唯惟为潍维苇萎委CEB0? 伟伪尾纬未蔚味畏胃喂魏位渭谓尉慰CFA0???? 稀息希悉膝夕惜熄烯溪汐犀檄袭席CFB0? 习媳喜铣洗系隙戏细瞎虾匣霞辖暇峡D0A0???? 小孝校肖啸笑效楔些歇蝎鞋协挟携D0B0? 邪斜胁谐写械卸蟹懈泄泻谢屑薪芯锌D1A0???? 选癣眩绚靴薛学穴雪血勋熏循旬询D1B0? 寻驯巡殉汛训讯逊迅压押鸦鸭呀丫芽D2A0???? 摇尧遥窑谣姚咬舀药要耀椰噎耶爷D2B0? 野冶也页掖业叶曳腋夜液一壹医揖铱D3A0???? 印英樱婴鹰应缨莹萤营荧蝇迎赢盈D3B0? 影颖硬映哟拥佣臃痈庸雍踊蛹咏泳涌D4A0???? 浴寓裕预豫驭鸳渊冤元垣袁原援辕D4B0? 园员圆猿源缘远苑愿怨院曰约越跃钥D5A0???? 铡闸眨栅榨咋乍炸诈摘斋宅窄债寨D5B0? 瞻毡詹粘沾盏斩辗崭展蘸栈占战站湛D6A0???? 帧症郑证芝枝支吱蜘知肢脂汁之织D6B0? 职直植殖执值侄址指止趾只旨纸志挚D7A0???? 住注祝驻抓爪拽专砖转撰赚篆桩庄D7B0? 装妆撞壮状椎锥追赘坠缀谆准捉拙卓D8A0???? 亍丌兀丐廿卅丕亘丞鬲孬噩丨禺丿D8B0? 匕乇夭爻卮氐囟胤馗毓睾鼗丶亟鼐乜D9A0???? 佟佗伲伽佶佴侑侉侃侏佾佻侪佼侬D9B0? 侔俦俨俪俅俚俣俜俑俟俸倩偌俳倬倏DAA0???? 凇冖冢冥讠讦讧讪讴讵讷诂诃诋诏DAB0? 诎诒诓诔诖诘诙诜诟诠诤诨诩诮诰诳DBA0???? 邸邰郏郅邾郐郄郇郓郦郢郜郗郛郫DBB0? 郯郾鄄鄢鄞鄣鄱鄯鄹酃酆刍奂劢劬劭DCA0???? 堋堍埽埭堀堞堙塄堠塥塬墁墉墚墀DCB0? 馨鼙懿艹艽艿芏芊芨芄芎芑芗芙芫芸DDA0???? 荨茛荩荬荪荭荮莰荸莳莴莠莪莓莜DDB0? 莅荼莶莩荽莸荻莘莞莨莺莼菁萁菥菘DEA0???? 蕖蔻蓿蓼蕙蕈蕨蕤蕞蕺瞢蕃蕲蕻薤DEB0? 薨薇薏蕹薮薜薅薹薷薰藓藁藜藿蘧蘅DFA0???? 摺撷撸撙撺擀擐擗擤擢攉攥攮弋忒DFB0? 甙弑卟叱叽叩叨叻吒吖吆呋呒呓呔呖只要在这些范围的任意汉字组合一起，都会别解码为utf8,这个也就是utf8编码不能完全识别根本原因。因此需要彻底检查utf8编码，需要排除这些干扰.
整理后的PHP
&lt;?php//当前编码是gbk  本函数以gbk与utf8为例子$str="袁小";echo checkUtf8($str);echo checkUtf8(iconv('gbk','utf-8',$str));$str="辍 辎";echo checkUtf8($str);echo checkUtf8(iconv('gbk','utf-8',$str));/** *检测字符串是否是utf8编码* * @param string $str 输入字符串 * @param string $extzh 排除重合中文， * @return 1|0 1是utf8 0不为utf8 */function checkUtf8($str,$extzh=1){///utf8编码正则检测函数///copyright qq:8292669  ///author  程默  http://www.cnblogs.com/chengmo//gbk,utf8重叠的范围是：[c0-df][a0-bf] 这块字符在utf8中有，在gbk编码没有对应字符因此向gbk转换会出现"?"号if($extzh==1){$re='/^([\x01-\x7f]|[\xc0-\xdf][\xa0-\xbf])+$/';  ///这部分字符如果当作utf8处理，在转换为gbk时候就会出现问题"?"号。因此直接返回不为utf8if(preg_match($re,$str))  ///公共字符验证成功{return 0;  ///不是utf8}}$re='/^([\x01-\x7f]|[\xc0-\xdf][\x80-\xbf]|[\xe0-\xef][\x80-\xbf]{2}|[\xf0-\xf7][\x80-\xbf]{3}|[\xf8-\xfb][\x80-\xbf]{4}|[\xfc-\xfd][\x80-\xbf]{5})+$/';return preg_match($re,$str);}
以上是一个折中的方法，在国内一般web程序是：gbk,utf8两种，用上面这个方法基本可以解决问题，可以避免误将gbk识别为utf8,然后将它从utf8->gbk转码，出现”?”号朋友，你有什么更好的方法欢迎交流！！
作者：chengmo?QQ:8292669
出处：http://www.cnblogs.com/chengmo
本文版权归作者和博客园共有，欢迎转载，请务必添加原文链接。

?

评论#1楼?2011-02-19 22:29?易海之畔??????这是一段来自thinkphp编码转换的代码，经测试好像解码正常。不制作者能否再次测试一下，有可能本人测试有误。看了作者的文章，受教。。
?1234567891011121314151617181920212223242526272829`function` `auto_charset($fContents,$from='gbk',$to='utf-8'){????$from`?? `=?` `strtoupper($from)=='UTF8'?` `'utf-8':$from;????$to`?????? `=?` `strtoupper($to)=='UTF8'?` `'utf-8':$to;????if(` `strtoupper($from) ===` `strtoupper($to) ||` `empty($fContents) || (is_scalar($fContents) && !is_string($fContents)) ){????????//如果编码相同或者非字符串标量则不转换????????return` `$fContents;????}????if(is_string($fContents) ) {????????if(function_exists('mb_convert_encoding')){????????????return` `mb_convert_encoding ($fContents,` `$to,` `$from);????????}elseif(function_exists('iconv')){????????????return` `iconv($from,$to,$fContents);????????}else{????????????return` `$fContents;????????}????}????elseif(is_array($fContents)){????????foreach` `(` `$fContents` `as` `$key` `=>` `$val` `) {????????????$_key` `=???? auto_charset($key,$from,$to);????????????$fContents[$_key] = auto_charset($val,$from,$to);????????????if($key` `!=` `$_key` `)????????????????unset($fContents[$key]);????????}????????return` `$fContents;????}????else{????????return` `$fContents;????}`
`}`
转自：http://www.cnblogs.com/chengmo/archive/2011/02/19/1958657.html

由编码识别遇到有关问题思考utf8编码

热点推荐