perlcn - 簡體中文 Perl 指南
歡迎來到 Perl 的世界!
從 5.8.0 版開始,Perl 具備了完善的 Unicode(統一碼)支援,也連帶支援許多拉丁語系以外的編碼方式;CJK(中日韓)便是其中的一部分。Unicode 是國際性的標準,試圖涵蓋世界上所有的字元:西方世界、東方世界,以及兩者間的一切(希臘文、敘利亞文、阿拉伯文、希伯來文、印度文、印地安文,等等)。它也容納了多種作業系統與平台(如 PC 及麥金塔)。
Perl 本身以 Unicode 進行操作。這表示 Perl 內部的字串資料可用 Unicode 表示;Perl 的函數與運算子(例如正規表示式比對)也能對 Unicode 進行操作。在輸入及輸出時,為了處理以 Unicode 之前的編碼方式儲存的資料,Perl 提供了 Encode 這個模組,可以讓你輕鬆地讀寫使用舊有的編碼格式的資料。
Encode 擴充模組支援下列簡體中文的編碼方式('gb2312' 表示 'euc-cn')
euc-cn Unix 扩展字符集, 也就是俗称的国标码
gb2312-raw 未经处理的 (低比特) GB2312 字符表
gb12345 未经处理的中国用繁体中文编码
iso-ir-165 GB2312 + GB6345 + GB8565 + 新增字符
cp936 字码页 936, 也可以用 'GBK' (扩充国标码) 指明
hz 7 比特逸出式 GB2312 编码
舉例來說,將 EUC-CN 編碼的檔案轉成 Unicode,只需輸入以下命令
perl -Mencoding=euc-cn,STDOUT,utf8 -pe1 < file.euc-cn > file.utf8
Perl 也內附了 "piconv",一個完全以 Perl 寫成的字元轉換工具程式,用法如下
piconv -f euc-cn -t utf8 < file.euc-cn > file.utf8
piconv -f utf8 -t euc-cn < file.utf8 > file.euc-cn
另外,利用 encoding 模組,你可以輕鬆寫出以字元為單位的程式碼,如下所示
#!/usr/bin/env perl
# 启动 euc-cn 字串解析; 标准输出入及标准错误都设为 euc-cn 编码
use encoding 'euc-cn', STDIN => 'euc-cn', STDOUT => 'euc-cn';
print length("骆驼"); # 2 (双引号表示字符)
print length('骆驼'); # 4 (单引号表示字节)
print index("谆谆教诲", "蛔唤"); # -1 (不包含此子字符串)
print index('谆谆教诲', '蛔唤'); # 1 (从第二个字节开始)
在最後一列範例裡,"諄" 的第二個位元組與 "諄" 的第一個位元組結合成了 EUC-CN 碼的 "蛔";"諄" 的第二個位元組則與 "教" 的第一個位元組結合成了 "喚"。這解決了以前 EUC-CN 碼比對處理上常見的問題。
如果需要更多的中文編碼,可以從 CPAN(https://www.cpan.org/)下載 Encode::HanExtra 模組。它目前提供下列編碼方式
gb18030 扩充过的国标码, 包含繁体中文
另外,Encode::HanConvert 模組則提供了簡繁轉換用的兩種編碼
big5-simp Big5 繁体中文与 Unicode 简体中文互转
gbk-trad GBK 简体中文与 Unicode 繁体中文互转
若想在 GBK 與 Big5 之間互轉,請參考該模組內附的 b2g.pl 與 g2b.pl 兩個程式,或在程式內使用下列寫法
use Encode::HanConvert;
$euc_cn = big5_to_gb($big5); # 从 Big5 转为 GBK
$big5 = gb_to_big5($euc_cn); # 从 GBK 转为 Big5
請參考 Perl 內附的大量說明文件(不幸全是用英文寫的),來學習更多關於 Perl 的知識,以及 Unicode 的使用方式。不過,外部的資源相當豐富
Perl 的首頁
由 Perl 基金會營運的文章輯錄
Perl 綜合典藏網 (Comprehensive Perl Archive Network)
Perl 郵遞論壇一覽
簡體中文版的歐萊禮 Perl 書籍
中國 Perl 推廣組一覽
Unicode 學術學會 (Unicode 標準的制定者)
Unix/Linux 上的 UTF-8 及 Unicode 常見問題解答
Encode, Encode::CN, encoding, perluniintro, perlunicode
Jarkko Hietaniemi <jhi@iki.fi>
Audrey Tang (唐鳳) <audreyt@audreyt.org>
Sizhe Zhao <prc.zhao@outlook.com>