perljp - 日本語 Perl ガイド
Perl の世界へようこそ!
Perl 5.8.0 より、Unicode サポートが大幅に強化され、その結果ラテン文字以外の文字コードのサポートが CJK (中国語、日本語、ハングル) を含めて加わりました。Unicode は世界中の文字を一つの文字コードで扱うことを目指した標準規格であり、東から西、はたまたその間の文字(ギリシャ文字、キリール文字、アラビア文字、ヘブライ文字、ディーヴァナガーリ文字、などなど)や、これまでは OS ベンダーが独自に定めていた文字 (PC および Macintosh) がすでに含まれています。
Perl 自身は Unicode で動作します。Perl スクリプト内の文字列リテラルや正規表現は Unicode を前提としています。そして入出力のためには、これまで使われてきたさまざまな文字コードに対応するモジュール、「Encode」が標準装備されており、Unicode とこれらの文字コードの相互変換も簡単に行えるようになっています。
現時点で Encode がサポートする文字コードは以下のとおりです。
7bit-jis AdobeStandardEncoding AdobeSymbol AdobeZdingbat
ascii big5 big5-hkscs cp1006
cp1026 cp1047 cp1250 cp1251
cp1252 cp1253 cp1254 cp1255
cp1256 cp1257 cp1258 cp37
cp424 cp437 cp500 cp737
cp775 cp850 cp852 cp855
cp856 cp857 cp860 cp861
cp862 cp863 cp864 cp865
cp866 cp869 cp874 cp875
cp932 cp936 cp949 cp950
dingbats euc-cn euc-jp euc-kr
gb12345-raw gb2312-raw gsm0338 hp-roman8
hz iso-2022-jp iso-2022-jp-1 iso-8859-1
iso-8859-10 iso-8859-11 iso-8859-13 iso-8859-14
iso-8859-15 iso-8859-16 iso-8859-2 iso-8859-3
iso-8859-4 iso-8859-5 iso-8859-6 iso-8859-7
iso-8859-8 iso-8859-9 iso-ir-165 jis0201-raw
jis0208-raw jis0212-raw johab koi8-f
koi8-r koi8-u ksc5601-raw MacArabic
MacCentralEurRoman MacChineseSimp MacChineseTrad MacCroatian
MacCyrillic MacDingbats MacFarsi MacGreek
MacHebrew MacIcelandic MacJapanese MacKorean
MacRoman MacRomanian MacRumanian MacSami
MacSymbol MacThai MacTurkish MacUkrainian
nextstep posix-bc shiftjis symbol
UCS-2BE UCS-2LE UTF-16 UTF-16BE
UTF-16LE UTF-32 UTF-32BE UTF-32LE
utf8 viscii
(全114種類)
例えば、文字コード FOO のファイルを UTF-8 に変換するには、以下のようにします。
perl -Mencoding=FOO,STDOUT,utf8 -pe1 < file.FOO > file.utf8
また、Perl には、全部が Perl で書かれた文字コード変換ユーティリティ、piconv も付属しているので、以下のようにすることもできます。
piconv -f FOO -t utf8 < file.FOO > file.utf8
piconv -f utf8 -t FOO < file.utf8 > file.FOO
5.8 以前の、スクリプトが EUC-JP であればリテラルだけは扱うことができました。また、入出力を扱うモジュールとしては Jcode.pm が ( http://openlab.ring.gr.jp/Jcode/ )、perl4 用のユーティリティとしては jcode.pl がそれぞれ存在し、日本語の扱える CGI でよく利用されていることを御存じの方も少なくないかと思われます。ただし、日本語による正規表現をうまく扱うことは不可能でした。
5.005 以前の Perl には、日本語に特化したローカライズ版、Jperl が存在しました ( http://homepage2.nifty.com/kipp/perl/jperl/index.html ※1)。また、Mac OS 9.x/Classic 用の Perl、MacPerl の日本語版も MacJPerl として存在していました。( https://habilis.net/macjperl/ )。これらでは文字コードとして EUC-JP に加え Shift_JIS もそのまま扱うことができ、また日本語による正規表現を扱うことも可能でした。
Perl5.8 では、これらの機能がすべて Perl 本体だけで実現できる上に、日本語のみならず上記 114 の文字コードをすべて、しかも同時に扱うことができます。さらに、CPAN などから新しい文字コード用のモジュールを入手することも簡単にできるようになっています。
※1:ホスティングサービスの終了により現在は閲覧できません。Vector(https://www.vector.co.jp/soft/win95/util/se098198.html)からWindow用のバイナリを、CPAN(https://www.cpan.org/src/unsupported/4.036/jperl/)からperl4用のパッチを入手することができます。
入出力
以下の例はいずれもShift_JISの入力をEUC-JPに変換して出力します。
# jcode.pl
require "jcode.pl";
while(<>){
jcode::convert(*_, 'euc', 'sjis');
print;
}
# Jcode.pm
use Jcode;
while(<>){
print Jcode->new($_, 'sjis')->euc;
}
# Perl 5.8
use Encode;
while(<>){
from_to($_, 'shiftjis', 'euc-jp');
print;
}
# Perl 5.8 - encoding を利用して
use encoding 'euc-jp', STDIN => 'shiftjis';
while(<>){
print;
}
Jperl互換スクリプト
いわゆる「shebang」を変更するだけで、Jperl用のscriptのほとんどは変更なしに利用可能だと思われます。
#!/path/to/jperl
↓
#!/path/to/perl -Mencoding=euc-jp
詳しくはperldoc encodingを参照してください。
Perlには膨大な資料が付属しており、Perlの新機能やUnicodeサポート、そしてEncodeモジュールの使用法などが細かく網羅されています(残念ながら、ほとんど英語ではありますが)。以下のコマンドでそれらの一部を閲覧することが可能です。
perldoc perlunicode # PerlのUnicodeサポート全般
perldoc Encode # Encodeモジュールに関して
perldoc Encode::JP # うち日本語文字コードに関して
Perlホームページ
Perl財団が営業する文章作品集
CPAN(Comprehensive Perl Archive Network)
MetaCPAN CPANの検索エンジン
Perlメーリングリスト集
perldoc.jp Perlの公式ドキュメント、モジュールドキュメントの日本語訳
O'Reilly社のPerl関連書籍(簡体字中国語)
オライリー社のPerl関連書籍(日本語)
アジア地域のPerl Mongers(Perlのユーザーグループ)一覧
一般社団法人Japan Perl Association(JPA)Perl技術及び文化の啓蒙・促進のための組織
Unicodeコンソーシアム(Unicode規格の選定団体)
Unix/Linux 的 UTF-8 和 Unicode 常見問題
Unix/Linux 的 UTF-8 和 Unicode 常見問題(韓文版)
Jarkko Hietaniemi <jhi@iki.fi>
Dan Kogai(小飼彈)<dankogai@dan.co.jp>
Shogo Ichinose(一野瀨翔吾)<shogo82148@gmail.com>