念のためにお断りしておくと、今回のデータは北辞郎とは無関係です。生来の収集癖もあり、当方の手元には各種中国語データがたまっていて、形態素解析用の見出し語データや常用語のデータ、ピンインデータ、簡体字と繁体字の変換用テーブルなどがあります。これまでは自分でツールを作成する時に使うだけでしたが、今後は外部に提供することも検討していきますので、興味のある方はご一報ください。

関連：文字認識API | NTTドコモ

まず、異体字を同一視して検索する、という処理がどういうものか定義しておくと、「発展」と入力すると「発」の異体字である「發」や「发」を展開し、「發展」、「发展」に対する検索も同時に行うことを指す。正規表現で表すと「(発|發|发)展」を検索することになる。これを実現するには「発展」を与えると「(発|發|发)展」を返す関数がまず必要である。さまざまな方法があるが、今回はシンプルに単漢字をキーとし、対応する異体字のリストを値とする連想配列を用意した。以下にその一部を示す。なお、北辞郎はPHPで構築しているので以下のコードはすべてPHPである。

$variants = array(
    "皑" => "皑|皚",
    "皚" => "皚|凒|皑",
    "蔼" => "蔼|藹",
    "藹" => "藹|譪|蔼",
    "霭" => "霭|謁|靄",
    "靄" => "靄|謁|霭",
    "爱" => "爱|愛",
    "愛" => "愛|㤅|爱",
    "暧" => "暧|曖",
    "曖" => "曖|暧",
    "谙" => "谙|諳",
    "諳" => "諳|谙",
    "鏖" => "鏖|鏕|鏖",
    "鳌" => "鳌|鼇|鰲",
    "鰲" => "鰲|鼇|鳌",
    "媪" => "媪|媼",
    "媼" => "媼|媪",
    "拔" => "拔|抜",
    "抜" => "抜|杮|叐|㧞|拔",
    "罢" => "罢|罷",
    "罷" => "罷|羆|罴|罢",
    "摆" => "摆|襬|擺",#以下延々と1万文字以上続く
);

異体字のデータには、自前の簡体字と日本の漢字の対照データと漢字データベースの異体字データベースを利用した。異体字データベースは、異体字の情報が網羅された素晴らしいデータベースである。作成に携わった全作業者にこの場を借りてお礼申し上げる。

この配列ができてしまえば、処理は半分終わったようなものである。あとは文字列が与えられるとそれを文字単位に分解し、各文字に対応する異体字を検索して正規表現を返す関数を作れば良い。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

function get_variants($str) {
    #まず先ほどの配列が保存してあるファイルをインクルードする
    #配列の変数名は$variantsである
    include 'variants.php';
    $result = "";
    for ($i = 0; $i < mb_strlen($str); $i++) {
        #文字単位にばらす
        $char = mb_substr($str, $i, 1);
        if (array_key_exists($char, $variants)) {
            $result .= "(" . $variants[$char] . ")";
        } else {
            $result .= $char;
        }
    }
    return $result;
}

このget_variantsにたとえば「広東」を与えると「(広|廣|广)(東|东)」が返ってくる。この正規表現を使ってデータベースの検索を行えば、「広東」と「广东」と「廣東」の検索をまとめて行うことができる。北辞郎で採用しているデータベースSQLiteで正規表現を使用する方法については、こちらのSQLiteで正規表現にまとめたので参照されたい。実用上問題のない処理速度をマークしており、手間の割に満足のいく結果が得られた。

今回作成した variants.php は、以下からダウンロード可能である。興味のある向きは参照されたい。なお、このデータのライセンスは、異体字データベースと同じMITライセンスとする。

ダウンロード：variants.zip（文字コードはUTF-8）

ダウンロード：
• pinconv4.exe （インストーラ形式 – 3.76MB）
• pinconv4.zip （zip形式 – 3.41MB）

Pinconvの紹介はこちらのエントリ、詳しい使い方についてはPinconvの使い方を参照下さい。窓の杜による紹介記事はこちらです。

以下、新たに追加した3機能の概要を紹介します。それぞれ詳しい使い方については、ヘルプのテンプレート置換、連続置換、Ghost用ダイアログをご参照下さい。

テンプレート置換

置換前と置換後のパターンをファイルに登録しておき、そのファイルを読み込んでまとめて置換を行う機能です。読み込むファイルは、文字コードがUTF-8のテキストファイルで、置換前と置換後のパターンをタブで区切って1行にまとめてあるものとします。

Pinconvをインストールしたフォルダ（またはデータ保存フォルダ）にあるtemplateフォルダに見本用テンプレートファイル「smple.dat」がありますので、実際のファイルの内容はそちらをご参照下さい。

通常の置換と同様、たとえば「りんご」を「apple」にしたい場合は、「リンゴ<tab>apple<改行>」をファイルに登録しますが、「リンゴ」と「りんご」と「苹果」を「apple」にしたい場合、正規表現を使用して「リンゴ|りんご|苹果<tab>apple<改行>」という風に登録することができます。

後方参照を利用することもできますので、「根据(\w+)进行检查 」と「\1に基づいて検査を行う」の組み合わせを登録しておき、「根据公司规定进行检查」という文字列に対してテンプレート置換を実行すると「公司规定に基づいて検査を行う」に置換されます。

なお、置換サイドバーで「テンプレートファイルに登録する」オプションを有効にしておくと、置換を実行するたびに置換前と置換後の組み合わせがファイルに保存されます。

連続置換

対象文字列に複数の変換処理を一度に適用する機能です。Pinconvの変換データファイルやテンプレート置換ファイルへのパスが登録されたテキストファイルを読み込み、その変換用ファイルを順に使用して処理を行います。ファイルの文字コードはUTF-8とし、1行1パスの形式で登録します。

たとえばPinconvでは、変換データファイルの「ピンイン」を適用した後、「声調」を適用すると漢字を声調記号付きのピンインに変換することができますが、連続置換を利用すると、この処理を1つにまとめることができます。

インストールフォルダ（またはデータ保存フォルダ）の「seq」フォルダにサンプルファイル「sample.dat」がありますので、このファイルをPinconvで開いてみて下さい。変換データファイルのパスが2つ登録されていると思います。連続置換では、ファイルに登録されたパスに従い、データファイルを順番に読み込んで変換を行います。連続置換用のファイルとして「sample.dat」を選択し、処理を実行すれば「拼音」という単語が1クリックで「pīnyīn」に変換されます。

変換データファイルだけでなくテンプレート置換ファイルを登録することも可能です。この組み合わせを利用すると簡易翻訳処理を実現することができます。次の処理をまとめることを考えてみましょう。

1. 処理対象の文字列は「根据相关规定进行检查」とします。
2. テンプレート置換ファイル「test.dat」には「根据(\w+)进行检查 」と「\1に基づいて検査を行う」の組み合わせが登録されているものとします。
3. このテンプレートを処理対象の文字列に適用すると「相关规定に基づいて検査を行う」という結果が得られます。
4. この結果に対し、さらに変換データファイル「中日.dat」を適用すると、「相関規定に基づいて検査を行う」となります。

中国語を知らない人でもこの結果ならなんとなく意味がつかめるでしょう。ちょっとした翻訳みたいで面白いですね。では、次回から何度もクリックをしないで済むように、テンプレート置換ファイル「test.dat」へのパスと変換データファイル「中日.dat」へのパスを連続置換ファイルに記録します。

「変換」メニューの「連続置換ファイルを作成」を実行すると、ファイル選択用のダイアログが表示されます。「追加」を押して選択したファイルのパスはテキストボックスに入力されます。必要なファイルを選び終わったら「OK」を押し、連続置換ファイルに名前を付けて保存します。連続置換ファイルにはいくつでもファイルを登録できます。登録する数に制限はありません。ファイルに登録してあるパスは、先頭から順に読み込まれるので、適用したい順に並べてください。

Ghost用ダイアログ

Ghostを実行する際に変換データファイルだけでなく、テンプレート置換ファイルや連続置換ファイルを適用したい場合に使用するダイアログです。

画面上部でファイルを選択し、オプション部分で使用するファイルを指定した上で、「OK」を押して処理を実行します。

ダイアログ下部の「連続置換用のファイルを作成」オプションを有効にすると処理時に使用したファイルの組み合わせを連続置換用に保存することができます。

今回の修正点

• Wordファイルからテキストを抜き出す機能とテキストを書き戻す機能の不具合を修正
• 「Ghostの再実行」の不具合を修正
• 登録ユーザ専用機能「データファイルの保存先を変更」の挙動をよりシンプルなかたちに変更
• Wordから抜き出したファイルを正しく扱えるようにVacuumの挙動を修正
• 変換コマンドバーからボタンを削除する際の不具合を修正
• 繁体字と日本語の変換データを修正（值→値、閒→閑）
• データインポートの処理の不具合を修正

講談社中日辞典第三版

講談社中日辞典第三版を入手した。発売とほぼ同時に本屋に走ったわけで、何もそんなに急がなくても良さそうなものだが、この辞典はネットに接続して「現代中国語新語辞典」を1冊丸ごとダウンロードできる上、更新機能で新語・流行語など最新データを入手できるという斬新な中日辞典なのである。ついに中日辞典もここまで来たかと私が興奮しても仕方ない。

辞書の内容は、本屋で立ち読みすれば確認できると思うので（2色刷りで実に見やすい）、以下パソコン上で利用する辞典のフロントエンドツールを中心に第一印象などを書いておく。

下図がインストールされる辞書引きツールである。新語辞典もほぼ同じUIで、どちらも内容を全文検索（！）することができる。アプリケーションのヘルプファイルを思わせるそっけない見た目だが、動作は軽快で検索も速い。

日本語と中国語、ピンインのフォント表示はきれいで見やすく、ご覧の通り挿絵や画像も表示される。検索は見出し語の前方一致、後方一致、完全一致のほか、上述したように辞典の内容を全文検索することができる。中国語とピンインだけでなく日本語でも検索することができ、検索した語句はハイライト表示される。日中辞典のように使えるし、全例文を対象に検索ができるのは実に頼もしい。

右クリックから選択テキストを検索することができ、クリックして同義語にジャンプできるリンク機能もある。このあたりは電子化された辞書の強みだろう。また、紙の辞典で巻末にまとめられている固有名詞はメニュータブから確認することができる。この固有名詞の部分は、見出し語には登録されていないが全文検索を行うとヒットする。ブランド名などをさっと引けるのはなかなか便利だ。

初回起動時に辞典ウィンドウの「更新」ボタンを押して入手する新語辞典も画面のつくりは同じである。

少し検索してみたが「蚁族」や「蜗居」は登録されていなかったし、「草泥马」も「囧」も未登録だった。下品な言葉があまり登録されていないようでつまらなかった残念だったが、これこそ今後の更新で追加されることを期待したい。アップデートが楽しみだ。

難点をあげるとすれば「辞典ウインドウ」を経由しないと中日辞典.exeと新語辞典.exeを起動できないところが不便だ。ランチャなどに登録して素早く起動できるようにしたいが、キーボードから手を離してマウスでポツポツしないといけないのが煩わしい。できればこれもアップデートしていただきたい。

* * *

まだ購入して半日ほどだが、この辞典には満足している。これまでの辞典と違い、全文検索で収録されているコンテンツを隅々まで利用できるだけでも7980円の価値はある。日々生まれる新語が更新で追加される機能も売りっぱなしでない作り手の姿勢が現れているようで（実際どのような更新が行われるかは未知数だが）好感が持てる。ぜひ他社も続いて欲しい。

極私的評価：★★★★★

関連：Amazon.co.jp： 講談社中日辞典　第三版

ダウンロード：
• pinconv4.exe （インストーラ形式 – 3.75MB）
• pinconv4.zip （zip形式 – 3.41MB）

Pinconvの紹介はこちらのエントリ、詳しい使い方についてはPinconvの使い方を参照下さい。窓の杜による紹介記事はこちらです。

バージョン4.05では「ピンイン.dat」に多くのデータが追加されましたが、以前のバージョンのPinconvからバージョンアップする場合、新たに追加された変換データは自動的に更新されません。「変換」メニューのデータファイルの復元を実行し、既存の「ピンイン.dat」を上書きして下さい。なお、これまでご自身が登録したデータは新しいファイルに引き継がれます。

変更点

• ピンイン変換データに繁体字や日本の漢字のデータを追加追加したほか、複数候補がある漢字のピンインの区切り文字を/から|に変更（データはUnihan.txtを参考にした）
• 起動時のハイライトの不具合修正
• 「データファイルの復元」を一部修正

「pin1yin1」のように声調を数字で表現した簡易ピンインと注音符号を相互変換するためのデータファイルを公開します。このデータを利用してPinconvで変換を実行すれば、「pin1yin1」を「ㄆㄧㄣㄧㄣ」にすることができます。

ダウンロード：変換データファイル（zhuyin.zip）^[1]

ダウンロードしたZIPファイル（zhuyin.zip）には、「pin2zhu.dat」と「zhu2pin.dat」の2つのデータファイルが含まれています。「pin2zhu.dat」がピンインから注音への変換用データ、「zhu2pin.dat」が注音からピンインへの変換用データです。Pinconvを起動し、「変換」メニューから「データファイルを追加」を実行して登録を行うと使えるようになります^[2]。

追記：lv（lü）、lve（lüe）、nv（nü）が正しく変換されない問題を修正しました。ぽんた様、ご指摘ありがとうございました（2010/4/10）。
追記：er化の「r」が正しく変換されない問題を修正しました。ぽんた様、ご指摘ありがとうございました（2010/4/16）。

注音に関する作者の知識が乏しいため、変換結果が妥当でない可能性があります。間違いを発見された場合は教えていただければ幸いです。

1. 4/7：ファイルが1つしか同梱されていなかったため、圧縮ファイルを差し替えました。
2. 上の画像では変換ボタンに表示するテキストをP2Z（pin2zhu－ピンインから注音への変換）とZ2P（zhu2pin－注音からピンインへの変換）に変更しています。

Pinconv用にピンインと注音符号の変換データを作成しているのだが、注音についてほとんど知識がないので「ㄧ」の表示にとまどっている。なんでフォントによって縦になったり横になったりするんだ。

関連：注音符號 – 维基百科
関連：注音符号问题贴_注音符号吧_贴吧
関連：注音符号_互动百科
関連：Proposal to add Mahjong symbols to ISO/IEC 10646

ダウンロード：
• pinconv4.exe （インストーラ形式 – 3.44MB）
• pinconv4.zip （zip形式 – 3.09MB）

Pinconvの紹介はこちらのエントリ、詳しい使い方についてはPinconvの使い方を参照下さい。窓の杜による紹介記事はこちらです。

以前のバージョンのPinconvからバージョンアップする場合、新たに追加された変換データファイル（日繁.dat）は、自動的にインストールされません。「変換」メニューのデータファイルの復元を実行して追加して下さい。

新字体から繁体字への変換

日本語の文章を中国語に翻訳する際、意外に面倒なのが地名や人名、組織名などの固有名詞の翻訳です。同じように漢字を使っているとはいえ、簡体字、繁体字、新字体など漢字にも種類がありますので適当にごまかそうとするとまず間違いなくクレームがつきます。たとえば原文に「広島地方検察庁呉支部（広島県呉市）」とあった場合、台湾で使われている繁体字にすると「廣島地方檢察廳吳支部（廣島縣吳市）」となります。

漢字15文字の内、7文字を繁体字に直さなければならず、日本の新字体に対応する繁体字を1字ずつ調べていく地道な作業が必要となります。10文字程度ならなんとかやっつけることはできても、組織名と住所がずらっと並んだエクセルファイルなどが対象だとしたらどうでしょう。うんざりしますね。

さらに1例をあげれば、「戸内」という日本人名を繁体字にすると「戶內」となります。新字体と繁体字に違いはないように見えるかも知れませんが「戸」と「戶」、「内」と「內」にはそれぞれ異なる文字コードが振られています。日本語をそのままコピー＆ペーストして一丁上がりとはいきません。「呑（U+5451）」と「吞（U+541E）」などこうした字はほかにもいくつかあり、目を皿にして1字1字チェックしていく必要があります。

今回公開したPinconv用の「日繁.dat」は、こうした変換作業の負担を大きく軽減します。日本語のテキストが表示された状態で、このデータファイルを用いて変換を行うと、日本語の漢字が一瞬で繁体字に変換されます。あとは変換結果が妥当かどうか確認するだけ。1字ずつ調べることを考えれば随分楽です。

国字の扱いや制限事項などについて

1. 「込」や「辻」などのいわゆる国字（和製漢字）は、繁体字に変換することができないため、変換後は「★」が出力されます。国字をそのまま出力したい場合などは、用語集の編集を行って下さい。^[1]
2. 日繁.datは、日本の新字体を台湾で使われている繁体字に変換することを目指しているため、「闘」は「鬥」に変換され、「竃」は「灶」に変換されます。いわゆる旧字体への変換とは処理結果が異なります。
3. 「狢」から「貉」への変換など、繁体字に変換する際に異体字や別字に置き換える漢字のうち、作者が注意が必要と判断した漢字は、出力時にアスタリスクが付加されます。作者のデータ管理用に設けたマークですので不要であれば編集して下さい。
4. 変換データの登録を暫時保留している漢字は、「〓」が出力されます。
5. 現行バージョンのPinconvにはU+9FA6以降の漢字データを扱えないという制限があります。そのため、この範囲に含まれる漢字を変換しようとしても「〓」が表示されます。ご了承下さい。

予、台、弁、干などの処理について

新字体では、繁体字の「瓣、辮、辯」などが「弁」で代替されています。「花瓣」は「花弁」に、「辮髮」は「弁髪」、「辯護」は「弁護」という風に本来は異なる漢字で表現すべきところを「弁」の1字で済ませているため、これを繁体字に変換するには単語ごとに処理を切り替える必要があります。「日繁.dat」には、こうした単語がいくつか登録されていますが（詳細は以下の一覧を参照）、正しく変換されなかったデータを見つけた場合は、お手数ですがご自分で追加してください。^[2]

表1　日繁.datに登録されている単語一覧

1. 「込」に対応するデータとして「込」を登録すれば、そのまま出力されます。
2. ついでに私にも教えていただければ幸いです<(_ _)>

ダウンロード：
• pinconv4.exe （インストーラ形式 – 3.42MB）
• pinconv4.zip （zip形式 – 3.08MB）
• trad2jpn.zip （繁体字変換データ単体 – 32KB）^[1]

Pinconvの紹介はこちらのエントリ、詳しい使い方についてはPinconvの使い方を参照下さい。窓の杜による紹介記事はこちらです。

修正点

• 繁体字を新字体に変換するデータファイルを追加
• 変換データに対応するボタンをコマンドバーから削除する際の不具合（削除すると変換やghostが正しく行えなくなる）の修正

新たに追加された繁体字を新字体に変換するためのデータファイルは、ツールバーの「convert」をクリックし、表示される変換コマンドバーで「繁日」を選択すると利用することができます。なお、繁体字に対応する日本語の漢字が存在しない場合、「〓」が出力されます。たとえば「能夠」は「能〓」、「謊言」は「〓言」に変換されます。変換データの内容は完全なものではありません。今後も見直しを行っていく予定のものですので、変換結果を利用する際は必ずご自身でチェックを行って下さい。

変換データについての補足説明

Pinconvの「繁日」変換データは、国語審議会の印刷標準字体に準じていません。変換データ作成時のメモ書きを以下に示しますので、必要に応じてデータを編集して下さい。

以下の繁体字は変換後のデータを弁で代替した。

以下は、現在採用しているデータ以外の候補を示したものである。

1. バージョンアップでは「繁日.dat」が正しくインストールされないため、「変換」メニューの「データファイルを追加」を実行し、「繁日.dat」を追加して下さい。この不具合は近日中に修正します。

テキストエディターのEmEditorで提供されている簡繁変換のプラグインもこの関数を利用しているのだが、繁体字の潟を変換すると泻に変換されてしまう。泻の繁体字は瀉で潟とは全く別の字である。「干潟」が「干泻（ひからびた下痢）」になったり、「新潟」が「新泻（新しい下痢）」になったりして困る。

大陸のWEBサイトなどでたまに「新泻县」を目にするのは、この関数が原因のひとつと考えられる。

追記：Googleで台湾のサイトを対象に「潟」の検索をすると「潟」と「泻」が同一視される。問題の根は深い。

1. 参照：「異体字の世界」のP84など