カメヲラボ

主にプログラミングとお勉強全般について書いてます

翻訳ソフトを使ってみる(5)

翻訳精度スコア〜短文編〜

文章量が多すぎて、文章の1つひとつを紹介していると膨大な量になってしまうので、1つの文章に5点満点の点数を付けて、総合得点で比較することにしました。問題文は、http://d.hatena.ne.jp/Ozy/20080915#p1で紹介した『コンプリート高校総合英語』から日本語訳の付いている文章を選び、この本に書いてある日本語訳と同等の翻訳が出来ていれば5点とします。文章の意味を取り違えている訳・時制や(日本語の)助詞助動詞間違いのある訳はすべて0点としました。文意はつかめているが訳が自然で無い(と私が判断したもの)、単語の訳が適切でないもの等は減点1〜4点の減点を行います。どうしても主観が入ってしまうので、採点は以下のようにしました。

(1)翻訳ソフト名がわからないように翻訳文だけを印刷し、ランダムに1種類だけ選ぶ
(2)それを上記の方法で採点する
(3)2種類目以降も基本的に同じ方法で採点するが、主観的な採点基準が含まれるので、判断に少しでも迷った場合は(1)の答案を見て相対評価で得点を決める

このようにして「コリャ英和 2009(略称)」・「Yahoo!翻訳」・「Excite翻訳」・「Google翻訳(一応)」について採点しました。

Round 1 --- 5文型 ---

『コンプリート高校総合英語』の2章より、例文80個の翻訳を行いました。SV,SVC,SVO,SVOO,SVOCの基本文型が理解できているかのTestです。400点満点ですが、わかりにくいので得点率を掲載しておきます

翻訳ソフト 得点率(100%)
コリャ英和 2009 84.0%
Yahoo!翻訳 82.3%
アルコムワールド 82.3%
The翻訳 2008 81.3%
Excite翻訳 80.8%
FreeTranslation.com 76.8%
Windows Live翻訳 17.3%
Google翻訳 9.5%

Yahoo!翻訳とアルコムワールドの翻訳サービスが全く(1字1句)同じ訳になりましたベースが同じシステムなんでしょうね。Round 3で微妙に違う結果が出ているので、完全に同じシステムというわけではなさそうですが。まあ、基本的な構造の文章は全体的にうまく訳せています。


Windows Liveの翻訳サービスも試しに採点してみました。文法は壊滅的ですが、『まあわからなくはないかな?』というかんじの訳が結構ありました。Google翻訳よりは読めます。


Round 2 --- 主語と目的語 ---

主語や目的語が句や節になっていたり、英文の主語と日本語の主語が一致しないような、少し複雑な文章を97文翻訳してもらいます。

  • 例1

What made you do a silly thing like that?(どうしてあなたはそんな馬鹿なことをしたのですか?)

  • 例2

That the earth is round is clear now.(地球が丸いということは今では明らかである)

翻訳ソフト 得点率(100%)
Excite翻訳 84.3%
The翻訳 2008 81.9%
コリャ英和 2009 79.8%
FreeTranslation.com 72.8%
Yahoo!翻訳 70.3%
アルコムワールド 70.3%

Google翻訳は出走取消^^;
ExciteがなかなかGoodのようです。市販のソフトもまずまずです。今回もYahoo!翻訳とアルコムワールドの訳が完全に一致しました。


Round 3 --- 主格補語と目的格補語 ---

「補語がわかれば英語がわかる」『コンプリート高校総合英語』第4章より
ここまで調べれば大体翻訳精度がわかると思います。特に目的格補語(第5文型の補語)なんかの理解がしっかり出来ていれば、翻訳ソフトとしては合格点ではないでしょうか。例文が多かったので、128個の文章を翻訳させました。

翻訳ソフト 得点率(100%)
Excite翻訳 69.7%
コリャ英和 2009 68.4%
アルコムワールド 64.1%
The翻訳 2008 63.4%
Yahoo!翻訳 61.7%
FreeTranslation.com 56.9%

「The翻訳 2008」もわりと良い訳を出しますが、主語の間違いや受動態と能動態を間違えたりして文法的に×な文章が気になりました。


短文に関しては、Exciteが今のところ優秀ですね。それぞれの翻訳性能が大体わかったところで、そろそろ中長文の翻訳に移ろうかと思います。文脈の判断を行っているシステムとそうでないシステムで大きな差が出てくるのではないかと思いますが、どうなることやら…。


Round 4 --- 関係詞 ---

ある程度長い文章になりがちなのと、関係代名詞が省略される場合があるとういことで関係代名詞・関係副詞の文章を中心に調べました。Yahoo!翻訳とアルコムワールドは今回も全く同じなのでまとめてあります。あと、Google翻訳は短すぎる文章だと良くないのかもと思ってもう一度調べてみました。

Excite翻訳 77.0%
The翻訳 2008 74.9%
コリャ英和 2009 74.2%
Yahoo!・アルコム 69.7%
Google翻訳 17.9%

Google翻訳は少しだけ得点率が上がりましたが、厳しいことには変わりないようです。スコアだけ見るとわかりにくいですが、「Excite翻訳」と「The翻訳 2008」にすばらしい訳が多かったです。特に感動したのがコレ。

Leaves are to the plant what lungs are to the animal.

Exite翻訳 動物には肺があるように植物には葉があります。
The翻訳 2008 植物にとっての葉は、動物にとっての肺のような物です。

完璧じゃないですか!完全な誤訳の文章もいくつかありましたが、想像以上の精度です。今回のテストで翻訳精度がわかった気がするので、次回から長文の翻訳に移りたいと思います。