日英パラレルニュース記事URL集

本データについて

ウェブ上のニュースサイトに掲載されている記事を対象に、日本語記事が掲載されているウェブページのURLと、その翻訳元となっている英語記事のURLの組を収集したデータベースです。同じページに日本語と英語の両方の記事を含むページのURLも収集されています。本データから、日英パラレルコーパス/コンパラブルコーパスをウェブから容易に収集することができます。

CNET Japan	7759記事対
WIRED.jp	14098記事対
EICネット	1739記事対
ニュースで英会話(NHK)	950記事対
ABCニュースシャワー(NHK)	444記事対

使用上の注意

• 本データは2013年3月18日から3月20日にかけて収集されました。本データに収録されているURLにアクセスしても、現在はウェブページが存在しない可能性があります。
• 対訳関係にあるウェブページのURLは自動的に収集されていますので、誤り(対訳になっていないケース)が含まれる可能性があります。
• 完全な対訳ではなく、一方の記事が他方の記事の要約になっている場合も含みます。
• ウェブページをダウンロードする際には、サーバに過度の負荷を与えないように御配慮下さい。
• ウェブから取得したデータを取り扱う際には、原テキストの著作権に十分に御配慮下さい。

収集方法

CNET Japan

主に CNET Networks が提供するIT関連のニュース記事を日本語に翻訳して配信しているサイトです。

• CNET Japanに掲載されている日本語記事をクロールします。
• 記事内に翻訳元ページへのリンクがあれば、それを英語ページのURLとして取得します。

WIRED.jp

WIRED Magazine の英語記事を日本語に翻訳して配信しているサイトです。記事の多くは原文の英語記事の抄訳になっています。

• WIRED.jpに掲載されている日本語記事をクロールします。
• ひとつの記事が複数のページに分かれて掲載されている場合、その全てのURLを取得します。
• 記事内に翻訳元ページへのリンクがあれば、それを英語ページのURLとして取得します。

EICネット

環境に関する海外のニュースを日本語に翻訳して配信しているサイトです。翻訳元の英語記事は様々なサイトから取得しています。日本語記事が完全な翻訳ではなく要約になっている場合が多いです。

• EICネットに掲載されている日本語記事をクロールします。
• 記事内に翻訳元ページへのリンクがあれば、それを英語ページのURLとして取得します。

ニュースで英会話(NHK)

同名のテレビ番組で紹介されたニュースを日本語と英語で掲載しているサイトです。

• サイトに掲載されているニュース記事のページをクロールします。このサイトでは、1つのページに日本語と英語のニュースの両方が掲載されています。
• ページ内における日本語記事、英語記事の出現位置を特定します。出現位置に対応する XPath 式を提供します。

ABCニュースシャワー(NHK)

同名のテレビ番組で放映されたABCのニュースを英語と日本語で掲載しているサイトです。

• サイトに掲載されているニュース記事のページをクロールします。このサイトでは、1つのページに日本語と英語のニュースの両方が掲載されています。
• ページ内における日本語記事、英語記事の出現位置を特定します。出現位置に対応する XPath 式を提供します。

フォーマット

• 一組の日本語ページ、英語ページのURLは以下のフォーマットで表現されています。

  <aligned_page id="CNET_000001" site="CNET">
    <ja_page>
      <url>http://japan.cnet.com/news/business/35009105/</url>
    </ja_page>
    <en_page>
      <url>http://news.cnet.com/8301-10805_3-20119908-75/microsoft-inks-android-chrome-deal-with-quanta/</url>    
    </en_page>
  </aligned_page>
  

  <aligned_page>というタグは日本語ページ、英語ページの組を表わします。id属性はページ対に与えられる識別子、site属性はニュースサイトの種類を表わします。<ja_page>は日本語のページ、<en_page>は英語のページを表わすタグです。これらはページのURLを表わす<url>というタグを含みます。
  
  
• ひとつの記事が複数のページに分かれているとき、<ja_page>または<en_page>は複数の<url>タグを含みます。ページの順序はorderという属性で表わされています。

  (例)
  <aligned_page id="WIRED_012090" site="WIRED">
    <ja_page>
      <url order="1">http://wired.jp/2012/07/03/vulcan/</url>
      <url order="2">http://wired.jp/2012/07/03/vulcan/2/</url>
    </ja_page>
    <en_page>
      <url>http://www.wired.com/wiredenterprise/2012/06/vulcan/</url>
    </en_page>
  </aligned_page>
  

  
  
• ひとつの英語記事をシリーズ記事として複数の記事で翻訳しているとき、<aligned_page>は複数の<jp_page>タグを含みます。記事の掲載順はorderという属性で表わされています。

  (例)
  <aligned_page id="WIRED_011702" site="WIRED">
    <ja_page order="1"> <url>http://wired.jp/2012/03/25/mr-linux-1/</url> </ja_page>
    <ja_page order="2"> <url>http://wired.jp/2012/03/27/mr-linux-2/</url> </ja_page>
    <ja_page order="3"> <url>http://wired.jp/2012/03/28/mr-linux-3/</url> </ja_page>
    <ja_page order="4"> <url>http://wired.jp/2012/03/29/mr-linux-4/</url> </ja_page>
    <en_page> <url>http://www.wired.com/wiredenterprise/2012/03/mr-linux/all/1</url> </en_page>
  </aligned_page>
  

  
  
• 記事がHTMLファイルではなくPDFファイルで公開されているとき、<url>タグに fmt="pdf" という属性が付与されます。

  (例)
  <aligned_page id="EIC_001491" site="EIC">
    <ja_page>
      <url><![CDATA[http://www.eic.or.jp/news/?act=view&serial=26403&oversea=1]]></url>
    </ja_page>
    <en_page>
      <url fmt="pdf">http://unfccc.int/files/press/news_room/press_releases_and_advisories/application/pdf/ma20111512_cdm.pdf</url>
    </en_page>
  </aligned_page>
  

  
  
• ひとつのウェブページが日本語記事と英語記事の両方を含むとき、<aligned_page>タグは type="one page" という属性を含みます。このとき、<ja_page>および<en_page>タグ内の<url>タグには同一のURLが記載されます。さらに、<ja_page>と<en_page>タグは<xpath_article>タグを含みます。<xpath_article>タグは、そのHTMLページをツリー構造で表現したとき、日本語記事、英語記事を含むノードのXPath式を表わします。

  (例)
  <aligned_page id="NHK_enews_000001" site="NHK_enews" type="one page">
    <ja_page>
      <url>http://cgi2.nhk.or.jp/e-news/news/index.cgi?ymd=20090330</url>
      <xpath_article>//div[@id="tab_2" and @class="tab_content"]</xpath_article>
    </ja_page>
    <en_page>
      <url>http://cgi2.nhk.or.jp/e-news/news/index.cgi?ymd=20090330</url>
      <xpath_article>//div[@id="tab_1" and @class="tab_content"]</xpath_article>
    </en_page>
  </aligned_page>
  

ファイル一覧

• CNET.xml
  「CNET Japan」から収集したURLのXMLファイル
• WIRED.xml
  「WIRED.jp」から収集したURLのXMLファイル
• EIC.xml
  「EICネット」から収集したURLのXMLファイル
• NHK_enews.xml
  「ニュースで英会話」から収集したURLのXMLファイル
• ABC.xml
  「ABCニュースシャワー」から収集したURLのXMLファイル
• parallel_web_page.dtd
  上記5つのXMLファイルのDTD(Document Type Definition)
• 00Readme.html
  このファイル

その他

• 本データは (社)電子情報技術産業協会 知識情報処理技術委員会 言語資源分科会 によって作成され、言語情報処理ポータルで公開されています。 本データの利用によって生じた損失や損害につきましては、当協会ならびに言語情報処理ポータルでは一切の責任を負いかねます。あらかじめご了承下さい。
• ご意見、ご要望がございましたら、以下の連絡先までお願いします。

言語情報処理ポータル管理人: