#freeze
[[Research topics]]

*Statistical Estimation of Vocabulary Size Including "Unseen" Words. [#z777c4ac]

The number of unique words in children’s speech is one of most basic statistics indicating their language development. We may face, however, to a difficulty to accurately evaluate the number of unique words in a child’s growing corpus over time with a limited sample size. This study proposes a novel technique to estimate the latent number of words from a series of words uttered by children. This technique utilizes statistical properties of the number of types as a function of the number of sampled tokens. We tested the practical effectiveness of the proposed method in the empirical data analysis of the cross-sectional and longitudinal samples. The converging empirical evidence suggests that the proposed estimator improves the accuracy of vocabulary size estimation over a naïve type-counting estimators. Utilizing this efficient estimator, we propose a new sampling scheme for vocabulary assessment that has lower cost and higher accuracy compared to existing methods.

*** Keywords [#rbf3acc1]
Vocabulary growth; Small sample size; Number of latent types; Type–token ratio;

*観察されない語彙を含む語彙数の推定法[#f2383283]

//#ref(VocabGrowth/visualization_model.png,50%)
任意のある確率分布に従って単語を抽出する場合に，抽出単語数に対する単語の
種類数の確率分布がポアソン二項分布に漸近的に従うことを証明しました 
(Hidaka, 2014, Biometrika)。
この結果を用いると，抽出した単語数に対する単語種類数のデータから，潜在的
にどの程度の数の未知の単語種類数が存在するか統計的に見積もることが可能に
なります。従って，この成果を応用することで，言語獲得期の幼児の獲得単語数，
コーパスデータの単語数，生態系における種数，など，様々な分野で未知の項目
の種類数をより正確に概算する事が可能になります。

//図の説明: (a)事象X がある一定頻度で確率的に観察され(上段)、それが累積4 回に達した ときに単語を獲得する場合(中段、N=4)。獲得月齢はガンマ分布に従う(下段)。 (b)事象X の観測頻度が月齢を追って高くなり(上段, D>1)、一度の観察で単語が獲得される場合(中 段)。獲得月齢はワイブル分布に従う(下段)。
この理論的な結果を受けて、実際の幼児の語彙数を分析したところ，従来のように単に観察された語彙数
よりもより正確に語彙数を見積もることが可能である事が分かりました。
この研究成果はJournal of Child Language誌(Hidaka, S., accepted)にて発表しました. 

#todo('',%Hidaka2014VocabEstimation%)


**Related papers (See also [[other publications>Publications]]/ 関連する発表論文 ([[その他の論文など>Publications]]) [#j8db609c]

#todo('',%VocabSizeEstimation%)
トップ   新規 一覧 単語検索 最終更新   ヘルプ   最終更新のRSS