3.3 mrecount CSVデータの行数計算メソッド

CSVデータファイルを行単位で処理するためのクラス。以下のような特徴を持つ。

• C++で実装されており非常に高速に動作する(wc -lより若干高速)。

• 一行目の項目名行を除いたデータの行数のみカウントする。

• 単純に改行charをカウントしているだけなので、ダブルクォーテーションでエスケープされた改行もカウントしてしまう。 この問題を避けたい場合はMCMD::Mtableを利用する。

3.3.1 書式

MCMD::mrecount(arguments)

argumentsに、以下の引数をスペースで区切った文字列として指定する。

3.3.2 利用例

例1 項目名の出力と行番号・値の出力

# dat1.csv
顧客,日付,金額
A,20081201,10
B,20081002,40

p MCMD::mrecount("i=dat1.csv")      # -> 2
p MCMD::mrecount("i=dat1.csv -nfn") # -> 3

3.3.3 関連コマンド

Mtable : CSVデータのセル単位での読み込み操作

3.3.4 ベンチマークテスト

CSVデータの行数カウント処理について、UNIXコマンドwcとMtableをベンチマークにした速度比較を行う。 Table 3.1にベンチマークテストの結果を示す。 100万,200万,300万,400万行,500万行のデータについて実験を行った。 Figure 3.1には、ベンチマークテストで利用したスクリプトの抜粋が示されている。 mrecountはwcに比べて若干高速である。 またMtableは行数をカウントすることのみを目的としたクラスではないが、 比較すると、5〜6倍高速である。

require 'rubygems'
require 'mtools'

require 'benchmark'

puts Benchmark.measure{
  (0...10).each{|i|
    # mrecountの場合
    p MCMD::mrecount("i=data.csv")

    # wcの場合
    system "wc -l data.csv"

    # Mtableの場合
    MCMD::Mtable("i=data.csv -array"){|tbl|
			p tbl.recordSize
    }
  }
}