●

CSVをTSVへ変換するプログラム

前回はCSVデータをTSVデータに変換するプログラムを作成した。このプログラムは主に次の3つのファイルで構成されている。

util_file.cにファイル関連の処理を書いていき、util_csv.cにCSV関連の処理を書いてく、といった感じだ。main.cからこの2つの処理を呼び出して、CSVファイルをTSVデータに変換して標準出力で出力するといった内容にしてある。

主な関数は次のとおりだ。

それぞれの実装を見ていこう。まず、util_file.cは次のようになっている。

util_file.c

#include

#include

#include

char *file2str(const char *filepath) {

struct stat st;

int filesize, c;

char *buf, *p;

FILE *fp;

stat(filepath, &st);

filesize = st.st_size;

buf = calloc(filesize + 1, sizeof(char));

p = buf;

fp = fopen(filepath, "r");

for (int i = 0; i < filesize; i++) {

c = fgetc(fp);

if (EOF == c) {

break;

}

*p = (char)c;

++p;

}

return buf;

}

この実装に関する説明は不要だと思う。file2str()では引数にパスを取っており、これをfopen(2)システムコールで開いてfgetc()で1文字づつ読み込んでいるだけだ。指定されたファイルの中身をchar型のデータとしてすべてメモリへコピーしている。

CSVデータをTSVデータへ変換する実装であるutil_csv.cは次のようになっている。

util_csv.c

#include

static bool record_outputed;

static char gettsvchar(const char);

int csv2tsv(const char *ibuf, int ibufsize, char *obuf, int obufsize) {

// When the target is empty, no processing is done.

if (0 == ibufsize)

return 0;

const char *p_i, *end_i;

char *p_o;

int tsv_len = 0;

p_i = ibuf;

end_i = &ibuf[ibufsize - 1];

p_o = obuf;

// Indicates the state during parsing.

typedef enum FIELD_STATUS {

FIELD_END,

IN_FIELD,

IN_QUOTED_FIELD

} record_status;

record_status rs = FIELD_END;

record_outputed = false;

while (1) {

if ('\n' == *p_i) {

if (!record_outputed) {

// nothing

}

rs = FIELD_END;

*p_o = gettsvchar('\n');

++p_o;

++tsv_len;

} else {

switch (rs) {

case FIELD_END:

if (',' == *p_i) {

// nothing

} else if ('"' == *p_i) {

rs = IN_QUOTED_FIELD;

} else {

rs = IN_FIELD;

*p_o = gettsvchar(*p_i);

++p_o;

++tsv_len;

}

break;

case IN_FIELD:

if (',' == *p_i) {

rs = FIELD_END;

} else {

*p_o = gettsvchar(*p_i);

++p_o;

++tsv_len;

}

break;

case IN_QUOTED_FIELD:

if ('"' == *p_i) {

if (p_i == end_i) {

rs = FIELD_END;

} else if (',' == *(p_i + 1)) {

rs = FIELD_END;

++p_i;

} else if ('"' == *(p_i + 1)) {

*p_o = gettsvchar(*p_i);

++p_o;

++tsv_len;

++p_i;

}

} else {

*p_o = gettsvchar(*p_i);

++p_o;

++tsv_len;

}

break;

}

switch (rs) {

case FIELD_END:

*p_o = '\t';

++p_o;

++tsv_len;

record_outputed = false;

break;

case IN_FIELD:

case IN_QUOTED_FIELD:

break;

}

}

if (p_i == end_i || tsv_len == obufsize)

break;

else

++p_i;

}

return tsv_len;

}

static char gettsvchar(const char c) {

record_outputed = true;

if ('\t' == c) {

return ' ';

} else {

return c;

}

}

前回に説明したCSVとTSVの仕様に従って、CSVデータをTSVデータへ変換する処理をシンプルに書いていくとこんな感じになる。別段、高速化などを意識した実装はしていない。enum FIELD_STATUSという列挙型が、現在パースしているデータがフィールド内にあるか、クォートされたフィールド内にあるか、フィールドの終了か、を保持しているので、このあたりを意識しながら読んでいけば処理のロジックは見えてくると思う。

これら2つのファイルで実装されている2つの関数は、次のようにヘッダファイルに定義しておく。

main.h

int csv2tsv(const char *, int, char *, int);

char *file2str(const char *)

main.cは次のようにfile2str()とcsv2tsv()を呼び出して処理を行うだけだ。

main.c

#include

#include

#include

#include "main.h"

int main(int argc, char *argv[]) {

char *csvdata, *tsvdata;

int csvdata_bytes, tsvdata_bytes;

csvdata = file2str(argv[1]);

csvdata_bytes = strlen(csvdata);

tsvdata_bytes = csvdata_bytes;

tsvdata = calloc(tsvdata_bytes + 1, sizeof(char));

csv2tsv(csvdata, csvdata_bytes, tsvdata, tsvdata_bytes);

printf("%s", tsvdata);

return 0;

}

この実装では、file2str()の中で確保したメモリが開放されていない。実装の見通しの良さを考えると、file2str()はちょっとばかり改良の余地があるのだが、とりあえず動作させることを優先して、こうした実装にしてある。

●

Windows APIを使うのか、POSIXに寄せるのか

先に紹介した実装はPOSIXに寄せたコードになっている。詳しい説明はいずれ行うとして、ここではPOSIXはUNIX系のオペレーティングシステムでよく使われているAPI集のようなものと考えていただきたい。POSIXに寄せて書いておけば、Windowsで動いたプログラムがMacでもLinuxでもコンパイルして利用できるようにしやすい。Windowsだけで動けばよいということであれば、このようなソースコードではなく、Windows API (Win32 API)を使ってソースコードを書くほうがWindows的だ。

この辺りは、開発者が何を求めているかで採用するものが変わってくる。Windowsだけで動けばよく、将来的にMacやLinuxに移植することはまずないのなら、Windows APIなどのMicrosoftが提供しているAPIを使って実装するとよいだろう。Windowsのための機能だ。

一方、Windowsで開発するがLinuxでも実行できる必要がある、といった場合は、UNIX系オペレーティングシステムの多くが準拠または準拠に近い状態にあるPOSIXに習った実装をしておくとよい。先ほどのソースコードがそれに近い。C言語の教科書的な書籍や、C言語の演習などで最初に習うソースコードはPOSIXコードを使っていることが多いだろう。

組み込みになると話はまた変わり、組み込み用のSDKが提供している関数を使ったコーディングを行うことになる。結局のところ、プラットフォームや製品ごとに使うべき関数は異なるので、その場その場に合わせて関数を理解して使うしかない。

WindowsでPOSIX系の実装を行う場合、現状はWSL (Windows Subsystem for Linux)と呼ばれる機能を使うのが公式となるだろう。しかし、WindowsでPOSIX系の実装を行う方法はほかにもいくつかある。Windows APIやPOSIX系の実装に関してはいずれもっと詳しく説明する予定だ。まずは作ったものを動かしてみよう。

書き換えたMakefile

複数のソースコードをビルドする方法として、makeを紹介した。最もシンプルな書き方から取り上げて、徐々に実際に使われるような書き方に変えていったが、次に掲載するMakefileが今回のバージョンだ。

Makefile

CMD= csv2tsv.exe

SRCS= $(wildcard *.c)

OBJS= $(SRCS:.c=.o)

CC= clang

CFLAGS+=-g

build: $(CMD)

$(CMD): $(OBJS)

$(CC) $(CFLAGS) -o $(CMD) $(OBJS)

.c.o:

$(CC) -c $< -o $@

clean:

rm -f $(CMD)

rm -f $(OBJS)

rm -f *.ilk

rm -f *.pdb

前回まではSRSCにCソースコードファイルの名前を直接書いていたが、今回はここを$(wildcard *.c)という記述に変えてある。GNU makeの機能を使って、.cという拡張子のファイルを自動的に指定するといった処理になっている。

こんな感じの書き方にしておくと、他のソフトウェアを開発する際に流用しやすい(当然すべてが流用できるわけではないし、限度もあるが)。今回と似たような構成であれば、CMDに指定するバイナリ名だけを書き換えれば使えるといった感じだ。実際にはもっと多くのオプションを編集することになるのだが、とっかかりとしてはこの程度でよいだろう。

ビルドして使ってみる

では、早速ビルドして使ってみよう。当たり前だが、次のようにCSVファイルをTSVデータへ変換できることを確認できるはずだ。

csv2tsv.exeの実行サンプル


(これまでに構築した環境でビルドすると、実際にはコンパイル時にワーニングが出るのだが、見にくくなるので今回はそこは排除した。この点もいずれ取り上げる)

こんな感じで比較的簡単に単機能のコマンドは開発できる。Cで開発すると意識しなくても、高速に動作するプログラムが出来上がりやすい。慣れないとポインタや参照、メモリの使いに難儀するとは思うが、使えるようになっておくとつぶしが効きやすいプログラミング言語なのだ。

○参考

RFC4180 - Common Format and MIME Type for Comma-Separated Values (CSV) Files

Definition of tab-separated-values (tsv), Internet Assigned Numbers Authority