批量中文分词脚本

?

#!/usr/bin/perl

#批量分词

#该perl脚本要求调用deepfuture的简单中文分词器(http://deepfuture.iteye.com/blog/767313)

?

use 5.010;

use warnings;

use strict;

use File::Basename;

?

?

my $mydir='/home/deepfuture/xx'; #输入目录

my $myoutdir='/home/deepfuture/yy';#输出目录

my @list = glob("$mydir/*\.txt");

my $jd=1;

say '批量分词...........';

foreach my $mylist(@list){

? $jd++;

? my $outfile = basename $mylist;

?? ? $outfile =~ s/\..+$/\.seg/i;

?? ? say '-'x80;

say "正在处理$mylist，分词结果输出:$myoutdir/$outfile";?

?? ? say '[='.'='x($jd/scalar(@list)*100).'>'.'.'x(100-$jd/scalar(@list)*100).']'; ? ??

?

?? ? ? ? system("./zwfc.sh $mylist $myoutdir/$outfile"); ? ? ? ? ? ? ? ??

?

?

?? ? say '';

} ? ? ?