■ QGREP ■

前へ 次へ
No. 70 (69へのコメント)投稿者: itam HP日付: 2001/10/16 10:38:00
題名 : Re:検索スピードについて

とりあえず、改行を入れましょう。

>何が違うのか比べてみたのですが、GREP検索を開始すると
>WIN2000の方は実際に検索を開始する(「検索中」の表示
>のなかの「中止」「一時停止」という表示の下の窓のよう
>な部分に検索しているファイルの表示があらわれる)まで
>に約10分かかっていることが分かりました(音だけはガー
>ガ―いってる)。

 この部分はQGrepが実際に中を検索するファイルをリスト
アップしている部分ですね。arakenさんの回答を待った方が
いいような気がしますが、とりあえずリストアップが遅い事
に関しては、個人的には
●ファイルシステムは何か遅いのでは?
●どのようなディレクトリ構成でも常に遅いのか?
●NFSやsambaのファイルということは無いか?
などが問題として思いつきます。

>Aファイル数がこのように多くなると、ひとつひとつの
>ファイルを開くこと自体に時間がかかって、CPUの性能
>がストレートに反映しない?という疑問がわきました。

 8万も同時にファイルを開くことはリソースの無駄なので
というか、多分できないので、一つ一つのファイルを開くの
が遅いというわけではないでしょう。
 単純にファイルをリストアップするために、(中ではなく
ファイル自体を)検索するのが遅いのです。8万とはいえ、
10分かかるのは遅いので、たぶんネットワーク関係の問題で
はないかと予想されます。

>新しいパソコンを買っちゃおうかなあと思っていました。

 たぶん、同じような状況ならマシンスペックがあがっても
特に関係ないでしょう。10分もかかったらCPUやメモリなどの
マシンスペックの問題ではないでしょうから。
#PenIII700なら十分でしょう。

No. 71 (70へのコメント)投稿者: さと日付: 2001/10/17 00:28:22
題名 : Re^2:検索スピードについて

itamさん、アドバイスありがとうございます。

ちなみに、8万のファイルは30ほどのサブホルダーに入れてあります。
また、すべてがOCRで読み取ったテキストファイルです(ひとつは3KBほど)。
検索の対象はWIN98のものとWIN2000のもので全く同じ環境にしてあります。

現在の20分・30分というのはちょっと長いですね(違う作業を平行して行うとしても
思考が一旦途絶えてしまいますし、思わず居眠りしちゃうことも・・・)。

5分、せめて10分くらいになったらうれしいです(今でも十分重宝してるんですが)。

No. 72 (71へのコメント)投稿者: かぶねこ HP日付: 2001/10/17 20:41:46
題名 : Re^3:検索スピードについて

Grep の話題ではなくなりますが、検索対象のファイル数が
すごく多いですね。ファイル内容が毎日大幅に変わるので
なければ Namazu を導入してしまう、というアプローチも
あるかと思うのですが。タグジャンプはできませんけど。

http://www.namazu.org/

解説本も出ています。

No. 73 (71へのコメント)投稿者: araken HP日付: 2001/10/18 15:14:56
題名 : Re^3:検索スピードについて

>ちなみに、8万のファイルは30ほどのサブホルダーに入れてあります。
>また、すべてがOCRで読み取ったテキストファイルです(ひとつは3KBほど)。
>検索の対象はWIN98のものとWIN2000のもので全く同じ環境にしてあります。

 試しに、96000 個のファイル(16フォルダ、合計350メガバイト)を作ってみましたが、FAT32 で5分くらい、NTFS で6分くらいでした(NTFS の方が遅いドライブなので、たぶん同程度の検索時間です)。
 ディレクトリ検索だけで10分はかかりすぎです。エクスプローラでそのフォルダを見るのにどのくらい時間がかかるでしょうか?

No. 74 (73へのコメント)投稿者: さと日付: 2001/10/21 14:17:27
題名 : かぶねこさん、arakenさんありがとうございます。

かぶねこさん
貴重な情報ありがとうございます。
教えていただいた本を購入して併用を検討してみます。

arakenさん
ありがとうございます

> 試しに、96000 個のファイル(16フォルダ、合計350メガバイト)を作ってみましたが、FAT32 で5分くらい、NTFS で6分くらいでした(NTFS の方が遅いドライブなので、たぶん同程度の検索時間です)。

これは、ディレクトリ検索だけの時間でしょうか、
それとも検索全てにかかる時間でしょうか?

> ディレクトリ検索だけで10分はかかりすぎです。エクスプローラでそのフォルダを見るのにどのくらい時間がかかるでしょうか?

WIN2000は今手元にないので(帰った後に試してみます)、
WIN98の方ですがフォルダを見るのに五秒もかかりません。

ちなみに、CPUの性能はあまり関係ないのでしょうか?

私も、もう少しテストしてみようと思います。
(CD−Rに焼いたものを検索したり、違うパソコンで時間を計測したりしてみようかと思います)。

また、アドバイスお願いいたします。

No. 75 (74へのコメント)投稿者: araken HP日付: 2001/10/21 18:30:17
題名 : Re:かぶねこさん、arakenさんありがとうございます。

>> 試しに、96000 個のファイル(16フォルダ、合計350メガバイト)を作ってみましたが、FAT32 で5分くらい、NTFS で6分くらいでした(NTFS の方が遅いドライブなので、たぶん同程度の検索時間です)。
>
>これは、ディレクトリ検索だけの時間でしょうか、
>それとも検索全てにかかる時間でしょうか?

 検索すべてです。
 ディレクトリ検索だけの時間であれば、FAT32で数秒、NTFSは数十秒といったところです。


>> ディレクトリ検索だけで10分はかかりすぎです。エクスプローラでそのフォルダを見るのにどのくらい時間がかかるでしょうか?
>
>WIN2000は今手元にないので(帰った後に試してみます)、
>WIN98の方ですがフォルダを見るのに五秒もかかりません。
>
>ちなみに、CPUの性能はあまり関係ないのでしょうか?

 関係なくもないのですが、消費時間の半分はディスクからの読み込み時間のようなので、ディスクの速度も関係あります。

No. 76投稿者: ニシウラ日付: 2001/10/25 18:16:18
題名 : 教えてください。

ダウンロードさせてもらいました。
〜ない。という文を検索したいのですがうまくいきません。
ない。の前に。、を含まない文のみを検索したいのです。
[~、。]*ない。→と、いうふうに検索文字列を入力しました。
すると、結果出てくるものの中に、。を含んでいる文まで出てきてしまいます。
どうすれば良いのでしょうか??

No. 77 (76へのコメント)投稿者: かぶねこ HP日付: 2001/10/29 00:46:45
題名 : Re:検索文字列。

>〜ない。という文を検索したいのですがうまくいきません。
>ない。の前に。、を含まない文のみを検索したいのです。
>[~、。]*ない。→と、いうふうに検索文字列を入力しました。

除外するには ^ です。あと、1つは必ず句読点以外の文字がくると
いうことであれば + を使うほうがいいのではないでしょうか。そう
いうわけで、

[^、。]+ない。

で検索してみてください。

No. 78 (77へのコメント)投稿者: ニシウラ日付: 2001/10/29 16:26:03
題名 : Re^2:検索文字列。

>>〜ない。という文を検索したいのですがうまくいきません。
>>ない。の前に。、を含まない文のみを検索したいのです。
>>[~、。]*ない。→と、いうふうに検索文字列を入力しました。
>
>除外するには ^ です。あと、1つは必ず句読点以外の文字がくると
>いうことであれば + を使うほうがいいのではないでしょうか。そう
>いうわけで、
>
>[^、。]+ない。
>
>で検索してみてください。

できました☆☆
どうもありがとうございました!!

No. 79 (75へのコメント)投稿者: さと日付: 2001/10/31 00:45:17
題名 : Re^2:かぶねこさん、arakenさんありがとうございます。

arakenさん、ご回答ありがとうございます。御手数をおかけしました
(返信が遅くなってしまいました)。

今日、PenV650のマシン(win98)で試してみたところ13分で検索できました。
セレロン450で20分弱だったので妥当なところなんでしょうか。やはり、
CPUの性能はかなり影響があるようですね。

私のWIN2kのパソコン(PenV700)がなぜあんなに遅いのか
(ディレクトリ読取10分、検索20分)は結局不明ですが、
普通なら10分強くらいで検索できてもいいように思います。

先日、arakenさんは9万以上のファイルを5・6分で検索できたとおっしゃってましたが、
もし宜しければ、どの位の速さのCPUでのデータなのか教えていただけませんか。

「新しいマシンを買って、より快適にQGREPを使いたいなあ」という気持ちになってます。

よろしくお願いします。

次へ
現在の既読番号は 0  既読を


メールアドレスを表示するにはURLの後ろに &m=3a1cde7b をつけてください。
フォーラム一覧

http://www2k.biglobe.ne.jp/~araken/
http://0ban.com/araken/