■ QGREP ■

70 にジャンプ
No. 69投稿者: さと日付: 2001/10/16 02:39:06
題名 : 検索スピードについて

現在、二台のパソコン(一台はデスクトップでWIN2000・CPUはペンV700・メモリー192MB、もう一台はノートパソコンでWIN98・セレロン450・メモリーは同じく192MB)でQGREPがフル回転で働いてくれています。感謝・感謝なんですがちょっと不安・不満なことがあります。私は8万ほどのファイル(それぞれは小さく3KBほどの大きさですが)を一日に何度もGREP検索をかけるんですが、なぜかスペックが上のWIN2000のデスクトップの方が遅いのです。検索が終るのにデスクトップの方では約30分、ノートパソコンの方は約20分かかります。何が違うのか比べてみたのですが、GREP検索を開始するとWIN2000の方は実際に検索を開始する(「検索中」の表示のなかの「中止」「一時停止」という表示の下の窓のような部分に検索しているファイルの表示があらわれる)までに約10分かかっていることが分かりました(音だけはガーガ―いってる)。それに対してWIN98のものは約10秒で実際に検索を開始(ファイルを読み込みはじめる)しています。どうも最初の10分の遅れを取り戻せないようなのです。そうなると@QGREPはWIN2000とは相性が悪い?Aファイル数がこのように多くなると、ひとつひとつのファイルを開くこと自体に時間がかかって、CPUの性能がストレートに反映しない?という疑問がわきました。実は、検索の効率化をはかるためにWIN−XP発売後にちょっと奮発して新しいパソコンを買っちゃおうかなあと思っていました。でも、WIN2000の系統を引くXPで、高性能のCPU搭載のものを買っても@Aの理由から意味があるのか不安なのです。どうかご指導ください(長くなってすみません)。

No. 70 (69へのコメント)投稿者: itam HP日付: 2001/10/16 10:38:00
題名 : Re:検索スピードについて

とりあえず、改行を入れましょう。

>何が違うのか比べてみたのですが、GREP検索を開始すると
>WIN2000の方は実際に検索を開始する(「検索中」の表示
>のなかの「中止」「一時停止」という表示の下の窓のよう
>な部分に検索しているファイルの表示があらわれる)まで
>に約10分かかっていることが分かりました(音だけはガー
>ガ―いってる)。

 この部分はQGrepが実際に中を検索するファイルをリスト
アップしている部分ですね。arakenさんの回答を待った方が
いいような気がしますが、とりあえずリストアップが遅い事
に関しては、個人的には
●ファイルシステムは何か遅いのでは?
●どのようなディレクトリ構成でも常に遅いのか?
●NFSやsambaのファイルということは無いか?
などが問題として思いつきます。

>Aファイル数がこのように多くなると、ひとつひとつの
>ファイルを開くこと自体に時間がかかって、CPUの性能
>がストレートに反映しない?という疑問がわきました。

 8万も同時にファイルを開くことはリソースの無駄なので
というか、多分できないので、一つ一つのファイルを開くの
が遅いというわけではないでしょう。
 単純にファイルをリストアップするために、(中ではなく
ファイル自体を)検索するのが遅いのです。8万とはいえ、
10分かかるのは遅いので、たぶんネットワーク関係の問題で
はないかと予想されます。

>新しいパソコンを買っちゃおうかなあと思っていました。

 たぶん、同じような状況ならマシンスペックがあがっても
特に関係ないでしょう。10分もかかったらCPUやメモリなどの
マシンスペックの問題ではないでしょうから。
#PenIII700なら十分でしょう。

No. 71 (70へのコメント)投稿者: さと日付: 2001/10/17 00:28:22
題名 : Re^2:検索スピードについて

itamさん、アドバイスありがとうございます。

ちなみに、8万のファイルは30ほどのサブホルダーに入れてあります。
また、すべてがOCRで読み取ったテキストファイルです(ひとつは3KBほど)。
検索の対象はWIN98のものとWIN2000のもので全く同じ環境にしてあります。

現在の20分・30分というのはちょっと長いですね(違う作業を平行して行うとしても
思考が一旦途絶えてしまいますし、思わず居眠りしちゃうことも・・・)。

5分、せめて10分くらいになったらうれしいです(今でも十分重宝してるんですが)。

No. 72 (71へのコメント)投稿者: かぶねこ HP日付: 2001/10/17 20:41:46
題名 : Re^3:検索スピードについて

Grep の話題ではなくなりますが、検索対象のファイル数が
すごく多いですね。ファイル内容が毎日大幅に変わるので
なければ Namazu を導入してしまう、というアプローチも
あるかと思うのですが。タグジャンプはできませんけど。

http://www.namazu.org/

解説本も出ています。

No. 73 (71へのコメント)投稿者: araken HP日付: 2001/10/18 15:14:56
題名 : Re^3:検索スピードについて

>ちなみに、8万のファイルは30ほどのサブホルダーに入れてあります。
>また、すべてがOCRで読み取ったテキストファイルです(ひとつは3KBほど)。
>検索の対象はWIN98のものとWIN2000のもので全く同じ環境にしてあります。

 試しに、96000 個のファイル(16フォルダ、合計350メガバイト)を作ってみましたが、FAT32 で5分くらい、NTFS で6分くらいでした(NTFS の方が遅いドライブなので、たぶん同程度の検索時間です)。
 ディレクトリ検索だけで10分はかかりすぎです。エクスプローラでそのフォルダを見るのにどのくらい時間がかかるでしょうか?

No. 74 (73へのコメント)投稿者: さと日付: 2001/10/21 14:17:27
題名 : かぶねこさん、arakenさんありがとうございます。

かぶねこさん
貴重な情報ありがとうございます。
教えていただいた本を購入して併用を検討してみます。

arakenさん
ありがとうございます

> 試しに、96000 個のファイル(16フォルダ、合計350メガバイト)を作ってみましたが、FAT32 で5分くらい、NTFS で6分くらいでした(NTFS の方が遅いドライブなので、たぶん同程度の検索時間です)。

これは、ディレクトリ検索だけの時間でしょうか、
それとも検索全てにかかる時間でしょうか?

> ディレクトリ検索だけで10分はかかりすぎです。エクスプローラでそのフォルダを見るのにどのくらい時間がかかるでしょうか?

WIN2000は今手元にないので(帰った後に試してみます)、
WIN98の方ですがフォルダを見るのに五秒もかかりません。

ちなみに、CPUの性能はあまり関係ないのでしょうか?

私も、もう少しテストしてみようと思います。
(CD−Rに焼いたものを検索したり、違うパソコンで時間を計測したりしてみようかと思います)。

また、アドバイスお願いいたします。

No. 75 (74へのコメント)投稿者: araken HP日付: 2001/10/21 18:30:17
題名 : Re:かぶねこさん、arakenさんありがとうございます。

>> 試しに、96000 個のファイル(16フォルダ、合計350メガバイト)を作ってみましたが、FAT32 で5分くらい、NTFS で6分くらいでした(NTFS の方が遅いドライブなので、たぶん同程度の検索時間です)。
>
>これは、ディレクトリ検索だけの時間でしょうか、
>それとも検索全てにかかる時間でしょうか?

 検索すべてです。
 ディレクトリ検索だけの時間であれば、FAT32で数秒、NTFSは数十秒といったところです。


>> ディレクトリ検索だけで10分はかかりすぎです。エクスプローラでそのフォルダを見るのにどのくらい時間がかかるでしょうか?
>
>WIN2000は今手元にないので(帰った後に試してみます)、
>WIN98の方ですがフォルダを見るのに五秒もかかりません。
>
>ちなみに、CPUの性能はあまり関係ないのでしょうか?

 関係なくもないのですが、消費時間の半分はディスクからの読み込み時間のようなので、ディスクの速度も関係あります。

No. 79 (75へのコメント)投稿者: さと日付: 2001/10/31 00:45:17
題名 : Re^2:かぶねこさん、arakenさんありがとうございます。

arakenさん、ご回答ありがとうございます。御手数をおかけしました
(返信が遅くなってしまいました)。

今日、PenV650のマシン(win98)で試してみたところ13分で検索できました。
セレロン450で20分弱だったので妥当なところなんでしょうか。やはり、
CPUの性能はかなり影響があるようですね。

私のWIN2kのパソコン(PenV700)がなぜあんなに遅いのか
(ディレクトリ読取10分、検索20分)は結局不明ですが、
普通なら10分強くらいで検索できてもいいように思います。

先日、arakenさんは9万以上のファイルを5・6分で検索できたとおっしゃってましたが、
もし宜しければ、どの位の速さのCPUでのデータなのか教えていただけませんか。

「新しいマシンを買って、より快適にQGREPを使いたいなあ」という気持ちになってます。

よろしくお願いします。

No. 87 (79へのコメント)投稿者: araken HP日付: 2001/11/03 13:51:22
題名 : Re^3:かぶねこさん、arakenさんありがとうございます。

>今日、PenV650のマシン(win98)で試してみたところ13分で検索できました。
>セレロン450で20分弱だったので妥当なところなんでしょうか。やはり、
>CPUの性能はかなり影響があるようですね。
>
>私のWIN2kのパソコン(PenV700)がなぜあんなに遅いのか
>(ディレクトリ読取10分、検索20分)は結局不明ですが、
>普通なら10分強くらいで検索できてもいいように思います。

 ディレクトリ構造が乱れている場合は、他のディレクトリにコピーして、そちらを検索させると、改善する場合がありますが...
 ところで、エクスプローラでの参照はどの程度の時間がかかったのでしょうか。


>先日、arakenさんは9万以上のファイルを5・6分で検索できたとおっしゃってましたが、
>もし宜しければ、どの位の速さのCPUでのデータなのか教えていただけませんか。

 Pen3 1G です。
 ただ、単純な検索での結果なので、正規表現を使用したり検索条件を複雑にすると、もっと時間がかかります。

No. 89 (87へのコメント)投稿者: さと日付: 2001/11/05 19:35:57
題名 : Re^4:かぶねこさん、arakenさんありがとうございます。

arakenさん、ありがとうございます

> ディレクトリ構造が乱れている場合は、他のディレクトリにコピーして、そちらを検索させると、改善する場合がありますが...

試してみます

> ところで、エクスプローラでの参照はどの程度の時間がかかったのでしょうか。
>
WIN2000の方はやはり時間がかかりました。
約四分でした。

No. 90 (89へのコメント)投稿者: itam HP日付: 2001/11/06 03:03:21
題名 : Re^5:かぶねこさん、arakenさんありがとうございます。

>> ところで、エクスプローラでの参照はどの程度の時間がかかったのでしょうか。
>>
>WIN2000の方はやはり時間がかかりました。
>約四分でした。

 え、これって、エクスプローラで見るだけですよね?
 明らかに異常じゃないでしょうか?

 そのフォルダは、ネットワークにつながった他のマシンを
見ているのでしたっけ?もしそうなら、そのホストの検索に
時間がかかっている可能性もあるので、もしそうなら、 hosts
ファイルを正確に記述すれば、速攻になるような気はします。
 ローカルならどうなんでしょ?

No. 91 (90へのコメント)投稿者: さと日付: 2001/11/09 01:05:47
題名 : Re^6:かぶねこさん、arakenさんありがとうございます。

>>> ところで、エクスプローラでの参照はどの程度の時間がかかったのでしょうか。
>>>
>>WIN2000の方はやはり時間がかかりました。
>>約四分でした。
>
> え、これって、エクスプローラで見るだけですよね?
> 明らかに異常じゃないでしょうか?
>
itamさん、こんにちは。

4分と書いたのは「エクスプローラで見るだけ」のものです。
やはり、おかしいですよね。そこで、ハードディスクを調べてみたらかなり断片化しており、
さっそくデフラグを実行しました。

その結果、エクスプローラで見るだけの時間が4分→20秒に、
GREP検索時のディレクトリ検索は10分弱→1分に短縮されました。

これによりトータルの検索時間は8分ほど短縮されました
(しかし、検索時間自体は短縮されず)。

また、(先にアドバイスいただいたように)検索するホルダーの場所を移動させてみたところ、
検索スピードも約20パーセントほど高速化しました。

お蔭さまでかなり高速化(30分→19分)されましたが、
やっと(かなりスペックが劣る)ノートブックの所要時間と並んだという感じです。

しかし、問題点はかなり明確になってきましたので、今後さらに改善できるように試行錯誤
していこうと思っています。

みなさん、アドバイスどうもありがとうございました。


ヘッダのみ表示
順番に表示(No. 70 から)


メールアドレスを表示するにはURLの後ろに &m=3a1cde7b をつけてください。
フォーラム一覧

http://www2k.biglobe.ne.jp/~araken/
http://0ban.com/araken/