シェルスクリプト書いてます・・・トホホ。
仕事でシェルなんか書いたことないのっっっ!
findと
sortと
uniqを使って、ウン十万行のデータを読み込んで処理したら、当然といえば当然の反応なのですが、「
メモリの割当領域が足りません」と英語でエラーを返してくれました。まあ、冷静に考えればそうなんですけど。
ああ、そうさ、大量のデータをPHPなんかで処理しようとしてるのが悪いのさっ!ふんっ。しゃーないので、シェルでファイル分割して・・・・って、めんどいからこの際、データの整形までシェルでやったろかなぁ・・・。あ・・・・あかんわ・・・・DBのデータと比較せな・・・・(号泣)
絞り込んで絞り込んでの有効な最終想定データMAXが100万行ですから。元データはその3倍ぐらい。PHPなんかで分割処理やら、なんやらさせた日にゃぁ、
アハッ!サーバ落ちちゃったよ!(O.O;)(oo;)なんて事にもなりかねない。
でもって、今作っているバッチ処理を実行するサーバは、必要がないのでインターネットにつながってないのですよ・・・。てこたぁ、いつもご愛用のGUIのFTPソフトは使えないと。SSHであっちに入ってこっちに入って、FTP転送かける。めんどくせー。だもんで、結局クライアントのエディタではなく、viで直接書いてるほうが早いやん。
そんなこんなで、ダメダメプログラマぶり晒し中。
めんどくさいのオンパレード中です。
そういえば、エクセルのリミットって6万数千行なのね。
ていうか、、、
100万行分
のサンプルデータ作るのが、一番めんどくさい・・・・。
まだ、10万行しか作ってない・・・・。
そのためにプログラム作るのもめんどくさい・・・。
本来扱う予定のデータは時間も含むデータなのですが、一日の時間は秒毎に刻んでも、
60秒×60分×24時間=86400秒
なわけですよ。100万にかなり足りねぇ・・・・(涙)。作った後で気が付いたよ・・・。
同じ内容のデータだと、意味ないのよね。100万パターンのデータが必要です。ほなら、1秒あたりのデータ行数をドカッっと増すしかない。ってなると、データの他の項目がかぶらないようにせなあかんし・・・・適当にランダムになっとかなあかん・・・。その中の一項目分のデータ、DBにも同じものを置いとかなあかん・・・・。
だれか、作って・・・・。(切実)