人気ブログランキング | 話題のタグを見る
| Home  |  Visit  |  Comment  |  RSS  |  Top  |
結局・・・
 シェルスクリプト書いてます・・・トホホ。
 仕事でシェルなんか書いたことないのっっっ!

 findsortuniqを使って、ウン十万行のデータを読み込んで処理したら、当然といえば当然の反応なのですが、「メモリの割当領域が足りません」と英語でエラーを返してくれました。まあ、冷静に考えればそうなんですけど。ああ、そうさ、大量のデータをPHPなんかで処理しようとしてるのが悪いのさっ!ふんっ。しゃーないので、シェルでファイル分割して・・・・って、めんどいからこの際、データの整形までシェルでやったろかなぁ・・・。あ・・・・あかんわ・・・・DBのデータと比較せな・・・・(号泣)
 絞り込んで絞り込んでの有効な最終想定データMAXが100万行ですから。元データはその3倍ぐらい。PHPなんかで分割処理やら、なんやらさせた日にゃぁ、アハッ!サーバ落ちちゃったよ!(O.O;)(oo;)なんて事にもなりかねない。

 でもって、今作っているバッチ処理を実行するサーバは、必要がないのでインターネットにつながってないのですよ・・・。てこたぁ、いつもご愛用のGUIのFTPソフトは使えないと。SSHであっちに入ってこっちに入って、FTP転送かける。めんどくせー。だもんで、結局クライアントのエディタではなく、viで直接書いてるほうが早いやん。

 そんなこんなで、ダメダメプログラマぶり晒し中。
 めんどくさいのオンパレード中です。
 そういえば、エクセルのリミットって6万数千行なのね。

ていうか、、、

100万行分

のサンプルデータ作るのが、一番めんどくさい・・・・。
まだ、10万行しか作ってない・・・・。
そのためにプログラム作るのもめんどくさい・・・。


 本来扱う予定のデータは時間も含むデータなのですが、一日の時間は秒毎に刻んでも、
60秒×60分×24時間=86400
なわけですよ。100万にかなり足りねぇ・・・・(涙)。作った後で気が付いたよ・・・。
 同じ内容のデータだと、意味ないのよね。100万パターンのデータが必要です。ほなら、1秒あたりのデータ行数をドカッっと増すしかない。ってなると、データの他の項目がかぶらないようにせなあかんし・・・・適当にランダムになっとかなあかん・・・。その中の一項目分のデータ、DBにも同じものを置いとかなあかん・・・・。
 だれか、作って・・・・。(切実)
by harvestrain | 2004-10-12 20:45 | ◆戯言の肴は仕事
<< 【読書】 塩野七生 イタイ子 その2 社内報 >>
自己完結型棚上げ駄文
Since 2004.5.11

by harvestrain
検索
  猫、堕を貪る。
すっかり妻らしくなった
新妻Harvestrain
もとい若干古女房です。
いつのまにか、
年とともに、
打たれ弱くなったねこにんです。
モットーは、
気の向くまま。
風の吹くまま。
猫のまま。
頭は使うな、アホになる(ぇ

-------------------
twitter
日記
ブログ
技術メモ
-------------------
お問い合わせ・ご意見はこちら
メールを送る
-------------------
最新のトラックバック
フォロー中のブログ
その他のジャンル
ファン
記事ランキング
ブログジャンル
画像一覧
ヨコの会
◇◆◇◆◇
ブロガー互助連盟 ヨコの会本部
◇◆◇
加盟窓口はこちら
◇◆◇
第28独立小隊
吾輩は猫である?方面部隊
CELL725
-- サマーアイズ --
◇◆◇

共同戦線中。
◇◆◇◆◇
AX