タグ

logに関するhoneybeのブックマーク (8)

  • ApacheのアクセスログをMessagePack形式で出力するためのモジュールを作りました : DSAS開発者の部屋

    Apacheモジュールのログ出力、こんどはMessagePack版を作成しました。続いてはこちらをご紹介します。 Apacheのアクセスログを使い、ユーザアクセスの集計やパターン解析などというのは一般にどこでもやられていることだと思います。通常のアクセスログはテキストファイルなので、集計を行うためにスクリプト上で扱える変数・オブジェクト化が必要になりますね。1行ごとの各ログ項目を取り出すのに正規表現を使ったり、cutやawkなどを使い空白で分割するなど、色々工夫されていることと思います。 今回、MessagePack版のアクセスログ出力をやってみようと思い立ったのは、アクセスログをあらかじめ構造化済みの状態で保存しておければ、読み込みの際の解析する手間を省くことで解析処理の高速化が期待できるのではないか、そう考えたためです。MessagePackであれば、PythonRubyはじめ様々な

    ApacheのアクセスログをMessagePack形式で出力するためのモジュールを作りました : DSAS開発者の部屋
  • QB

  • Yahoo!ショッピングにおけるログ設計と監視

    ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、ショッピング事業部開発部の吉野と申します。 今回は「アプリケーションログの設計と監視」について、実際にYahoo!ショッピングで採用している方法を少し交えながらお話しさせていただきます。 1.ログ設計のポイント ログ設計は、以下のポイントに注意して行うとよいでしょう。 ・ログ出力のポイントが押さえられているか ⇒セッションの始まりと終わり、処理の過程、例外処理の中など。 フローチャートのような処理フロー図があれば、そこにログ出力ポイントを書き込むとわかりやすくなります。 ・出力する情報に過不足はないか ⇒「いつ(システム時間)」「だれが(プロセスID・IPアドレスなど)」 「どこで(パスなど)」「なにをした(実行コマン

    Yahoo!ショッピングにおけるログ設計と監視
    honeybe
    honeybe 2009/03/11
    参考になる+1
  • Ywcafe.net

    Ywcafe.net This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: Best Penny Stocks High Speed Internet Cheap Air Tickets Work from Home 10 Best Mutual Funds Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy|Do Not Sell or Share My Personal Information

  • 米Facebook、ログデータ収集サーバー「Scribe」をオープンソースに | OSDN Magazine

    米Facebookは10月24日(米国時間)、自社開発のログデータ収集サーバー技術「Scribe」のソースコードを公開した。大量データに対応するよう設計されているという。ライセンスは「Apache Licence 2.0」を採用、SourceForge.netのWebサイトでダウンロードできる。 Scribeは、Facebookが実際に自社インフラで利用しているログ収集システムで、多数のサーバーから寄せられるログデータをリアルタイムに収集する。ユーザー数の拡大に対応するため、自社開発したという。開発にあたり、Facebookがオープンソースとして公開している開発ツール「Thrift」を用いた。PHPPythonC++Javaなどのコードからログメッセージを収集できる。 特徴は拡張性と信頼性。クライアント側を変更せずに拡張が可能で、データセンター間でメッセージをやり取りする際のバッチ処

    米Facebook、ログデータ収集サーバー「Scribe」をオープンソースに | OSDN Magazine
  • Sun-BigAdmin

    Oracle Hardware Oracle hardware includes a full suite of scalable engineered systems, servers, and storage that let enterprises optimize application and database performance, protect crucial data, and lower costs. Organizations improve database performance, simplify management, and lower costs with exclusive features and automated operations that aren’t available with other solutions. Oracle Exada

    honeybe
    honeybe 2007/12/05
  • 御社のログ管理体制、見直してみませんか?- @IT

    第3回 御社のログ管理体制、見直してみませんか? 松下 勉 テュフズードジャパン株式会社 マネジメントサービス部 ISMS主任審査員 CISA(公認情報システム監査人) 2007/8/17 ログの持つ意味は大きくなっている ISMS(情報セキュリティマネジメントシステム)およびプライバシーマークを構築するに当たり、情報システムにおけるログ管理を導入する企業が増えてきました。 昨今では、日版SOX法の法的要求事項を順守するために、従業員が財務諸表に関係する業務においてITを利用した場合に、業務を実施した証拠や改ざんなどの不正な操作が行われなかった証拠として、システムのログ管理も法が求める対策の1つとなっています。 ログ管理において、管理職などの権限のあるユーザーが承認した履歴があることで、従業員の操作が正しく行われたということが実証できます。しかし、上位の管理者の業務の実施状況については、

    honeybe
    honeybe 2007/08/21
  • Log Parserの概要 ― @IT

    ログは管理者の味方であり、悩みのタネでもある。無償ながら強力なツール、Log Parserでログを自在に操ろう。 連載目次 英語の“log”は「運行記録」などの意味があり、情報システム管理におけるログは、さまざまなハードウェアやソフトウェアの「運行記録」を刻々と記録したデータである。システム管理者にとって、ログは複雑な存在だ。あるときはトラブルシュートの主役としてピンチを救ってくれる頼もしい相棒だが、日々作成されるログはさながら悪夢をもたらす洪水であり、作成されたログ・ファイルは物置のスペースを着々と占拠し続ける厄介者である。 システム管理者であれば、トラブル発生時に一度は耳にしたことがあるのではないだろうか。「そんなこと、ログ見れば分かるでしょ」。これは事実ではあるが、ある意味管理者にとっては屈辱的な言葉かもしれない。コンピュータが文字どおり機械的に吐き出し続ける膨大なログから必要な情報

    Log Parserの概要 ― @IT
  • 1