TimeFuzeアーキテクチャ構想 - 処理とデータとタイマーを一体化したデータパイプライン

この記事は第1回ウェブシステムアーキテクチャ(WSA)研究会の予稿です。 cronのようなタイムスケジューラーにより、定期的に実行されるバッチ処理の課題を解決するアーキテクチャを最近考えている。この記事では、単一のタイムスケジューラによるcronベース…

2017-12-02

ウェブシステムの運用自律化に向けた構想 - 第3回ウェブサイエンス研究会

Monitoring Concept Experimentable

はてなエンジニア Advent Calendar 2017の2日目です。昨日は、id:syou6162 さんによるAWS Lambda上で鯖(Mackerel)の曖昧性問題を機械学習で解決しよう - yasuhisa's blogでした。この記事は、人工知能学会合同研究会2017 第3回ウェブサイエンス研究会の招…

2017-11-08

サーバ「管理」ツールとしてのMackerelの起源

Monitoring Mackerel

この記事は、SaaSのサーバ監視サービスMackerelを起源を遡り、そこから現在の姿に至った経緯をはてな社内のエンジニアに共有するためのものです。なお、ここに書かれていることは、Mackerel開発チームの公式見解ではありません。概要 Mackerelは、もともと…

2017-11-06

コスト効率の悪いLambdaアプリケーションの性質に関する考察

Serverless Architecture

概要 Lambdaは100msの実行時間単位でオンデマンドに課金されるため、立ち上げっぱなしのEC2インスタンスよりも、料金が安くなる可能性があることが一般に知られている。しかし、以下の性質を満たすアプリケーションでは、EC2インスタンス上に構築したケース…

2017-09-12

RedisサーバのCPU負荷対策パターン

Redis Database Performance

Redisは多彩なデータ構造をもつ1インメモリDBであり、昨今のWebアプリケーションのデータストアの一つとして、広く利用されている。しかし、一方で、性能改善のための手法を体系的にまとめた資料が見当たらないと感じていた。実際、最初にCPU負荷が問題に…

2017-06-05

時系列データベースという概念をクラウドの技で再構築する

TSDB Architecture Mackerel

サーバ監視サービスMackerelにおいて開発中の、高解像度・長期間のサーバメトリック収集を実現するための新しい時系列データベースDiamondを紹介します。具体的には、Amazon ElastiCache、Amazon DynamoDB、Amazon S3を組み合わせ、Amazon Kinesis Streamsと…