When it comes to server hardware failures, I've seen them all with our own infrastructure. With the exception of CPUs, I've seen virtually every other component that could fail, fail in the past 16 years of running AnandTech. Motherboards, power supplies, memory and of course, hard drives. 

By far the most frequent failure in our infrastructure had to be mechanical drives. Within the first year after the launch of Intel's X25-M in 2008, I had transitioned all of my testbeds to solid state drives. The combination of performance and reliability was what I needed. Most of my testbeds were CPU bound, so I didn't necessarily need a ton of IO performance - but having the headroom offered by a good SSD meant that I could get more consistent CPU performance results between runs. The reliability side was simple to understand - with a good SSD, I wouldn't have to worry about my drive dying unexpectedly. Living in fear of a testbed hard drive dying over the weekend before a big launch was a thing of the past. 

When it came to rearchitecting the AnandTech server farm, these very same reasons for going the SSD route on all of our testbeds (and personal systems) were just as applicable to the servers that ran AnandTech.

Our infrastructure is split up between front end application servers and back end database servers. With the exception of the boxes that serve our images, most of our front end app servers don't really stress IO all that much. The three 12-core virtualized servers at the front end would normally be fine with some hard drives, however we instead decided to go with mainstream SSDs to lower the risk of a random mechanical failure. We didn't need the endurance of an enterprise drive in these machines since they weren't being written to all that frequently, but we needed reliable drives. Although quite old by today's standards, we settled on 160GB Intel X25-M G2s but partitioned the drives down to 120GB in order to ensure they'd have a very long lifespan.

Where performance matters more is in our back end database servers. We run a combination of MS SQL and MySQL, and our DB workloads are particularly IO intensive. In the old environment we had around a dozen mechanical drives in various RAID configurations powering all of the databases that ran the site. To put performance in perspective, I grabbed our old Forum Database server and took a look at the external SAS RAID array we had created. Until last year, the Forums were powered by a combination of 6 x Seagate Barracuda ES.2s and 4 x Seagate Cheetah 10K.7s. 

For the new Forums DB we moved to 6 x 64GB Intel X25-Es. Again, old by modern standards, but a huge leap above what we had before. To put the performance gains in perspective I ran some of our enterprise IO benchmarks on the old array and the new array to compare. We split the DB workload across the Barracuda ES.2 array (6 drive RAID-10) and the Cheetah array (4 drive RAID-5), however to keep things simple I just created a 4-drive RAID-0 using the Cheetahs which should give us more than a good indication of peak performance of the old hardware:

AnandTech Forums DB IO Performance Comparison - 2013 vs 2007
  MS SQL - Update Daily Stats MS SQL - Weekly Stats Maintenance Oracle Swingbench
Old Forums DB Array (4 x 10K RPM  RAID-0) 146.1 MB/s 162.9 MB/s 2.8 MB/s
New Forums DB Array (6 x X25-E RAID-10) 394.4 MB/s 450.5 MB/s 55.8 MB/s
Performance Increase 2.7x 2.77x 19.9x

The two SQL tests are actually from our own environment, so the performance gains are quite applicable. The advantage here is only around 2.7x. In reality the gains can be even greater, but we don't have good traces of our live DB load - just some of our most IO intensive tasks on the DB servers. The final benchmark however does give us some indication of what a more random enterprise workload can enjoy with a move to SSDs from a hard drive array. Here the performance of our new array is nearly 20x the old HDD array.

Note that there's another simplification that comes along with our move to SSDs: we rely completely on Intel's software RAID. There are no third party RAID controllers, no extra firmware/drivers to manage and validate, and there's no external chassis needed to get more spindles. We went from a 4U HP DL585 server with a 2U Promise Vtrak J310s chassis and 10 hard drives, down to a 2U server with 6 SSDs - and came out ahead in the performance department. Later this week I'll talk about power savings, which ended up being a much bigger deal.

This is just the tip of the iceberg. In our specific configuration we went from old hard drives to old SSDs. With even greater demands you could easily go to truly modern enterprise SSDs or even PCIe based solutions. Using a combination of consumer and enterprise drives isn't a bad idea if you want to transition to an all-SSD architecture. Deploying reliable consumer drives in place of lightly used hard drives is a way to cut down the number of moving parts in your network, while moving to higher performing/higher endurance enterprise SSDs can deliver significant performance benefits as well.

Comments Locked


View All Comments

  • Falkinator - Wednesday, March 27, 2013 - link

    Over provisioning allows the drive to spread out its data and optimize where data gets written in order to reduce the write cycles on a particular cell. I just learned about this setting up my Samsung 840 Pro. Samsung recommended 7-10 percent.
  • tejas@atech - Thursday, March 21, 2013 - link

    @anand Sorry to even ask this,But in post u wrote "we settled on 160GB Intel X25-M G2s but partitioned the drives down to 120GB in order to ensure they'd have a very long lifespan."
    I also use it , although not on par with R/W scale. But how can this increase Lifespan of SSD? :-0
  • gospadin - Friday, March 22, 2013 - link

    Some SSDs, when you don't write to the entire drive, will use the extra space for their internal management automatically, which may lower write amplification. Lower write amplification generally translates to better performance as a first order effect, or if you run the same workload with less write amp, you'll induce fewer cycles on the media and thus take longer to hit the media's endurance limits. As such, this will increase the lifespan of the drive.
  • wang2013 - Tuesday, March 26, 2013 - link

    服を購入する場所を見つけると、一つは、彼らが着たいものを決定する必要があります。冬が終わるとして、夏前には、誰もが幸せな色合いを探します。それが今は少し遠いように思えるかもしれま<a href="http://www.nikezu.com/B9-c-297.html">サングラス サングラス スニーカー</a>
    せんが、たった一ヶ月かそこらでこの変更を探します。あなたは卸売衣類を購入している場合は、これらの明るく元気なトーンを考える。彼らはいつもイースターヶ月ほど適しています!その他の傾向としては、アクティブな摩耗の衣類のインスピレーションは、春のスタイルになることは間違いありません。これらのインスピレーションピースは古いに若いから、すべての年齢層で利用できるようになります。キーは快適であるものです。とき卸売衣服ショッピングあなたは快適、スポーツスタイルの選択で間違った方向になることは決してありません。あなただけのスタイルに何があるか<a href="http://www.nikeinjapan.com/air-jordan-c-55.html&qu...
    わからない場合は、有名人が公共の場で着ているものを見つけるためにいくつかの研究を行う。金持ちや有名にしている人々は通常、 "内"で衣類の種類を決定し、この春には、ルールの例外ではありません。人気のファッションや娯楽雑誌を拾い読みすると、また、あなたの現在の人気の傾向についてのヒントをたくさん与える。また、あなたの買い物は服を販売している偉大なwardrobe.Anyoneを意味することができます前に、格好悪い(あなたが知らない、念のため。)これらのヒントをお探しているものの絵を与えるために含まれていないことに注意を払うべきであることは十分承知している在庫がファッションの方法によって決定されるという事実。 1シーズンからホットな<a href="http://www.sunkutu.com/new-balance-cm999lgy-cm999l... Balance CM999LGY ニューバランス CM999LGY</a>
  • wang2013 - Tuesday, April 9, 2013 - link

    <P>エアジョーダンでしょう。上のエアジョーダンの靴で、1つは常にすべての時間を良い感じになります。<a href="http://www.worldsportsbrand.com/サッカーユニフォームナショナルチーム...、注意してください。あなたはナイキヨルダンの靴のいずれかを着用するときは、インスタント有名人になるため:すべてのショットは慎<a href="http://www.airjordanba.com/air-force-c-943.html&qu... force 1</a>重に見守っている、すべての動きが観客とあなたが法廷の内外で行うすべての喜びですが、人々のための画像と動画でキャプチャされますごちそうに。エアジョーダンの靴は、すべてのバスケットボール選手に不可欠であるためです。それ以外の場合は、これまでバスケットボールハードコートに足を設定する最大の選手にちなんで命名されませ<a href="<a href="http://www.airjordankuz.com">ナイキ エア</a>ん。デニス·ロッドマンは、かつてマイケルジョーダンは彼の私生活で、彼はバスケットボールを果たしている方法で、両方の大きな影響であると述べた。ワームは、彼はすべてのゲームで、様々な方法で染色された彼の荒いゲーム、ピアス、カラフルな髪のために知られていた彼はNBAで足を踏み入れたとき、彼が最初に知られていた。<a href="http://www.glassesjapan.com/oakley-BC-c-1098.html&... オークリー ワイヤー OAKLEY オークリー ワイヤー スニーカー</a>彼は権限を持ついくつかの選手や人々とランイン多数の手抜きと、いくつかのもつれになったとして、裁判所の外では、ロッドマンは同然であった。それから彼は、スコッティーピッペンと一緒にヨルダンの副官の1になるためにシカゴ·ブルズに移籍した彼の決定的な瞬間が来た。</p>
  • wang2013 - Friday, April 26, 2013 - link

    別の男女兼用のお気に入り人気シチズン 腕時計は実際RB2079です。ミニマリズムのインスタンスは、このスムーズな金属フレームの眼鏡は、柔軟な依存·と実際にセミリムレスです。寺院はそれにエッチング実際のブランドロゴ 'RB'が。 'これらの眼鏡は、贅沢な素材、力強いスタイル、精密なディテールの混合物である。鮮度と品質は、あなたが選択した人気Evisu ショートジーンズ任意のレイバンの眼鏡と一緒に取得します。彼らはすべてのイベントに理想的な摩耗のために作る。ホルマール、カジュアル、上に置くラウンジ、それをチェックするために常に準備レイバンがある、あなたのスタイルが何であれパーティーウェア。レイバンのサングラスは、太陽の損傷Evisu ジーンズだけでなく、長い目を通して、彼らが健康で強い両方維持に対する適切な保護機能を有効にしてアマガエルを提供することが保証されています。レイバンのサングラスのペアを購入することは間違いなく賢明です。レイバンの色合いは、さまざまなリーグになりたい人のためのものです。prada サングラスあなたのペアを購入することを決定した場合はそのため、あなたは簡単にブランドの本物のデザイナーサングラスの最寄りの店舗の中から注文する、または1つをオンラインで購入することができます。
  • wang2013 - Friday, April 26, 2013 - link

    あなたは最高の腕時計をしhttp://www.glassesjpsale.com">カレラサングラスたい場合は、どこか別の場所に見える。あなたは最高のmp3プレーヤーにしたい場合は、iPodを試してみてください。両方のビットをしたい場合でも、カシオWMP-1VのMP3はあなたのためです。あなたが約4倍いつものサイズで腕時計を身に着けている気にしない場合はそのためです。あなたが他の野外活動を実行し、実行するためのセキュアなMP3プレーヤーをしたい場合は、この時計は素晴らしい作品です。http://www.watchjpshop.com">人気カジュアル腕時計それは間違いなく、あなたはそれがあなたの手首に縛り付けているに一度落ちするつもりはない。しかし、その大きさのために、私は本当に感銘を受けていることだけではありませんでした。ボタンがナビゲートする少し楽だったらおそらくこの時計は、それが少しビット小さかった場合にも、私にはより魅力的になり、より自然な方法で自分の手首にフィットするだろう。観察する現在の時刻を表示小さなポータブルクロックです。カシオでは、東京に本社を置く電子ユニットの生産事業である。http://www.evisujpsale.com/evisu-ショートジーンズ-c-1.html">Evisu ショートジーンズ事業は忠雄鹿塩として認識製造技術に特化したエンジニアが、4月に12ヶ月、1946年に設立されました。彼らは時計が、他の製品およびソリューションの開発を始めていなかった開始からカシオ株式会社。彼らの主要な製品やサービスに開始するも、指が完全にそれを無料でスポーツ男または女を残しているが、着用者は、その要点にタバコを吸うようにダウンさせる、http://www.evisujpshop.com">エヴィス ジーンズ指輪パイプ、タバコを開催する指輪だった。離れて時計から他のカシオソリューションは、鍵盤楽器、電卓、デジタルカメラ、ノートパソコン、携帯電話、ドル·レジスタ、電子辞書、デジタル日記他の個人の中にある。今日では、カシオは、ほとんど正常に弾力性、相当な大きさの時計のために識別されます。

Log in

Don't have an account? Sign up now