毎時4億通の送信を実現するインフラ改善の裏側

この記事は Peering Enhances Performance at 415 Million Emails per Hour の抄訳です。

現在も続くコロナ禍において、企業と消費者の繋がりを維持する手段として主にメールが利用されています。その流量が大きく増加するホリデーシーズンには、コミュニケーションプラットフォームを提供する我々の責任も重くなり、十分な準備をしておく必要がありました。

Twilio SendGridではブラックフライデーの何ヶ月も前からインフラに対するテストやチューニングを実施してきました。ホリデーシーズンの間のトラフィックは全く予想がつかないので、これまでと同様、基本に忠実に、検知した異常一つ一つを掘り下げて分析し、安定性、可用性を高めるよう取り組んできました。

結果として、そのような準備をした甲斐がありました。ブラックフライデーの週末の間にお客様が生み出したメールの通数は全く前例がない規模で、SendGridは220億通ものメールを処理したのです！

2020年のブラックフライデーでは24時間のうちに58億通が、翌週月曜日のサイバーマンデーには57億通が送信されました。（2019年と比較してそれぞれ、41%, 36%増加）

これは地球上の全ての人に対して2.8通送信したという規模です。ピーク時の処理数は1時間あたり4.15億通にも上りましたが、特に配送までの時間の遅延はみられませんでした。通数が増えるということは送信するデータ量も大きくなるわけですが、これまでの最高記録であった、116gbpsを大きく上回る、262gbpsものスピードに到達しました。

ピアリング(直接接続)による配送

最大の繁忙期であるホリデーシーズンに最良のユーザ体験を提供するため、SendGridサービスのインフラの全レイヤーに対して変更を加えました。SendGridでは、自社でデータセンターを運営しているため全てのレイヤーに対して自分たちで手を加えることができ、高負荷下においても最高のパフォーマンスを発揮できるようインフラのチューニングや最適化が可能です。

2020年に実施したうち、最も大きなものの1つがネットワークレイヤーに対する変更です。ほとんどのメールはパブリックなインターネットを経由して配送されますが、非常に規模が大きくなってきたため、メールボックスプロバイダとピアリング(直接接続)することに取り組み始めました。ピアリングによって、ネットワーク同士が直接接続され、インターネットを経由せずにメールのやり取りが可能になります。

ピアリングにより、信頼性とパフォーマンスが大きく向上しますが、特に大きいのが信頼性に対するメリットです。GoogleやYahoo (米国)、Appleといった宛先には、デフォルトで、SendGridのネットワークから宛先のネットワークに直接配送されます。パブリックなインターネットを経由した場合と比較して、通過するルータやリンクの数は圧倒的に少なくなり、その複雑性も小さくなります。この結果、配送の失敗やパフォーマンスの低下は起きにくくなり、信頼性が大きく向上するのです。

冗長化している我々のネットワークが全てダウンしてしまう、という非常にレアなケースに限り、インターネットを経由した配送に切り替えます（もちろんほとんどのメールは、そのインターネットを経由して配送しています）。これによりGoogle, Yahoo, Appleといった巨大なメールボックスプロバイダに対して、比類なき信頼性を得ることができています。

また、ピアリングによって得られるメリットは信頼性だけではありません。ピアリングにより接続時間自体も大きく削減されました。接続時間が短くなるということは、それだけ早くメールを配送することができているということです。

ピアリングによりGoogleに対する配送時間は21%も高速化しました。

この改善によって、新たなブラックフライデーの記録を打ち立てることができたのです。
メールの配送以外にもピアリングのメリットはあります。GoogleやAmazonと直接接続しているため、彼らの提供するクラウドサービスの利用者も信頼性とパフォーマンスの向上という恩恵に預かることができます。もしAWSやGCPからSendGrid APIをコールしている場合、そのおよそ半数は、ピアリングされたプライベートなネットワークを経由して送信されています。

2020年の振り返り

2020年、私たちの生活は大きく変わり、日々の生活のためにテクノロジーに頼る割合が大きく増加しました。デジタルコミュニケーションは、私たちのワークスタイル、人との繋がり、企業やプロダクトとの繋がりにこれまでにないほど影響を与えています。このような不確実性の高い状況であるからこそ、信頼性が高く安定したコミュニケーション手段を提供することには大きな価値があるのです。

ブラックフライデーとサイバーマンデーにそなえた準備を十分にすることで、お客様のメール配信に大きく貢献できたことを誇りに思っています。