BIGLOBEロサンゼルスDCのネットワーク設備を更新しました - BIGLOBE Style ｜ BIGLOBEの「はたらく人」と「トガッた技術」

地球を覆うインターネットの画像

ロサンゼルスのデータセンターについて
ロサンゼルスデータセンターの存在意義
どんなデータセンターなの？
日本のBIGLOBEバックボーンとロサンゼルスはどのように繋がっているのか？
今回はどのような作業をしたの？
おわりに

プロダクト技術本部ネットワーク技術部の山口です。
5月6日〜5月11日の間アメリカ合衆国ロサンゼルスに出張に行ってきました。
この出張でロサンゼルスのBIGLOBEのデータセンターのネットワーク設備をアップグレードしました。

今回はBIGLOBE社内でもあまり知られていない？ロサンゼルスデータセンターについて紹介したいと思います。

ロサンゼルスのデータセンターについて

BIGLOBEのネットワーク機器が動いているデータセンターが海外にあることをご存知でしたか？
BIGLOBEでは以下の図の通りバックボーンネットワークを様々な国（シンガポール、香港、オランダ、アメリカ）へ伸ばしています。
この内、アメリカのロサンゼルスにだけは物理的なデータセンターがあり、現地にBIGLOBEのネットワーク機器が存在しています。
他の地域（シンガポール、香港、オランダ）は他の組織とトラフィック交換のための接続（ピアリング）するために日本から現地のインターネットエクスチェンジまでの回線を直接接続している（これをリモートピアリングと呼びます）だけで、物理的なネットワーク機器やデータセンターは存在しません。

ロサンゼルスデータセンターの存在意義

ロサンゼルスのデータセンターには接続サービスなどのお客様は直接接続されていません。
現地のインターネットエクスチェンジを通じて他の組織とトラフィック交換のため（例えばAmazonなどと）の接続（ピアリング）のみを行なっています。
例にあげたAmazonなどとは日本でも直接接続（ピアリング）してトラフィックを交換することができます。
では、なぜロサンゼルスのデータセンターにBIGLOBEのネットワーク機器を置いているのでしょうか？

日本では直接交換できないトラフィックを交換する

日本で直接接続できない組織（例えば、アメリカだけに接続ポイントがある組織）との間のトラフィック交換は現地に接続ポイントを持っていなければ直接トラフィック交換（ピアリング）することはできず、トランジット（お金を払って他の組織にトラフィックを運んでもらう）ことになります。
トランジットを利用するとコストが掛るのは勿論ですが、通信先との間に他の組織が挟まるため、品質のコントロールが難しくなります。
（稀なことではあるが途中で通信が遠回りして遅延が増加したり、パケットロスが発生してしまうこともある）

直接接続することで品質のコントロールが容易になるほか、トランジットに支払うコストの削減にもつながります。

また、前述のAmazonなどは日本でも直接接続（ピアリング）できますが、すべてのトラフィックを日本で交換できるわけではありません。例えばアメリカ地域のトラフィックは日本では交換できず、現地に接続ポイントを持っていなければ、日本で接続していてもトランジットを経由してしまいます。

トランジット価格やピアリングの交渉力を維持する

日本にISPは数多くありますが、海外にデータセンターを構えることのできる通信事業者やISPは非常に限られています。公開されている情報でわかる範囲で調べてみたところ、海外のデータセンターにネットワーク機器を設置している通信事業者やISPは2桁あるかないかではないでしょうか。

日本国内のみならず、世界でネットワークを構築し運用することのできる、それなりの能力や規模があり、世界の事情を知っているISPと見られるでしょう。 ピアリングの交渉やトランジットの調達価格の交渉をする際に、これが有利に働くことがあるかもしれません。

インターネット運用における最新動向を知る

アメリカはIT企業の数が非常に多く、新サービスや新技術がいち早く提供され、多くの情報が集まります。
また、アメリカ西海岸は世界で一番トランジットの価格が安い地域と言われており、ここにデータセンターがあることでしか得られない情報があります。

今回は構築作業の後にロサンゼルス市内から30km程はなれた街にある現地のCDN企業のオフィスを訪問して先方のエンジニアとディスカッションを行ってきました。具体的な内容は機密情報も含まれるためこの場では差し控えますが、日本ではなかなか入手できない最新の情報を入手することができました。

現地にデータセンターがあることで情報収集や技術交流ができるというのも大切なポイントです。

どんなデータセンターなの？

ロサンゼルスの中心部のダウンタウンにあるOne Wilshireという名前のビルの中にデータセンターはあります。このビルの中でCoreSite社という会社がデータセンターサービスを提供しています。
One Wilshireはとても古いビルで1966年に建設され当時はオフィスビルとして使われていました。その後、1990年代に大手通信会社が入るようにより、データセンターへと変貌を遂げることになりました。

現在では300社以上のインターネット企業組織がこのデータセンターに接続をしています。
そのため、世界でも有数のインターネット企業の相互接続ポイントになっています。
このような接続ポイントは世界中にありますが、300社以上が集まる規模の場所は日本には無く、世界トップ10に入ります。データセンター内で撮影した写真は関係者以外に公開できないため、外観の写真をご覧いただければと思います。

日本のBIGLOBEバックボーンとロサンゼルスはどのように繋がっているのか？

日本との間は通信キャリアの接続する専用線サービスを契約しており、海底ケーブルを使って接続されています。実はこの海底ケーブル、切断され障害となることが高頻度で発生し、切断されると船が修理に行くため復旧までに結構な時間が掛かります。（切断される理由は様々ですが、底引網など漁業による切断、海底の地殻変動による切断などがあります）そのため、BIGLOBEでは複数の通信キャリア（複数の海底ケーブルシステム）を利用することで冗長性を確保しています。

今回はどのような作業をしたの？

今回の作業の主な目的は需要対応のための機器の交換と回線の増強と冗長性の強化です。お客様とトラフィックの増加に伴い各接続の帯域が不足しはじめており今後の需要に耐えられない状態となりつつありました。帯域が不足し回線の輻輳が発生すれば品質が大きく低下することになります。そのため、以下の通り回線の増強を行いました。

Equinix IX SanJose（インターネットエクスチェンジ）
20Gbps ⇒ 100Gbps
BBIX US West（インターネットエクスチェンジ）
10Gbps ⇒ 20Gbps

増強に伴い、利用しているネットワーク機器も老朽化が進んでいたため、最新モデルの機器に交換を行いました。

また日本との間は今まで東京のみと繋がっていましたが、東京と大阪に繋ぐ構成に変更しました。
これにより、仮に災害などで東京が全断するような問題が起きても大阪経由でロサンゼルスとの通信が維持できます。
また、僅かではありますが西日本のお客様から見ると、ロサンゼルスへの通信が東京を経由しなくなるため遅延を削減することができます。