Cloudera、Microsoftと共に開発をリードするアプリケーションからの容易なSpark利用を可能にするオープンソースプロジェクトLivyを発表

2016年06月13日

データ分析

オープンソースプロジェクトLivyが、シンプルなRESTベースのインタフェースを使用したきめ細かなジョブサブミットと実行結果の取得を可能にすることで、アプリケーション開発者やデータサイエンティストによるSparkの利用をより容易にし、新たなユースケースとアーキテクチャーの創出を促進

2016年6月6日米国カリフォルニア州サンフランシスコ SPARK SUMMIT発 - Apache Hadoopと最新のオープンソーステクノロジーをベースに、最高速で最も使いやすくセキュアなデータ管理と分析のためのプラットフォームを提供するClouderaは、Microsoft社と共同で実施する、アプリケーション開発者のSpark活用における負担軽減に向けた取り組みについて発表を行いました。ClouderaとMicrosoftは、他のオープンソースコントリビューターと共に「Livy」（https://github.com/cloudera/livy）と呼ばれる新しいオープンソースApacheライセンスのRESTベースSparkサービスを開発しています。現在Livyは、初期のアルファ版開発段階にあります。

Livyによって、アプリケーションとSpark間のインタフェースを容易に実現できるようになり、ジョブをサブミットしてその実行結果をプログラムで受け取ることが可能となります。このコア機能では、LivyのクライアントAPIを使用することで、よりきめ細かな形でのSparkジョブサブミットが可能となり、また、その結果を同期または非同期で受けることができるようになります。クライアントは、Sparkをマルチテナントサービスのように利用することができ、導入や設定、監視などに労力を使う必要がなくなります。LivyはSparkに対してマルチテナントサービスとして、セッションの分離、セキュリティ、ユーザーのなりすまし防止といった機能を提供します。

Livyの主な特長 :
Spark利用のおける負荷の軽減 - クライアント側でSparkをインストールしたり、設定を行なったりする必要はありません。HTTPエンドポイントとやり取りを行なうための軽量なクライアントだけが必要となります。

サードパーティーアプリケーションからのSpark利用が可能に - アプリケーションは、Java、ScalaおよびPythonから、RESTベースのクライアントAPIを使って、きめ細かにSparkジョブをサブミットして結果を受け取ったり、SparkContextsを管理できるようになります（ScalaとPython用クライアントAPIは、現在開発中です）。Sparkは、PythonのDjango、ScalaまたはJavaのPlayなど、様々なフレームワークを使って作成されたアプリケーションから起動できるようになります。さらに、RESTベースであるため、jsやGoといった言語で記述されたアプリケーションからも、わずかな手間でLivyを使用できるようになります。

新しいアーキテクチャーの利用を可能に - Livyによって、基本的にREST経由でやり取りを行なうサービスオリエンテッドなアーキテクチャー、あるいはマイクロサービスベースのアーキテクチャーとも容易な連携が可能となります。

Microsoftのデータプラットフォーム担当シニアディレクターであるTiffany Wissner氏は、次のように述べています。

「Microsoftは、ビッグデータや高度な分析機能をシンプル化し、誰もがApache HadoopやSparkを活用できるようする取り組みに注力しています。Livyプロジェクトにおける協業により、開発者がREST WebサービスでSparkをより簡単に使えるようになり、また、エンタープライズ向けの堅牢なバックエンドとして、インタラクティブなノートブックを動かすことができるようになりしました」と述べています。

ClouderaのシニアプロダクトマネージャーであるAnand Iyerは、「汎用的で柔軟性の高いAPIを使用することで、Sparkは高速なビッグデータ処理を可能にします。Clouderaのお客様からも、Sparkと簡単にインタフェースを取り、Sparkの機能をクライアントアプリケーションからも利用できるようにしたいという要望が上がっていました。これを可能にするのがLivyです。LivyによってSparkの新しいユースケースが誕生し、Livyでアプリケーションを作成したいというコミュニティ開発者の意欲が高まるだけでなく、APIをより洗練させることで提供機能をさらに向上してくれることを期待しています。Livyはまだ初期段階のプロジェクトですが、それゆえに、皆様のコントリビューション（プロジェクトへの貢献）が大きな影響を与えることになります」と話します。

Clouderaについて

Clouderaは、Apache Hadoopや最新のオープンソーステクノロジーに基づく、今の時代に則したデータ管理や分析のためのプラットフォームを提供する企業です。世界の名だたる企業が、Clouderaの高速で容易に扱うことができる、優れたセキュリティ機能を持つデータプラットフォームであるCloudera Enterpriseを利用し、もっとも困難な業務課題の解決にあたっています。Clouderaのカスタマーは、膨大な量のデータを効果的に収集、ストア、処理、分析し、高度な分析機能に応用することで、以前では成し得ないほど迅速で柔軟な業務上の意思決定を、低コストで実現しています。またClouderaは、カスタマーの確実な成功を支援するため総合的なサポートやトレーニング、プロフェッショナルサービスを提供しています。

Cloudera の情報は下記よりご覧いただけます

・ウェブサイト : http://www.cloudera.co.jp/
・ブログ： http://www.cloudera.co.jp/blog
・正規販売代理店ご紹介ページ：http://www.cloudera.co.jp/company/partner.html
・Hadoop10周年記念ページ：http://www.cloudera.co.jp/promos/hadoop10.html
・Twitter : http://twitter.com/#!/clouderajp
・Facebook : http://www.facebook.com/Cloudera.Japan
Cloudera、Cloudera’s Platform for Big Data、Cloudera Enterprise Data Hub Edition、Cloudera Enterprise Flex Edition、Cloudera Enterprise Basic Edition、Cloudera Navigator OptimizerおよびCDHはCloudera Inc.の米国および他国の管轄権における商標または登録商標です。その他の社名および製品名は一般にその商標です。