
Cloudera、Microsoftと共に開発をリードするアプリケーションからの容易なSpark利用を可能にするオープンソースプロジェクトLivyを発表
オープンソースプロジェクトLivyが、シンプルなRESTベースのインタフェースを使用したきめ細かなジョブサブミットと実行結果の取得を可能にすることで、アプリケーション開発者やデータサイエンティストによるSparkの利用をより容易にし、新たなユースケースとアーキテクチャーの創出を促進
2016年6月6日 米国カリフォルニア州サンフランシスコ SPARK SUMMIT発 - Apache Hadoopと最新のオープンソーステクノロジーをベースに、最高速で最も使いやすくセキュアなデータ管理と分析のためのプラットフォームを提供するClouderaは、Microsoft社と共同で実施する、アプリケーション開発者のSpark活用における負担軽減に向けた取り組みについて発表を行いました。ClouderaとMicrosoftは、他のオープンソースコントリビューターと共に「Livy」(https://github.com/cloudera/livy)と呼ばれる新しいオープンソースApacheライセンスのRESTベースSparkサービスを開発しています。現在Livyは、初期のアルファ版開発段階にあります。
Livyによって、アプリケーションとSpark間のインタフェースを容易に実現できるようになり、ジョブをサブミットしてその実行結果をプログラムで受け取ることが可能となります。このコア機能では、LivyのクライアントAPIを使用することで、よりきめ細かな形でのSparkジョブサブミットが可能となり、また、その結果を同期または非同期で受けることができるようになります。クライアントは、Sparkをマルチテナントサービスのように利用することができ、導入や設定、監視などに労力を使う必要がなくなります。LivyはSparkに対してマルチテナントサービスとして、セッションの分離、セキュリティ、ユーザーのなりすまし防止といった機能を提供します。
Livyの主な特長 :
Spark利用のおける負荷の軽減 - クライアント側でSparkをインストールしたり、設定を行なったりする必要はありません。HTTPエンドポイントとやり取りを行なうための軽量なクライアントだけが必要となります。
サードパーティーアプリケーションからのSpark利用が可能に - アプリケーションは、Java、ScalaおよびPythonから、RESTベースのクライアントAPIを使って、きめ細かにSparkジョブをサブミットして結果を受け取ったり、SparkContextsを管理できるようになります(ScalaとPython用クライアントAPIは、現在開発中です)。Sparkは、PythonのDjango、ScalaまたはJavaのPlayなど、様々なフレームワークを使って作成されたアプリケーションから起動できるようになります。さらに、RESTベースであるため、jsやGoといった言語で記述されたアプリケーションからも、わずかな手間でLivyを使用できるようになります。
新しいアーキテクチャーの利用を可能に - Livyによって、基本的にREST経由でやり取りを行なうサービスオリエンテッドなアーキテクチャー、あるいはマイクロサービスベースのアーキテクチャーとも容易な連携が可能となります。
Microsoftのデータプラットフォーム担当シニアディレクターであるTiffany Wissner氏は、次のように述べています。
「Microsoftは、ビッグデータや高度な分析機能をシンプル化し、誰もがApache HadoopやSparkを活用できるようする取り組みに注力しています。Livyプロジェクトにおける協業により、開発者がREST WebサービスでSparkをより簡単に使えるようになり、また、エンタープライズ向けの堅牢なバックエンドとして、インタラクティブなノートブックを動かすことができるようになりしました」と述べています。
ClouderaのシニアプロダクトマネージャーであるAnand Iyerは、「汎用的で柔軟性の高いAPIを使用することで、Sparkは高速なビッグデータ処理を可能にします。Clouderaのお客様からも、Sparkと簡単にインタフェースを取り、Sparkの機能をクライアントアプリケーションからも利用できるようにしたいという要望が上がっていました。これを可能にするのがLivyです。LivyによってSparkの新しいユースケースが誕生し、Livyでアプリケーションを作成したいというコミュニティ開発者の意欲が高まるだけでなく、APIをより洗練させることで提供機能をさらに向上してくれることを期待しています。Livyはまだ初期段階のプロジェクトですが、それゆえに、皆様のコントリビューション(プロジェクトへの貢献)が大きな影響を与えることになります」と話します。
Clouderaについて
Clouderaは、Apache Hadoopや最新のオープンソーステクノロジーに基づく、今の時代に則したデータ管理や分析のためのプラットフォームを提供する企業です。世界の名だたる企業が、Clouderaの高速で容易に扱うことができる、優れたセキュリティ機能を持つデータプラットフォームであるCloudera Enterpriseを利用し、もっとも困難な業務課題の解決にあたっています。Clouderaのカスタマーは、膨大な量のデータを効果的に収集、ストア、処理、分析し、高度な分析機能に応用することで、以前では成し得ないほど迅速で柔軟な業務上の意思決定を、低コストで実現しています。またClouderaは、カスタマーの確実な成功を支援するため総合的なサポートやトレーニング、プロフェッショナルサービスを提供しています。
Cloudera の情報は下記よりご覧いただけます
・ウェブサイト : http://www.cloudera.co.jp/
・ブログ : http://www.cloudera.co.jp/blog
・正規販売代理店ご紹介ページ :http://www.cloudera.co.jp/company/partner.html
・Hadoop10周年記念ページ:http://www.cloudera.co.jp/promos/hadoop10.html
・Twitter : http://twitter.com/#!/clouderajp
・Facebook : http://www.facebook.com/Cloudera.Japan
Cloudera、Cloudera’s Platform for Big Data、Cloudera Enterprise Data Hub Edition、Cloudera Enterprise Flex Edition、Cloudera Enterprise Basic Edition、Cloudera Navigator OptimizerおよびCDHはCloudera Inc.の米国および他国の管轄権における商標または登録商標です。その他の社名および製品名は一般にその商標です。
【報道関係者の方からのお問い合わせ先】
Cloudera株式会社
マーケティング&PR:風間・木林
press-jp@cloudera.com
- アプリ
- アプリとは、アプリケーション・ソフトの略で、もとはパソコンの(エクセル・ワード等)作業に必要なソフトウェア全般を指す言葉でした。 スマートフォンの普及により、スマートフォン上に表示されているアイコン(メール・ゲーム・カレンダー等)のことをアプリと呼ぶことが主流になりました。
- データサイエンティスト
- データサイエンティストとは、ビジネスに役立つ情報を大量のデータの中から抽出し解析する職業です。
- フォーム
- フォームとは、もともと「形」「書式」「伝票」などの意味を持つ英単語です。インターネットの分野では、パソコンの操作画面におけるユーザーからの入力を受け付ける部分を指します。企業のホームページでは、入力フォームが設置されていることが多いようです。
- アプリ
- アプリとは、アプリケーション・ソフトの略で、もとはパソコンの(エクセル・ワード等)作業に必要なソフトウェア全般を指す言葉でした。 スマートフォンの普及により、スマートフォン上に表示されているアイコン(メール・ゲーム・カレンダー等)のことをアプリと呼ぶことが主流になりました。
- アプリ
- アプリとは、アプリケーション・ソフトの略で、もとはパソコンの(エクセル・ワード等)作業に必要なソフトウェア全般を指す言葉でした。 スマートフォンの普及により、スマートフォン上に表示されているアイコン(メール・ゲーム・カレンダー等)のことをアプリと呼ぶことが主流になりました。
- プログラム
- プログラムとは、ここではコンピューターが行うべき処理を順序立てて記述したものを指します。 すべてのコンピューターはプログラムに従って動作しており、データとして表現され、記憶装置に格納されます。広義では「ソフトウェア」の一部ですが、プログラムの一部でソフトウェアという語を用いる場合もあります。
- セッション
- Googleアナリティクスは、ホームページに適切に組み込めばアクセス状況を把握できる便利なサービスです。Googleが無料で提供しており、日本でも大手企業や金融機関、政府など、その利用のシェアを広げています。そこで、もっとも基本的な単位がセッションです。
- ユーザー
- ユーザーとは、コンピューターやシステムを利用する人のことを指します。 利用者、使用者、消費者などの意味を持つ英単語で、対義語は「メーカー」や「デベロッパー」などがあります。
- HTTP
- HTTPとは、HTMLで記述されたWebページなどの情報を、WebサーバーとPCなどのクライアント端末間でやり取りする方法を定めた通信手順のことです。Hyper Text Transfer Protocolの略です。
- アプリ
- アプリとは、アプリケーション・ソフトの略で、もとはパソコンの(エクセル・ワード等)作業に必要なソフトウェア全般を指す言葉でした。 スマートフォンの普及により、スマートフォン上に表示されているアイコン(メール・ゲーム・カレンダー等)のことをアプリと呼ぶことが主流になりました。
- フレームワーク
- フレームワークとは、アプリケーションソフトを開発する際によく必要をされる汎用的な機能をまとめて提供し、アプリケーションの土台として機能するソフトウェアのことです。 元々は枠組み、下部構想、構造、組織という意味の英単語です。アプリケーションのひな形であり、これを開発に利用することで、大幅な効率の向上が見込めます。
- フォーム
- フォームとは、もともと「形」「書式」「伝票」などの意味を持つ英単語です。インターネットの分野では、パソコンの操作画面におけるユーザーからの入力を受け付ける部分を指します。企業のホームページでは、入力フォームが設置されていることが多いようです。
- ビッグデータ
- ビッグデータとは、一般に、インターネットの普及とITの進化によって生まれた、事業に役立つ知見を導くためのデータのことを指します。「データの多量性」だけでなく、「多様性」があるデータを指します。
- ビッグデータ
- ビッグデータとは、一般に、インターネットの普及とITの進化によって生まれた、事業に役立つ知見を導くためのデータのことを指します。「データの多量性」だけでなく、「多様性」があるデータを指します。
- アプリ
- アプリとは、アプリケーション・ソフトの略で、もとはパソコンの(エクセル・ワード等)作業に必要なソフトウェア全般を指す言葉でした。 スマートフォンの普及により、スマートフォン上に表示されているアイコン(メール・ゲーム・カレンダー等)のことをアプリと呼ぶことが主流になりました。
- フォーム
- フォームとは、もともと「形」「書式」「伝票」などの意味を持つ英単語です。インターネットの分野では、パソコンの操作画面におけるユーザーからの入力を受け付ける部分を指します。企業のホームページでは、入力フォームが設置されていることが多いようです。
- ブログ
- ブログとは、ホームページの一種です。運営者はブログシステムに登録し、利用開始をすることで、ホームページ制作のプログラム技術を修得する必要なく、本文のみを投稿しつづければ、公開・表示はおろかページの整理や分類なども効率的に行えるシステムを言います。
- ページ
- 印刷物のカタログやパンフレットは、通常複数のページから成り立っています。インターネットのホームページもまったく同じで、テーマや内容ごとにそれぞれの画面が作られています。この画面のことを、インターネットでも「ページ」と呼んでいます。ホームページは、多くの場合、複数ページから成り立っています。
- ページ
- 印刷物のカタログやパンフレットは、通常複数のページから成り立っています。インターネットのホームページもまったく同じで、テーマや内容ごとにそれぞれの画面が作られています。この画面のことを、インターネットでも「ページ」と呼んでいます。ホームページは、多くの場合、複数ページから成り立っています。
- Twitterとは140文字以内の短文でコミュニケーションを取り合うコミュニティサービスです。そもそもTwitterとは、「小鳥のさえずり」を意味する単語ですが、同時に「ぺちゃくちゃと喋る」、「口数多く早口で話す」などの意味もあります。この意味のように、Twitterは利用者が思いついたことをたくさん話すことのできるサービスです。
- マーケティング
- マーケティングとは、ビジネスの仕組みや手法を駆使し商品展開や販売戦略などを展開することによって、売上が成立する市場を作ることです。駆使する媒体や技術、仕組みや規則性などと組み合わせて「XXマーケティング」などと使います。たとえば、電話を使った「テレマーケティング」やインターネットを使った「ネットマーケティング」などがあります。また、専門的でマニアックな市場でビジネス展開をしていくことを「ニッチマーケティング」と呼びます。
おすすめ記事
おすすめエントリー
カテゴリから記事をさがす
Web マーケティング
- SEO(検索エンジン最適化)
- SNSマーケティング
- アプリマーケティング
- Web広告
- グロースハック
- ABテスト・EFO・CRO
- LP制作・LPO
- CMS・Webサイト制作
- 記事制作・ライティング
- コンテンツマーケティング
- メール配信・メールマーケティング
- マーケティングオートメーション(MA)
- リードジェネレーション(見込み顧客獲得)
- カスタマーサポート・カスタマーサクセス
- アクセス解析・広告効果測定
- データ分析
- リサーチ・市場調査
- 口コミ分析・ソーシャルリスニング
- O2O(Online to Offline)
- EC・通販・ネットショップ
- 多言語・翻訳
- 動画・映像制作
- AR・VR制作
- 統計データ
- マーケティングお役立ちレポート
- 連載
- チャットボット
- Web会議
- 動画マーケティング