Databricks

Databricksとは

Databricksとは

Databricksは、あらゆるデータの収集・蓄積
から、
分析・可視化、AI活⽤、それらを
実現するために不可⽋な
データガバナンスやセキュリティまでを、
ひとつの
プラットフォーム上で展開できるデータ統合分析基盤です。
サイロ化したデータや分断されたBI/AIを統合することにより、
運⽤コストを抑えながらデータの⾶躍的な⾼速処理を実現します。
リアルタイムなデータ収集とデータ共有も⼤きな特⻑で、
取引先や外部のシステム/サービスとの
よりスムーズなコラボレーションを可能にしています。

Delta Lake 圧倒的なパフォーマンスのデータエンジン

構造化データを効率的に処理できる⼀⽅で⾮構造データや機械学習への対応が困難なデータウェアハウス、半構造化/⾮構造化データを扱えるため機械学習との親和性が⾼いもののガバナンスとパフォーマンスが弱いデータレイク。それぞれの短所を補完し合い、⻑所を活かしたデータエンジンが「データレイクハウス」です。
Databricksのデータレイクハウス「Delta Lake」は、あらゆるフォーマットのデータを収集・加⼯・蓄積でき、既存のさまざまなBIツールやAIツールでスムーズに活⽤することが可能です。他のデータエンジンと⽐較して、データロードとクエリの処理を最⼤1.7倍⾼速化することができ、⼤規模データも余裕で処理できるキャパシティを兼ね備えています。

データウェアハウス

データウェアハウス

データレイク

データレイク

レイクハウス

レイクハウス

Unity Catalog 強⼒なデータガバナンス

Unity Catalog は、Databricks のデータプラットフォームにおいて、統合されたデータカタログと統合されたガバナンスを提供します。あらゆる形式の構造化/半構造化/⾮構造化データ、機械学習モデル、ノートブック、ダッシュボード、ファイルなどにメタデータを付与してカタログ化することにより、ユーザーが必要なデータを容易に検索・活⽤できるようにします。メタデータにはデータ、テーブル、ディレクトリの権限情報が含まれているため、シンプルなアクセスコントロールでデータの機密性やプライバシーを守り、データのガバナンスとセキュリティを強化することができます。また、メタデータ中のデータリネージを参照することで、データの正確性や信頼性を確認することも可能です。

Unity Catalog

Lakehouse Federation / Delta shaing データ相互活⽤の促進

Lakehouse Federationは、歴史的、組織的、技術的な理由から分散したままになっているデータソースを、Unity Catalog上で仮想的に⼀元管理し、⼀貫したガバナンスのもとで容易に公開、参照、管理できるようにします。これにより、企業内のデータを余すところなく統合し、効率的に活⽤できるようになります。
Delta Sharingは、異なるプラットフォーム間、クラウドサービス間、地域間でデータをコピーすることなく共有し、共有データのガバナンス、監査、使⽤状況をDatabricksで⼀元管理できるようにします。オープンプロトコルを実装している外部システムと直接データ共有できるため、データ提供にかかる時間と労⼒を⼤幅に削減することが可能です。

Lakehouse Federation / Delta shaing

AI/BI Genie ⼈間の⾔葉を理解するUI

AI/BI Genieは、ビジネスチームが⾃然⾔語でデータと対話するための会話型エクスペリエンスです。組織特有のビジネス⽤語やデータを、⽣成AI がユーザーから継続的に学習するため、経験豊富な同僚とチャットする感覚で質問し、企業のデータから直接的で関連性のある正確な回答を取得することができます。ユーザーが複雑なツールを学んだり、専⾨家に頼ったりする必要はありません。Databricks SQL の⾼速性能とスケーラビリティにによって、ダッシュボードに記載されていない質問への回答をセルフサービスで即座に得ることができます。AI/BI Genieは、
Unity Catalog で確⽴されたガバナンスとアクセスコントロールを維持しているため、セキュアな運⽤が可能です。

AI/BI Genie

データ統合活⽤プラットフォームの
構築・移⾏はMKIにおまかせください