這篇文章將為大家詳細講解有關 大數據安全規(guī)范的示例分析，文章內容質量較高，因此小編分享給大家做個參考，希望大家閱讀完這篇文章后對相關知識有一定的了解。

創(chuàng)新互聯(lián)專注于企業(yè)成都全網營銷推廣、網站重做改版、武強網站定制設計、自適應品牌網站建設、H5開發(fā)、成都商城網站開發(fā)、集團公司官網建設、外貿營銷網站建設、高端網站制作、響應式網頁設計等建站業(yè)務，價格優(yōu)惠性價比高，為武強等各大城市提供網站開發(fā)制作服務。

大數據安全規(guī)范

一、概述

大數據的安全體系分為五個層次：周邊安全、數據安全、訪問安全(認證 - authentication和授權 - authorization)、訪問行為可見、錯誤處理和異常管理。下面依次說明：

1.周邊安全技術即傳統(tǒng)意義上提到的網絡安全技術，如防火墻等;

2.數據安全包括對數據的加解密,又可細分為存儲加密和傳輸加密;還包括對數據的脫敏;

3.訪問安全主要是對用戶的認證和授權兩個方面：

用戶認證(Authentication)
即是對用戶身份進行核對， 確認用戶即是其聲明的身份， 這里包括用戶和服務的認證

用戶授權(Authorization)

即是權限控制，對特定資源， 特定訪問用戶進行授權或拒絕訪問。用戶授權是建立再用戶認證的基礎上，沒有可靠的用戶認證談不上用戶授權。

訪問安全還包括數據驗證(data validation)

1> type.   int string等
2> format. phone email等
3> length.
4> range.
5> precense or absence.
6> match in lookup tables.
7> other bussiness rules 

4.訪問行為可見多指記錄用戶對系統(tǒng)的訪問行為(審計和日志)：如查看哪個文件;運行了哪些查詢;訪問行為監(jiān)控一方面為了進行實時報警,迅速處置危險的訪問行為;另一方面為了事后調查取證，從長期的數據訪問行為中分析定位特定的目的。

 5.錯誤處理和異常管理

這個主要是針對錯誤發(fā)現，一般做法是建立并逐步完善的監(jiān)控系統(tǒng)，對可能發(fā)生或已發(fā)生的情況進行預警或者告警。還包括異常攻擊事件監(jiān)測，目前發(fā)現的針對攻擊的辦法有:

1>攻擊鏈分析，按照威脅檢測的時間進行分析，描述攻擊鏈條

2>相同類型的攻擊事件進行合并統(tǒng)計

3>異常流量學習正常訪問流量，流量異常時進行告警

在這五個層次中，第三層(訪問安全)同業(yè)務的關系最為直接：應用程序的多租戶,分權限訪問控制都直接依賴這一層的技術實現,那么我們的重點也將放在這一層上。眾所周知的是, hadoop本身提供的認證(主要是kerberos)不易維護，授權(主要是ACL)又很粗粒度，為此我們通過對兩個重量級公司(Cloudera和Hortonworks)開源的關于安全的服務進行對比(參見博文)后決定使用Hortonworks開源的Ranger。 Ranger為企業(yè)級hadoop生態(tài)服務提供了許多安全套件，通過集中化權限管理為用戶/組提供文件、文件夾、數據庫、表及列的認證、授權控制，還可以提供審計(通過solr進行查詢)，新推出的RangerKMS還支持對hdfs數據加密等

二、大數據平臺安全規(guī)范之訪問安全

2.1用戶身份認證

通過Ranger提供的用戶/組同步功能實現認證，Ranger可以整合Unix或者LDAP進行用戶認證管理

2.2 用戶權限管理

2.2.1 賬號管理

帳號分為運維帳號和開發(fā)用戶帳號。

運維帳號按服務拆為多個賬號，不同的賬號操作不同的服務,具體如下：

服務	用戶
Flume	flume
HDFS	hdfs
MapReduce	mapred
HBase	hbase
Hive	hive
Kafka	kafka
Oozie	oozie
Ranger	ranger
Spark	spark
Sqoop	sqoop
Storm	storm
YARN	yarn
ZooKeeper	zookeeper
Ambari Metrics	ams

開發(fā)用戶賬號，每個用戶一個帳號，按團隊分組，不同的賬號或組操作不同的文件或表，如果需要操作別人的數據，需要運維進行授權

2.2.2 目錄和文件規(guī)范

目錄	規(guī)則
/source	主要存儲原始采集的日志，存儲規(guī)則如下: /source/{業(yè)務名稱}/{日期},其中：     業(yè)務名稱: 比如發(fā)送記錄等     日期：    格式統(tǒng)一為yyyyMMdd
/data	存儲的規(guī)范和source一樣， 數據倉庫之前的文件臨時目錄 清理時間待定
/workspace	工作空間，存儲規(guī)則如下:/workspace/{團隊名稱}/{業(yè)務名稱|產品名稱}  對方
/user	用戶空間，存儲用戶私有數據，僅用戶自己可以訪問。按照開發(fā)人員 自己的習慣組織存儲文件,用于存儲用戶的測試數據, 清理時間待定 當員工離職賬戶注銷，空間存儲回收。
/user/hive/warehouse	存儲hive倉庫，按照團隊創(chuàng)建庫；公共日志按照業(yè)務名進行創(chuàng)建， 每個團隊可以創(chuàng)建一個屬于團隊的hive庫
/temp	用來存儲一些臨時文件   每月清理一次

2.2.3 用戶權限管理

權限管理有2種方案，ACL方案（粗粒度）和 ranger方案（細粒度），基于我們的數據需求，先考慮使用ranger提供的細粒度權限控制

使用Ranger UI界面進行權限的管理，目前各個服務提供的權限如下：

服務	服務詳情	權限
HDFS	hdfs path	Read、Write、Execute
HBase	table、column family、column	Read、Write、Create、Admin
Hive	database、table|function、column	Select、Update、Create、Drop、Alter、Index、Lock、All
YARN	queue	Submit-job、Admin-queue
Kafka	topic	Publish、Consume、Configure、Describe、Kafka Admin

團隊權限分配

 

團隊	團隊成員組	服務	權限
dp(數據平臺)	dp	HDFS	Read、Write、Execute
HBase	Read、Write
Hive	Select
YARN	Submit-job
Kafka	Publish、Consume、Configure、Describe
dm(數據挖掘)	dm	HDFS	Read、Write、Execute
HBase	Read、Write
Hive	Select
YARN	Submit-job
da(數據應用)	da	HDFS	Read、Write、Execute
HBase	Read、Write
Hive	Select
YARN	Submit-job
op(運維)	hadoop管理員	HDFS、HBase、Hive、YARN、Kafka	All

個人帳號：在線上操作要精確到個人

申請權限流程：

 每個團隊的leader向管理員提出申請，經過評審通過后方可授予相應的權限

關于 大數據安全規(guī)范的示例分析就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。

本文題目：大數據安全規(guī)范的示例分析
網頁路徑：http://www.chinadenli.net/article48/pgeehp.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供虛擬主機、云服務器、網站內鏈、域名注冊、網站設計公司、面包屑導航

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)