iT邦幫忙

1

【速藏!】這大概是史上最最全的大數據學習資源了!


(想要全部鏈接 點擊閱讀原文:【速藏!】這大概是史上最最全的大數據學習資源了!)
內容目錄>>

關聯式資料庫管理系統(RDBMS)
框架
分散式程式設計
分散式檔案系統
檔資料模型
Key -Map 資料模型
鍵-值資料模型
圖形資料模型
NewSQL資料庫
列式資料庫
時間序列資料庫
類SQL處理
數據攝取
服務程式設計
調度
機器學習
基準測試
安全性
系統部署
應用程式
搜尋引擎與框架
MySQL的分支和演化
PostgreSQL的分支和演化
Memcached的分支和演化
内建式資料庫
BI商業智慧
資料視覺化
loT物聯網和感測器
文章
論文
視頻
(想要全部鏈接 點擊閱讀原文:【速藏!】這大概是史上最最全的大數據學習資源了!)

關聯式資料庫管理系統(RDBMS)

* MySQL:世界最流行的開來源資料庫;

  • PostgreSQL:世界最先進的開來源資料庫;
  • Oracle 資料庫:物件-關係型數據庫管理系統。

框架

  • Apache Hadoop:分散式處理架構,結合了 MapReduce(並行處理)、YARN(作業調度)和HDFS(分散式檔案系統);
  • Tigon:高輸送量即時流處理框架。

分散式程式設計

  • AddThis Hydra :最初在AddThis上開發的分散式資料處理和存儲系統;
  • AMPLab SIMR:用在Hadoop MapReduce v1上運行Spark;
  • Apache Beam:為統一的模型以及一套用於定義和執行資料處理工作流的特定SDK語言;
  • Apache Crunch:一個簡單的Java API,用於執行在普通的MapReduce實現時比較單調的連結、資料聚合等任務;
  • Apache DataFu:由LinkedIn開發的針對Hadoop and 和Pig的使用者定義的函數集合;
  • Apache Flink:具有高性能的執行時間和自動程式優化;
  • Apache Gora:記憶體中的資料模型和持久性框架;
  • Apache Hama:BSP(整體同步並行)計算框架;
  • Apache MapReduce :在叢集上使用並行、分散式演算法處理大數據集的程式設計模型;
  • Apache Pig :Hadoop中,用於處理資料分析程式的高級查詢語言;
  • Apache REEF :用來簡化和統一低層大數據系統的保留性評估執行框架;
  • Apache S4 :S4中流處理與實現的框架;
  • Apache Spark :記憶體叢集計算框架;
  • Apache Spark Streaming :流處理框架,同時是Spark的一部分;
  • Apache Storm :Twitter流處理框架,也可用於YARN;
  • Apache Samza :基於Kafka和YARN的流處理框架;
  • Apache Tez :基於YARN,用於執行任務中的複雜DAG(有向無環圖);
  • Apache Twill :基於YARN的抽象概念,用於減少開發分散式應用程式的複雜度;
  • Cascalog:資料處理和查詢庫;
  • Cheetah :在MapReduce之上的高性能、自訂資料倉庫;
  • Concurrent Cascading :在Hadoop上的資料管理/分析框架;
  • Damballa Parkour :用於Clojure的MapReduce庫;
  • Datasalt Pangool :可選擇的MapReduce範例;
  • DataTorrent StrAM :為即時引擎,用於以盡可能暢通的方式、最小的開支和對性能最小的影響,實現分散式、非同步、即時的記憶體大數據計算;
  • Facebook Corona :為Hadoop做優化處理,從而消除單點故障;
  • Facebook Peregrine :MapReduce框架;
  • Facebook Scuba :分散式記憶體資料存儲;
  • Google Dataflow :創建資料管道,以説明其分析框架;
  • Netflix PigPen :為MapReduce,用於編譯成Apache Pig;
  • Nokia Disco :由Nokia開發的MapReduc獲取、轉換和分析資料;
  • Google MapReduce :MapReduce框架;
  • Google MillWheel :容錯流處理框架;
  • JAQL :用於處理結構化、半結構化和非結構化資料工作的宣告式程式設計語言;
  • Kite :為一組庫、工具、實例和檔案集,用於使在Hadoop的生態系統上建立系統更加容易;
  • Metamarkets Druid :用於大數據集的即時e框架;
  • Onyx :分散式雲計算;
  • Pinterest Pinlater :非同步任務執行系統;
  • Pydoop :用於Hadoop的Python MapReduce和HDFS API;
  • Rackerlabs Blueflood :多租戶分散式測度處理系統;
  • Stratosphere :通用叢集計算框架;
  • Streamdrill :用於計算基於不同時間視窗的事件流的活動,並找到最活躍的一個;
  • Tuktu :易於使用的用於分批次處理和流計算的平臺,通過Scala、 Akka和Play所建;
  • Twitter Scalding:基於Cascading,用於Map Reduce工作的Scala庫;
  • Twitter Summingbird :在Twitter上使用Scalding和Storm串流MapReduce;
  • Twitter TSAR :Twitter上的時間序列聚合器。

分散式檔案系統

  • Apache HDFS:在多台機器上存儲大型檔的方式;
  • BeeGFS:以前是FhGFS,並行分散式檔案系統;
  • Ceph Filesystem:設計的軟體存儲平臺;
  • Disco DDFS:分散式檔案系統;
  • Facebook Haystack:物件存儲系統;
  • Google Colossus:分散式檔案系統(GFS2);
  • Google GFS:分散式檔案系統;
  • Google Megastore:可擴展的、高度可用的存儲;
  • GridGain:相容GGFS、Hadoop記憶體的檔案系統;
  • Lustre file system:高性能分散式檔案系統;
  • Quantcast File System QFS:開源分散式檔案系統;
  • Red Hat GlusterFS:向外擴展的附網存儲(Network-attached Storage)檔案系統;
  • Seaweed-FS:簡單的、高度可擴展的分散式檔案系統;
  • Alluxio:以可靠的存儲速率在跨叢集框架上檔共用;
  • Tahoe-LAFS:分散式雲存儲系統;

檔資料模型

  • Actian Versant:商用的物件導向資料庫管理系統;
  • Crate Data:是一個開源的大規模可擴展的資料存儲,需要零管理模式;
  • Facebook Apollo:Facebook的Paxos演算法,類似於NoSQL資料庫;
  • jumboDB:基於Hadoop的面向叢集的資料存儲;
  • LinkedIn Espresso:可橫向擴展的面向叢集的NoSQL資料存儲;
  • MarkLogic:模式不可知的企業版NoSQL資料庫技術;
  • MongoDB:面向檔案的資料庫系統;
  • RavenDB:一個事務性的,開來源文件資料庫;
  • RethinkDB:支援連結查詢和群組依據等查詢的檔案型資料庫。
  • Key Map 資料模型
    注意:業記憶體在一些術語混亂,有兩個不同的東西都叫做“列式資料庫”。這裡列出的有一些是圍繞“key-map”資料模型而建的分散式、持續型資料庫,其中所有的資料都有(可能綜合了)鍵,並與映射中的鍵-值對相關聯。在一些系統中,多個這樣的值映射可以與鍵相關聯,並且這些映射被稱為“列族”(具有映射值的鍵被稱為【欄】)。

另一組也可稱為【列式資料庫】的技術因其存儲資料的方式而有別於前一組,它在磁片上或在記憶體中 — — 而不是以傳統方式,即所有既定鍵的鍵值都相鄰著、逐行存儲。這些系統也彼此相鄰來存儲所有列值,但是要得到給定列的所有值卻不需要以前那麼繁複的工作。

  • 前一組在這裡被稱為【key map資料模型】,這兩者和Key-value 資料模型之間的界限是相當模糊的。後者對資料模型有更多的存儲格式,可在列式資料庫中列出。若想瞭解更多關於這兩種模型的區分,可閱讀Daniel Abadi的博客:Distinguishing two major types of Column Stores。
  • Apache Accumulo:內置在Hadoop上的分散式鍵/值存儲;
  • Apache Cassandra:由BigTable授權,面向列的分散式資料存儲;
  • Apache HBase:由BigTable授權,面向列的分散式資料存儲;
  • Facebook HydraBase:Facebook所開發的HBase的衍化品;
  • Google BigTable:面向列的分散式資料存儲;
  • Google Cloud Datastore:為完全管理型的無模式資料庫,用於存儲在BigTable上非關聯式資料;
  • Hypertable:由BigTable授權,面向列的分散式資料存儲;
  • InfiniDB:通過MySQL的介面訪問,並使用大規模並行處理進行並行查詢;
  • Tephra:用於HBase處理;
  • Twitter Manhattan:Twitter的即時、多租戶分散式資料庫。

鍵-值資料模型

  • Aerospike:支援NoSQL的快閃記憶體優化,資料存儲在記憶體。開源,“’C’(不是Java或Erlang)中的伺服器代碼可精確地調整從而避免上下文切換和記憶體拷貝”。
  • Amazon DynamoDB:分散式鍵/值存儲,Dynamo論文的實現;
  • Edis:為替代Redis的協定相容的伺服器;
  • ElephantDB:專門研究Hadoop中資料匯出的分散式資料庫;
  • EventStore:分散式時間序列資料庫;
  • GridDB:適用於存儲在時間序列中的感測器資料;
  • LinkedIn Krati:簡單的持久性資料存儲,擁有低延遲和高輸送量;
  • Linkedin Voldemort:分散式鍵/值存儲系統;
  • Oracle NoSQL Database:Oracle公司開發的分散式鍵值資料庫;
  • Redis:記憶體中的鍵值資料存儲;
  • Riak:分散式資料存儲;
  • Storehaus:Twitter開發的非同步鍵值存儲的庫;
  • Tarantool:一個高效的NoSQL資料庫和Lua應用伺服器;
  • TiKV:由Google Spanner和HBase授權,Rust提供技術支援的分散式鍵值資料庫;
  • TreodeDB:可複製、共用的鍵-值存儲,能提供多行原子寫入。

圖形資料模型

  • Apache Giraph:基於Hadoop的Pregel實現;
  • Apache Spark Bagel:可實現Pregel,為Spark的一部分;
  • ArangoDB:多層模型分散式資料庫;
  • DGraph:一個可擴展的、分散式、低時延、高輸送量的圖形資料庫,旨在為Google生產水準規模和輸送量提供足夠的低延遲,用於TB級的結構化資料的即時使用者查詢;
  • Facebook TAO:TAO是facebook廣泛用來存儲和服務於社交圖形的分散式資料存儲;
  • GCHQ Gaffer:GCHQ中的Gaffer是一個易於存儲大規模圖形的框架,其中節點和邊緣都有統計資料;
  • Google Cayley:開源圖形資料庫;
  • Google Pregel :圖形處理框架;
  • GraphLab PowerGraph:核心C ++ GraphLab API和建立在GraphLab API之上的高性能機器學習和資料採擷工具包的集合;
  • GraphX:Spark中的彈性分散式圖形系統;
  • Gremlin:圖形追蹤語言;
  • Infovore:以RDF為中心的Map / Reduce框架;
  • Intel GraphBuilder:在Hadoop上構建大規模圖形的工具;
  • MapGraph:用於在GPU上大規模並行圖形處理;
  • Neo4j:完全用Java寫入的圖形資料庫;
  • OrientDB:檔案和圖形資料庫;
  • Phoebus:大型圖形處理框架;
  • Titan:建於Cassandra的分散式圖形資料庫;
  • Twitter FlockDB:分散式圖形資料庫。

NewSQL資料庫

  • Actian Ingres:由商業支援,開源的SQL關聯式資料庫管理系統;
  • Amazon RedShift:基於PostgreSQL的資料倉庫服務;
  • BayesDB:面向統計數值的SQL資料庫;
  • CitusDB:通過分區和複製橫向擴展PostgreSQL;
  • Cockroach:可擴展、位址可複製、交易型的資料庫;
  • Datomic:旨在產生可擴展、靈活的智慧應用的分散式資料庫;
  • FoundationDB:由F1授意的分散式資料庫;
  • Google F1:建立在Spanner上的分散式SQL資料庫;
  • Google Spanner:全球性的分散式半關係型數據庫;
  • H-Store:是一個實驗性主存並行資料庫管理系統,用於連線交易處理(OLTP)應用的優化;
  • Haeinsa:基於Percolator,HBase的線性可擴展多行多表交易庫;
  • HandlerSocket:MySQL/MariaDB的NoSQL外掛程式;
  • InfiniSQL:無限可擴展的RDBMS;
  • MemSQL:記憶體中的SQL資料庫,其中有優化的快閃記憶體列存儲;
  • NuoDB:SQL / ACID相容的分散式資料庫;
  • Oracle TimesTen in-Memory Database:記憶體中具有持久性和可恢復性的關係型數據庫管理系統;
  • Pivotal GemFire XD:記憶體中低延時的分散式SQL資料存儲,可為記憶體清單資料提供SQL介面,在HDFS中較持久化;
  • SAP HANA:是在記憶體中面向列的關係型數據庫管理系統;
  • SenseiDB:分散式即時半結構化的資料庫;
  • Sky:用於行為資料的靈活、高性能分析的資料庫;
  • SymmetricDS:用於檔和資料庫同步的開源軟體;
  • Map-D:為GPU記憶體中資料庫,也為大資料分析和視覺化平臺;
  • TiDB:TiDB是分散式SQL資料庫,基於穀歌F1的設計靈感;
  • VoltDB:自稱為最快的記憶體中資料庫。

列式資料庫

注意:請在鍵-值資料模型 閱讀相關注釋。

  • Columnar Storage:解釋什麼是列存儲以及何時會需要用到它;
  • Actian Vector:面向列的分析型資料庫;
  • C-Store:面向列的DBMS;
  • MonetDB:列存儲資料庫;
  • Parquet:Hadoop的列存儲格式;
  • Pivotal Greenplum:專門設計的、專用的分析資料倉庫,類似于傳統的基於行的工具,提供了一個列式工具;
  • Vertica:用來管理大規模、快速增長的大量資料,當用於資料倉庫時,能夠提供非常快的查詢性能;
  • Google BigQuery :google的雲產品,由其在Dremel的創始工作提供支援;
  • Amazon Redshift :亞馬遜的雲產品,它也是基於柱狀資料存儲後端。

時間序列資料庫

  • Cube:使用MongoDB來存儲時間序列資料;
  • Axibase Time Series Database:在HBase之上的分散式時間序列資料庫,它包括內置的Rule Engine、資料預測和視覺化;
  • Heroic:基於Cassandra和Elasticsearch的可擴展的時間序列資料庫;
  • InfluxDB:分散式時間序列資料庫;
  • Kairosdb:類似於OpenTSDB但會考慮到Cassandra;
  • OpenTSDB:在HBase上的分散式時間序列資料庫;
  • Prometheus:一種時間序列資料庫和服務監測系統;
  • Newts:一種基於Apache Cassandra的時間序列資料庫。

類SQL處理

  • Actian SQL for Hadoop:高性能互動式的SQL,可訪問所有的Hadoop資料;
  • Apache Drill:由Dremel授意的互動式分析框架;
  • Apache HCatalog:Hadoop的表格和存儲管理層;
  • Apache Hive:Hadoop的類SQL數倉系統;
  • Apache Optiq:一種框架,可允許高效的查詢翻譯,其中包括異構性及聯合性資料的查詢;
  • Apache Phoenix:Apache Phoenix 是 HBase 的 SQL 驅動;
  • Cloudera Impala:由Dremel授意的互動式分析框架;
  • Concurrent Lingual:Cascading中的類SQL查詢語言;
  • Datasalt Splout SQL:用於大數據集的完整的SQL查詢工具;
  • Facebook PrestoDB:分散式SQL查詢工具;
  • Google BigQuery:互動式分析框架,Dremel的實現;
  • Pivotal HAWQ:Hadoop的類SQL的資料倉庫系統;
  • RainstorDB:用於存儲大規模PB級結構化和半結構化資料的資料庫;
  • Spark Catalyst:用於Spark和Shark的查詢優化框架;
  • SparkSQL:使用Spark操作結構化資料;
  • Splice Machine:一個全功能的Hadoop上的SQL RDBMS,並帶有ACID事務;
  • Stinger:用於Hive的互動式查詢;
  • Tajo:Hadoop的分散式數倉系統;
  • Trafodion:為企業級的SQL-on-HBase針對大數據的事務或業務工作負載的解決方案。

數據攝取

  • Amazon Kinesis:大規模資料流程的即時處理;
  • Apache Chukwa:資料獲取系統;
  • Apache Flume:管理大量日誌資料的服務;
  • Apache Kafka:分散式發佈-訂閱消息系統;
  • Apache Sqoop:在Hadoop和結構化的資料存儲區之間傳送資料的工具;
  • Cloudera Morphlines:幫助 Solr、HBase和HDFS完成ETL的框架;
  • Facebook Scribe:流日誌資料聚合器;
  • Fluentd:採集事件和日誌的工具;
  • Google Photon:即時連接多個資料流程的分散式運算機系統,具有高可擴展性和低延遲性;
  • Heka:開源流處理軟體系統;
  • HIHO:用Hadoop連接不同資料來源的框架;
  • Kestrel:分散式訊息佇列系統;
  • LinkedIn Databus:對資料庫更改捕獲的事件流;
  • LinkedIn Kamikaze:壓縮已分類整型陣列的套裝程式;
  • LinkedIn White Elephant:日誌聚合器和儀錶板;
  • Logstash:用於管理事件和日誌的工具;
  • Netflix Suro:像基於Chukwa 的Storm和Samza一樣的日誌聚合器;
  • Pinterest Secor:是實現Kafka日誌持久性的服務;
  • Linkedin Gobblin:LinkedIn的通用資料攝取框架;
  • Skizze:是一種資料存儲略圖,使用概率性資料結構來處理計數、略圖等相關的問題;
  • StreamSets Data Collector:連續大數據獲取的基礎設施,可簡單地使用IDE。

服務程式設計

  • Akka Toolkit:JVM中分佈性、容錯事件驅動應用程式的執行時間;
  • Apache Avro:資料序列化系統;
  • Apache Curator:Apache ZooKeeper的Java庫;
  • Apache Karaf:在任何OSGi框架之上運行的OSGi執行時間;
  • Apache Thrift:構建二進位協定的框架;
  • Apache Zookeeper:流程管理集中式服務;
  • Google Chubby:一種松耦合分散式系統鎖服務;
  • Linkedin Norbert:叢集管理器;
  • OpenMPI:消息傳遞框架;
  • Serf:服務發現和協調的分散化解決方案;
  • Spotify Luigi:一種構建批次處理作業的複雜管道的Python包,它能夠處理依賴性解析、工作流管理、視覺化、故障處理、命令列一體化等等問題;
  • Spring XD:資料攝取、即時分析、批量處理和資料匯出的分散式、可擴展系統;
  • Twitter Elephant Bird:LZO壓縮資料的工作庫;
  • Twitter Finagle:JVM的非同步網路堆疊。

調度

  • Apache Aurora:在Apache Mesos之上運行的服務調度程式;
  • Apache Falcon:資料管理框架;
  • Apache Oozie:工作流作業調度程式;
  • Chronos:分散式容錯調度;
  • Linkedin Azkaban:批次處理工作流作業調度;
  • Schedoscope:Hadoop作業敏捷調度的Scala DSL;
  • Sparrow:調度平臺;
  • Airflow:一個以程式設計方式編寫、調度和監控工作流的平臺。

機器學習

  • Apache Mahout:Hadoop的機器學習庫;
  • brain:JavaScript中的神經網路;
  • Cloudera Oryx:即時大規模機器學習;
  • Concurrent Pattern:Cascading的機器學習庫;
  • convnetjs:Javascript中的機器學習,在流覽器中訓練卷積神經網路(或普通網路);
  • Decider:Ruby中靈活、可擴展的機器學習;
  • ENCOG:支援多種先進演算法的機器學習框架,同時支援類的標準化和處理資料;
  • etcML:機器學習文本分類;
  • Etsy Conjecture:Scalding中可擴展的機器學習;
  • Google Sibyl:Google中的大規模機器學習系統;
  • GraphLab Create:Python的機器學習平臺,包括ML工具包、資料工程和部署工具的廣泛集合;
  • H2O:Hadoop統計性的機器學習和數學執行時間;
  • MLbase:用於BDAS堆疊的分散式機器學習庫;
  • MLPNeuralNet:針對iOS和Mac OS X的快速多層感知神經網路庫;
  • MonkeyLearn:使文本挖掘更為容易,從文本中提取分類資料;
  • nupic:智慧計算的Numenta平臺,它是一個啟發大腦的機器智力平臺,基於皮質學習演算法的精准的生物神經網路;
  • PredictionIO:建於Hadoop、Mahout和Cascading上的機器學習伺服器;
  • SAMOA:分散式流媒體機器學習框架;
  • scikit-learn:scikit-learn為Python中的機器學習;
  • Spark MLlib:Spark中一些常用的機器學習(ML)功能的實現;
  • Vowpal Wabbit:微軟和yahoo發起的學習系統;
  • WEKA:機器學習軟體套件;
  • BidMach:CPU和加速GPU的機器學習庫。

基準測試

  • Apache Hadoop Benchmarking:測試Hadoop性能的微基準;
  • Berkeley SWIM Benchmark:現實大數據工作負載基準測試;
  • Intel HiBench:Hadoop基準測試套件;
  • PUMA Benchmarking:MapReduce應用的基準測試套件;
  • Yahoo Gridmix3:yahoo工程師團隊的Hadoop叢集基準測試。

安全性

  • Apache Knox Gateway:Hadoop集群安全訪問的單點;
  • Apache Sentry:存儲在Hadoop的資料安全模組。

系統部署

  • Apache Ambari:Hadoop管理的運作框架;
  • Apache Bigtop:Hadoop生態系統的部署框架;
  • Apache Helix:叢集管理框架;
  • Apache Mesos:叢集管理器;
  • Apache Slider:一種YARN應用,用來部署YARN中現有的分散式應用程式;
  • Apache Whirr:運行雲服務的庫集;
  • Apache YARN:叢集管理器;
  • Brooklyn:用於簡化應用程式部署和管理的庫;
  • Buildoop:基於Groovy語言,和Apache BigTop類似;
  • Cloudera HUE:和Hadoop進行交互的Web應用程式;
  • Facebook Prism:多資料中心複製系統;
  • Google Borg:作業調度和監控系統;
  • Google Omega:作業調度和監控系統;
  • Hortonworks HOYA:可在YARN上部署HBase集群的應用;
  • Marathon:用於長期運行服務的Mesos框架。

應用程式

  • Adobe spindle:使用Scala、Spark和Parquet處理的下一代web分析;
  • Apache Kiji:基於HBase,即時採集和分析資料的框架;
  • Apache Nutch:開源網路爬蟲;
  • Apache OODT:用於NASA科學檔案中資料的捕獲、處理和共用;
  • Apache Tika:內容分析工具包;
  • Argus:時間序列監測和報警平臺;
  • Countly:基於Node.js和MongoDB,開源的手機和網路分析平臺;
  • Domino:運行、規劃、共用和部署模型 — — 沒有任何基礎設施;
  • Eclipse BIRT:基於Eclipse的報告系統;
  • Eventhub:開源的事件分析平臺;
  • Hermes:建於Kafka上的非同步消息代理;
  • HIPI Library:在Hadoop’s MapReduce上執行影像處理任務的API;
  • Hunk:Hadoop的Splunk分析;
  • Imhotep:大規模分析平臺;
  • MADlib:RDBMS的用於資料分析的資料處理庫;
  • Kylin:來自eBay的開源分散式分析工具;
  • PivotalR:Pivotal HD / HAWQ和PostgreSQL中的R;
  • Qubole:為自動縮放Hadoop集群,內置的資料連接器;
  • Sense:用於資料科學和大資料分析的雲平臺;
  • SnappyData:用於即時營運分析的分散式記憶體資料存儲,提供建立在Spark單一内建叢集中的資料流程分析、OLTP(連線交易處理)和OLAP(連線分析處理);
  • Snowplow:企業級網路和事件分析,由Hadoop、Kinesis、Redshift 和Postgres提供技術支援;
  • SparkR:Spark的R前端;
  • Splunk:用於機器生成的資料的分析;
  • Sumo Logic:基於雲的分析儀,用於分析機器生成的資料;
  • Talend:用於YARN、Hadoop、HBASE、Hive、HCatalog和Pig的統一開源環境;
  • Warp:利用大資料(OS X app)的實例查詢工具。

搜尋引擎與框架

  • Apache Lucene:搜尋引擎庫;
  • Apache Solr:用於Apache Lucene的搜索平臺;
  • ElasticSearch:基於Apache Lucene的搜索和分析引擎;
  • Enigma.io:為免費增值的健壯性web應用,用於探索、篩選、分析、搜索和匯出來自網路的大規模資料集;
  • Facebook Unicorn:社交圖形搜索平臺;
  • Google Caffeine:連續索引系統;
  • Google Percolator:連續索引系統;
  • TeraGoogle:大型搜索索引;
  • HBase Coprocessor:為Percolator的實現,HBase的一部分;
  • Lily HBase Indexer:快速、輕鬆地搜索存儲在HBase的任何內容;
  • LinkedIn Bobo:完全由Java編寫的分面搜索的實現,為Apache Lucene的延伸;
  • LinkedIn Cleo:為一個一個靈活的軟體庫,使得局部、無序、即時預輸入的搜索實現了快速發展;
  • LinkedIn Galene:LinkedIn搜索架構;
  • LinkedIn Zoie:是用Java編寫的即時搜索/索引系統;
  • Sphinx Search Server:全文檢索搜尋引擎

MySQL的分支和演化

  • Amazon RDS:亞馬遜雲的MySQL資料庫;
  • Drizzle:MySQL的6.0的演化;
  • Google Cloud SQL:谷歌雲的MySQL資料庫;
  • MariaDB:MySQL的增強版嵌入式替代品;
  • MySQL Cluster:使用NDB叢集存儲引擎的MySQL實現;
  • Percona Server:MySQL的增強版嵌入式替代品;
  • ProxySQL:MySQL的高性能代理;
  • TokuDB:用於MySQL和 MariaDB的存儲引擎;
  • WebScaleSQL:運行MySQL時面臨類似挑戰的幾家公司,它們的工程師之間的合作。
  • PostgreSQL的分支和演化
  • Yahoo Everest — multi-peta-byte database / MPP derived by PostgreSQL.
  • HadoopDB:MapReduce和DBMS的混合體;
  • IBM Netezza:高性能資料倉庫設備;
  • Postgres-XL:基於PostgreSQL,可擴展的開來源資料庫集群;
  • RecDB:完全建立在PostgreSQL內部的開源推薦引擎;
  • Stado:開源MPP資料庫系統,只針對資料倉庫和資料集市的應用程式;
  • Yahoo Everest:PostgreSQL可以推導多位元組P比特資料庫/MPP。
  • Memcached的分支和演化
  • Facebook McDipper:快閃記憶體的鍵/值緩存;
  • Facebook Memcached:Memcache的分支;
  • Twemproxy:Memcached和Redis的快速、輕型代理;
  • Twitter Fatcache:快閃記憶體的鍵/值緩存;
  • Twitter Twemcache:Memcache的分支。

内建式資料庫

  • Actian PSQL:Pervasive Software公司開發的ACID相容的DBMS,在應用程式中嵌入了優化;
  • BerkeleyDB:為鍵/值資料提供一個高性能的嵌入式資料庫的一個軟體庫;
  • HanoiDB:Erlang LSM BTree存儲;
  • LevelDB:google寫的一個快速鍵-值存儲庫,它提供了從字串鍵到字串值的有序映射;
  • LMDB:Symas開發的超快、超緊湊的鍵-值嵌入的式資料存儲;
  • RocksDB:基於性LevelDB,用於快速存儲的嵌入式持續性鍵-值存儲。

商業智慧

  • BIME Analytics:商業智慧雲平臺;
  • Chartio:精益業務智慧平臺,用於視覺化和探索資料;
  • datapine:基於雲的自助服務商業智慧工具;
  • Jaspersoft:功能強大的商業智慧套件;
  • Jedox Palo:定制的商業智慧平臺;
  • Microsoft:商業智慧軟體和平臺;
  • Microstrategy:商業智慧、行動智慧和網路應用軟體平臺;
  • Pentaho:商業智慧平臺;
  • Qlik:商業智慧和分析平臺;
  • FineBI:大數據BI商業智慧分析平臺;
  • Saiku:開源的分析平臺;
  • SpagoBI:開源商業智慧平臺;
  • Tableau:商業智慧平臺;
  • Zoomdata:大數據分析;
  • Jethrodata:互動式大數據分析。

數據視覺化

  • Airpal:用於PrestoDB的網頁UI;
  • Arbor:利用網路工作者和jQuery的圖形視覺化庫;
  • Banana:對存儲在Kibana中Solr. Port的日誌和時戳資料進行視覺化;
  • Bokeh:一個功能強大的Python互動式視覺化庫,它針對要展示的現代web流覽器,旨在為D3.js風格的新奇的圖形提供優雅簡潔的設計,同時在大規模資料或流資料集中,通過高性能交互性來表達這種能力;
  • C3:基於D3可重複使用的圖表庫;
  • CartoDB:開源或免費增值的虛擬主機,用於帶有強大的前端編輯功能和API的地理空間資料庫;
  • chartd:只帶Img標籤的反應靈敏、相容Retina的圖表;
  • Chart.js:開源的HTML5圖表視覺化效果;
  • Chartist.js:另一個開源HTML5圖表視覺化效果;
  • Crossfilter:JavaScript庫,用於在流覽器中探索多元大資料集,用Dc.js和D3.js.效果很好;
  • Cubism:用於時間序列視覺化的JavaScript庫;
  • Cytoscape:用於視覺化複雜網路的JavaScript庫;
  • DC.js:維度圖表,和Crossfilter一起使用,通過D3.js呈現出來,它比較擅長連接圖表/附加的中繼資料,從而徘徊在D3的事件附近;
  • D3:操作檔的JavaScript庫;
  • D3.compose:從可重複使用的圖表和元件構成複雜的、資料驅動的視覺化;
  • D3Plus:一組相當強大的可重用的圖表,還有D3.js的樣式;
  • Echarts:百度企業場景圖表;
  • Envisionjs:動態HTML5視覺化;
  • FnordMetric:寫SQL查詢,返回SVG圖表,而不是表;
  • Freeboard:針對IOT和其他Web混搭的開源即時儀錶盤構建;
  • Gephi:屢獲殊榮的開源平臺,視覺化和操縱大型圖形和網路連接,有點像Photoshop,但是針對於圖表,適用於Windows和Mac OS X;
  • Google Charts:簡單的圖表API;
  • Grafana:石墨儀錶板前端、編輯器和圖形組合器;
  • Graphite:可擴展的即時圖表;
  • Highcharts:簡單而靈活的圖表API;
  • IPython:為互動式計算提供豐富的架構;
  • Kibana:視覺化日誌和時間標記資料;
  • Matplotlib:Python繪圖;
  • Metricsgraphic.js:建立在D3之上的庫,針對時間序列資料進行最優化;
  • NVD3:d3.js的圖表元件;
  • Peity:漸進式SVG橫條圖,折線和圓形圖;
  • Plot.ly:易於使用的Web服務,它允許快速創建從熱圖到長條圖等複雜的圖表,使用圖表Plotly的線上試算表上傳資料進行創建和設計;
  • Plotly.js:支援plotly的開源JavaScript圖形庫;
  • Recline:簡單但功能強大的庫,純粹利用JavaScript和HTML構建資料應用;
  • Redash:查詢和資料視覺化視覺化的開源平臺;
  • Shiny:針對R的Web應用程式框架;
  • Sigma.js:JavaScript庫,專門用於圖形繪製;
  • Vega:一個視覺化語法;
  • Zeppelin:一個筆記本式的協作資料分析;
  • Zing Charts:用於大數據的JavaScript圖表庫。
  • loT物聯網和感測器
  • TempoIQ:基於雲的感測器分析;
  • 2lemetry:物聯網平臺;
  • Pubnub:資料流程網路;
  • ThingWorx:ThingWorx 是讓企業快速創建和運行互聯應用程式平臺;
  • IFTTT:IFTTT 是一個被稱為 “網路自動化神器” 的創新型互聯網服務,它的全稱是 If this then that,意思是“如果這樣,那麼就那樣”;
  • Evrythng:Evrythng則是一款真正意義上的大眾物聯網平臺,使得身邊的很多產品變得智慧化。

文章推薦

  • NoSQL Comparison(NoSQL 比較)- Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase vs Couchbase vs Neo4j vs Hypertable vs ElasticSearch vs Accumulo vs VoltDB vs Scalaris comparison;
  • Big Data Benchmark(大資料基準)- Redshift, Hive, Shark, Impala and Stiger/Tez的基準;
  • The big data successor of the spreadsheet(試算表的大資料繼承者) — 試算表的繼承者應該是大資料。
  • 零基礎快速自學SQL,1天足矣! -快速把握sql學習方向,內文有習題

論文

  • 2015–2016
  • 2015 — Facebook — One Trillion Edges: Graph Processing at Facebook-Scale.(一兆邊:Facebook規模的影像處理)
  • 2013–2014
  • 2014 — Stanford — Mining of Massive Datasets.(海量資料集挖掘)
  • 2013 — AMPLab — Presto: Distributed Machine Learning and Graph Processing with Sparse Matrices. (Presto: 疏鬆陣列的分散式機器學習和影像處理)
  • 2013 — AMPLab — MLbase: A Distributed Machine-learning System. (MLbase:分散式機器學習系統)
  • 2013 — AMPLab — Shark: SQL and Rich Analytics at Scale. (Shark: 大規模的SQL 和豐富的分析)
  • 2013 — AMPLab — GraphX: A Resilient Distributed Graph System on Spark. (GraphX:基於Spark的彈性分散式圖計算系統)
  • 2013 — Google — HyperLogLog in Practice: Algorithmic Engineering of a State of The Art Cardinality Estimation Algorithm. (HyperLogLog實踐:一個藝術形態的基數估算演算法)
  • 2013 — Microsoft — Scalable Progressive Analytics on Big Data in the Cloud.(雲端大資料的可擴展性漸進分析)
  • 2013 — Metamarkets — Druid: A Real-time Analytical Data Store. (Druid:即時分析資料存儲)
  • 2013 — Google — Online, Asynchronous Schema Change in F1.(F1中線上、非同步模式的轉變)
  • 2013 — Google — F1: A Distributed SQL Database That Scales. (F1: 分散式SQL資料庫)
  • 2013 — Google — MillWheel: Fault-Tolerant Stream Processing at Internet Scale.(MillWheel: 互聯網規模下的容錯流處理)
  • 2013 — Facebook — Scuba: Diving into Data at Facebook. (Scuba: 深入Facebook的資料世界)
  • 2013 — Facebook — Unicorn: A System for Searching the Social Graph. (Unicorn: 一種搜索社交圖的系統)
  • 2013 -Facebook — Scaling Memcache at Facebook. (Facebook 對 Memcache 伸縮性的增強)
  • 2011–2012
  • 2012 — Twitter — The Unified Logging Infrastructure for Data Analytics at Twitter. (Twitter資料分析的統一日誌基礎結構)
  • 2012 — AMPLab –Blink and It’s Done: Interactive Queries on Very Large Data. (Blink及其完成:超大規模資料的互動式查詢)
  • 2012 — AMPLab –Fast and Interactive Analytics over Hadoop Data with Spark. (Spark上 Hadoop資料的快速互動式分析)
  • 2012 — AMPLab –Shark: Fast Data Analysis Using Coarse-grained Distributed Memory. (Shark:使用粗細微性的分散式記憶體快速資料分析)
  • 2012 — Microsoft –Paxos Replicated State Machines as the Basis of a High-Performance Data Store. (Paxos的複製狀態機 — — 高性能資料存儲的基礎)
  • 2012 — Microsoft –Paxos Made Parallel. (Paxos演算法實現並行)
  • 2012 — AMPLab — BlinkDB:BlinkDB: Queries with Bounded Errors and Bounded Response Times on Very Large Data.(超大規模資料中有限誤差與有界回應時間的查詢)
  • 2012 — Google –Processing a trillion cells per mouse click.(每次點擊處理一兆個儲存格)
  • 2012 — Google –Spanner: Google’s Globally-Distributed Database.(Spanner:google全球分散式資料庫)
  • 2011 — AMPLab –Scarlett: Coping with Skewed Popularity Content in MapReduce Clusters.(Scarlett:應對MapReduce集群中的偏向性內容)
  • 2011 — AMPLab –Mesos: A Platform for Fine-Grained Resource Sharing in the Data Center.(Mesos:資料中心中細細微性資源分享的平臺)
  • 2011 — Google –Megastore: Providing Scalable, Highly Available Storage for Interactive Services.(Megastore:為互動式服務提供可擴展,高度可用的存儲)
  • 2001–2010
  • 2010 — Facebook — Finding a needle in Haystack: Facebook’s photo storage.(探究Haystack中的細微之處: Facebook圖片存儲)
  • 2010 — AMPLab — Spark: Cluster Computing with Working Sets.(Spark:工作組上的集群計算)
  • 2010 — Google — Storage Architecture and Challenges.(存儲架構與挑戰)
  • 2010 — Google — Pregel: A System for Large-Scale Graph Processing.(Pregel: 一種大型圖形處理系統)
  • 2010 — Google — Large-scale Incremental Processing Using Distributed Transactions and Notifications base of Percolator and Caffeine.(使用基於Percolator 和 Caffeine平臺分散式事務和通知的大規模增量處理)
  • 2010 — Google — Dremel: Interactive Analysis of Web-Scale Datasets.(Dremel: Web規模資料集的交互分析)
  • 2010 — Yahoo — S4: Distributed Stream Computing Platform.(S4:分散式流計算平臺)
  • 2009 — HadoopDB:An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads.(混合MapReduce和DBMS技術用於分析工作負載的的架構)
  • 2008 — AMPLab — Chukwa: A large-scale monitoring system.(Chukwa: 大型監控系統)
  • 2007 — Amazon — Dynamo: Amazon’s Highly Available Key-value Store.(Dynamo: 亞馬遜的高可用的關鍵價值存儲)
  • 2006 — Google — The Chubby lock service for loosely-coupled distributed systems.(面向鬆散耦合的分散式系統的鎖服務)
  • 2006 — Google — Bigtable: A Distributed Storage System for Structured Data.(Bigtable: 結構化資料的分散式存儲系統)
  • 2004 — Google — MapReduce: Simplied Data Processing on Large Clusters.(MapReduce: 大型叢集上簡化資料處理)
  • 2003 -Google- The Google File System.(google檔案系統)
  • 資料視覺化
  • Noah Iliinsky的資料視覺化設計
  • Hans Rosling’s 200 Countries, 200 Years, 4 Minutes
  • 冰桶挑戰的資料視覺化

(想要全部鏈接 點擊閱讀原文:【速藏!】這大概是史上最最全的大數據學習資源了!)
我是「數據分析那些事」。常年分享資料分析乾貨,不定期分享好用的職場技能工具。可以關注我的臉書,第一時間掌握我的動態~
超級多的系列文,瞭解一下??


圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言