三、過去及現(xiàn)在的做法

1、過去

過去對日志是不夠重視的，比如：

1.1 日志沒有集中處理

◆運維工程師登陸每一臺服務(wù)器，使用腳本命令或程序查看。

1.2 日志被刪除

◆磁盤滿了刪日志，或者日志回滾。

◆黑客入侵后會刪除日志，抹除入侵痕跡。

1.3 日志只做事后追查

◆沒有集中管理、實時監(jiān)控、分析。

1.4 使用數(shù)據(jù)庫存儲日志

后來開始集中管理日志，但使用數(shù)據(jù)庫存儲日志有什么問題?

◆無法適應(yīng)TB級海量日志

◆數(shù)據(jù)庫的schema無法適應(yīng)千變?nèi)f化的日志格式

◆無法提供全文檢索

我見過使用數(shù)據(jù)庫存日志的，數(shù)據(jù)庫就三列：產(chǎn)生日志的服務(wù)器IP、時間戳、日志原文。沒有對日志字段進(jìn)行抽取。如果抽取，不同日志有不同字段，數(shù)據(jù)庫無法適應(yīng)，而且，數(shù)據(jù)庫無法提供全文檢索。

2、近年

近年，開始使用Hadoop處理日志，但Hadoop是批處理，查詢慢，不夠及時。Hadoop適合做數(shù)據(jù)離線挖掘，無法做在線數(shù)據(jù)挖掘 OLAP (On Line Analytic Processing)。后來又有Storm、Spark Streaming這些流式處理架構(gòu)，延時比Hadoop好不少，但Hadoop/Storm/Spark都只是一個開發(fā)框架，不是拿來即用的產(chǎn)品。也有用各種NoSQL處理日志的，但NoSQL是key-value store，不支持全文檢索。

3、現(xiàn)在

我們需要日志實時搜索分析引擎，它有三個特點：

◆快：

日志從產(chǎn)生到搜索分析出結(jié)果只有幾秒的延時。

Google、百度的新聞搜索也只能搜索5分鐘之前的新聞。

◆大：

每天處理 TB 級的日志量。

◆靈活：

Google for IT， 可搜索、分析任何日志，運維工程師的搜索引擎。

簡而言之，這是Fast Big Data，除了大，還要快。

四、日志搜索引擎

1、日志管理系統(tǒng)的進(jìn)化：

2、日志易：日志實時搜索分析平臺

1.1 可接入各種來源的數(shù)據(jù)

◆可接入服務(wù)器、網(wǎng)絡(luò)設(shè)備、操作系統(tǒng)、應(yīng)用程序的日志文件，數(shù)據(jù)庫，甚至恒生電子交易系統(tǒng)二進(jìn)制格式的日志。

1.2 企業(yè)部署版及SaaS 版

SaaS版每天500MB日志處理免費，https://www.rizhiyi.com/register/。

五、日志易產(chǎn)品介紹

它的主要功能有：日志搜索、告警、統(tǒng)計、關(guān)聯(lián)分析(關(guān)聯(lián)不同系統(tǒng)的日志)。用戶可以在Web頁面配置解析規(guī)則，抽取任何日志的任何字段，也開放API，對接第三方系統(tǒng)，供客戶或第三方二次開發(fā)。

采用了高性能、可擴展分布式架構(gòu)，可支持20萬EPS (Event Per Second), 每天數(shù)TB日志。

日志易還是個可編程的日志實時搜索分析引擎，用戶可以在搜索框編寫SPL(Search Processing Language，搜索處理語言)，使用各種分析命令，通過管道符把這些命令串起來，組成上百行的腳本程序，進(jìn)行復(fù)雜的分析。

這就是李彥宏在云計算剛出現(xiàn)的時候說的“框計算”。給大家看一個例子：某省移動公司做的業(yè)務(wù)分析。

Q & A

Q1：您說的可編程是ES的表達(dá)式?能講一下實現(xiàn)了那些表達(dá)式，我們能做些什么功能?

A1：transaction (事務(wù)關(guān)聯(lián))、eval(算術(shù)表達(dá)式)、stats(統(tǒng)計)、sort(排序)等等。https://www.rizhiyi.com/docs/howtouse/transaction.html 發(fā)布了部分命令的使用指南。

Q2：為什么hadoop不行，這個產(chǎn)品能行，跟ELK有什么區(qū)別?

A2：Hadoop實時性差。ELK功能很有限，權(quán)限管理很差。日志易有非常豐富的用戶分組、日志分組、基于角色的權(quán)限管理。

Q3：請問需要提前對業(yè)務(wù)日志做格式改造嗎?

A3：不需要，用戶在日志易的Web管理頁配置解析規(guī)則，就可以抽取日志的字段了。

Q4：不同日志的怎么關(guān)聯(lián)起來分析嗎?

A4：不同的日志需要有共同的字段，如ID，來做關(guān)聯(lián)。

Q5：權(quán)限管理自己實現(xiàn)，用web控制，ES索引控制就好了，還有其他權(quán)限?

A5：主要是哪個人能看哪條日志里的哪個字段，而且要做到很靈活，方便管理，日志易在中國平安有上百用戶在同時使用，幾百種日志，增加一個用戶，他有什么權(quán)限，能看哪些日志，要很方便管理。

Q6：Nosql + spark + Kafka +flume怎么樣?

A6：這還是批處理，而且不支持全文檢索。

　　Q7：每天6TB的數(shù)據(jù)，需要多少個elk的節(jié)點?然后是否需要增加一些ssd來做處理?

　　A7：取決于服務(wù)器的性能，近百臺服務(wù)器吧，有SSD當(dāng)然更好。

Q8：企業(yè)版數(shù)據(jù)采集，分享一下你們的經(jīng)驗!

A8：企業(yè)版就是部署在客戶的環(huán)境，日志易只提供工具，不碰用戶的數(shù)據(jù)。采集可以使用Linux自帶的rsyslog agent，也可以使用日志易提供的agent，日志易提供的agent可以壓縮、加密，壓縮比1：15。

Q9：是否方便展示一下這個系統(tǒng)的架構(gòu)?

A9： 

Q10：你們對es做的改造能實現(xiàn)不同的業(yè)務(wù)數(shù)據(jù)按任意的字段進(jìn)行關(guān)聯(lián)分析嗎?

A10：只要不同業(yè)務(wù)的日志包含了相同的字段，就可以關(guān)聯(lián)分析。

Q11：日志易跟 Splunk 有什么大的區(qū)別?

A11：最大的區(qū)別是Splunk在檢索的時候抽取字段，日志易是在索引之前抽取字段。所以日志易的檢索速度比Splunk快。

Q12：SaaS版的架構(gòu)能介紹下嗎?日志易是如何做到數(shù)據(jù)隔離的?

A12：SaaS環(huán)境下，每個租戶有自己的子域名，各租戶登陸到自己的子域名。內(nèi)部有權(quán)限控制、管理。

Q13：看你們的介紹有使用spark-streaming，那它在系統(tǒng)中是用來做什么功能呢?

A13：抽取字段，把日志從非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)。

Q14：你們和SumoLogic比的區(qū)別或亮點是什么?

A14：SumoLogic有一些功能，如Log Reduce等，日志易還沒有實現(xiàn)，SumoLogic是純SaaS，日志易同時支持部署版和SaaS。

陳軍

◆日志易創(chuàng)始人兼CEO

◆擁有17年IT及互聯(lián)網(wǎng)研發(fā)管理經(jīng)驗，曾就職于Cisco、Google、騰訊和高德軟件，歷任高級軟件工程師、專家工程師、技術(shù)總監(jiān)、技術(shù)副總裁等崗位。

◆負(fù)責(zé)過Cisco路由器研發(fā)、Google數(shù)據(jù)中心系統(tǒng)及搜索系統(tǒng)研發(fā)、騰訊數(shù)據(jù)中心系統(tǒng)和集群任務(wù)調(diào)度系統(tǒng)研發(fā)、高德軟件云平臺系統(tǒng)研發(fā)及管理，對數(shù)據(jù)中心自動化運維和監(jiān)控、云計算、搜索、大數(shù)據(jù)和日志分析具有豐富的經(jīng)驗。

◆他發(fā)明了4項計算機網(wǎng)絡(luò)及分布式系統(tǒng)的美國專利，擁有美國南加州大學(xué)計算機碩士學(xué)位。

【編輯推薦】