一、描述性統計
描述性統計是一類(lèi)統計方法的匯總,揭示了數據分布特性。它主要包括數據的頻數分析、數據的集中趨勢分析、數據離散程度分析、數據的分布以及一些基本的統計圖形。
1、缺失值填充:常用方法有剔除法、均值法、決策樹(shù)法。
2、正態(tài)性檢驗:很多統計方法都要求數值服從或近似服從正態(tài)分布,所以在做數據分析之前需要進(jìn)行正態(tài)性檢驗。常用方法:非參數檢驗的K-量檢驗、P-P圖、Q-Q圖、W檢驗、動(dòng)差法。
二、回歸分析
回歸分析是應用極其廣泛的數據分析方法之一。它基于觀(guān)測數據建立變量間適當的依賴(lài)關(guān)系,以分析數據內在規律。
1. 一元線(xiàn)性分析
只有一個(gè)自變量X與因變量Y有關(guān),X與Y都必須是連續型變量,因變量Y或其殘差必須服從正態(tài)分布。
2. 多元線(xiàn)性回歸分析
使用條件:分析多個(gè)自變量X與因變量Y的關(guān)系,X與Y都必須是連續型變量,因變量Y或其殘差必須服從正態(tài)分布。
3.Logistic回歸分析
線(xiàn)性回歸模型要求因變量是連續的正態(tài)分布變量,且自變量和因變量呈線(xiàn)性關(guān)系,而Logistic回歸模型對因變量的分布沒(méi)有要求,一般用于因變量是離散時(shí)的情況。
4. 其他回歸方法:非線(xiàn)性回歸、有序回歸、Probit回歸、加權回歸等。
三、方差分析
使用條件:各樣本須是相互獨立的隨機樣本;各樣本來(lái)自正態(tài)分布總體;各總體方差相等。
1. 單因素方差分析:一項試驗只有一個(gè)影響因素,或者存在多個(gè)影響因素時(shí),只分析一個(gè)因素與響應變量的關(guān)系。
2. 多因素有交互方差分析:一頊實(shí)驗有多個(gè)影響因素,分析多個(gè)影響因素與響應變量的關(guān)系,同時(shí)考慮多個(gè)影響因素之間的關(guān)系
3. 多因素無(wú)交互方差分析:分析多個(gè)影響因素與響應變量的關(guān)系,但是影響因素之間沒(méi)有影響關(guān)系或忽略影響關(guān)系
4. 協(xié)方差分祈:傳統的方差分析存在明顯的弊端,無(wú)法控制分析中存在的某些隨機因素,降低了分析結果的準確度。協(xié)方差分析主要是在排除了協(xié)變量的影響后再對修正后的主效應進(jìn)行方差分析,是將線(xiàn)性回歸與方差分析結合起來(lái)的一種分析方法。
四、假設檢驗
1. 參數檢驗
參數檢驗是在已知總體分布的條件下(一股要求總體服從正態(tài)分布)對一些主要的參數(如均值、百分數、方差、相關(guān)系數等)進(jìn)行的檢驗 。
2. 非參數檢驗
非參數檢驗則不考慮總體分布是否已知,常常也不是針對總體參數,而是針對總體的某些一般性假設(如總體分布的位罝是否相同,總體分布是否正態(tài))進(jìn)行檢驗。
適用情況:順序類(lèi)型的數據資料,這類(lèi)數據的分布形態(tài)一般是未知的。
1)雖然是連續數據,但總體分布形態(tài)未知或者非正態(tài);
2)總體分布雖然正態(tài),數據也是連續類(lèi)型,但樣本容量極小,如10以下;
主要方法包括:卡方檢驗、秩和檢驗、二項檢驗、游程檢驗、K-量檢驗等。
統計數據的具體搜集方法有很多,具體針對不同的情況,采用不同的方法:
1. 訪(fǎng)問(wèn)調查。它是調查者與被調查者通過(guò)面對面地交談從而得到所需資料的調查方法。(詢(xún)問(wèn)調查、抽樣調查)
2. 郵寄調查。它是通過(guò)郵寄或宣傳媒體等方式將調查表或調查問(wèn)卷送至被調查者手中,由被調查者填寫(xiě),然后將調查表寄回或投放到指定收集點(diǎn)的一種調查方法。(詢(xún)問(wèn)調查、抽樣調查)
3. 電話(huà)調查。電話(huà)調查是調查人員利用電話(huà)同受訪(fǎng)者進(jìn)行語(yǔ)言交流,從而獲得信息的一種調查方式。電話(huà)調查具有時(shí)效快、費用低等特點(diǎn)。(詢(xún)問(wèn)調查、抽樣調查)
4. 網(wǎng)上調查。網(wǎng)絡(luò )大數據使調查的質(zhì)量大大提高了。(詢(xún)問(wèn)調查、抽樣調查)
5. 座談會(huì )。它也稱(chēng)為集體訪(fǎng)談法,它是將一組被調查者集中在調查現場(chǎng),讓他們對調查的主題(如一種產(chǎn)品、一項服務(wù)或其他話(huà)題)發(fā)表意見(jiàn),從而獲取調查資料的方法。(詢(xún)問(wèn)調查、抽樣調查)
6. 個(gè)別深度訪(fǎng)問(wèn)。它是一種一次只有一名受訪(fǎng)者參加的特殊的定性研究。“深訪(fǎng)”是一種無(wú)結構的個(gè)人訪(fǎng)問(wèn),調查人員運用大量的追問(wèn)技巧,盡可能讓受訪(fǎng)者自由發(fā)揮,表達他的想法和感受。
7. 觀(guān)察法。它是指就調查對象的行動(dòng)和意識,調查人員邊觀(guān)察邊記錄以收集信息的方法。
8. 實(shí)驗法。它是一種特殊的觀(guān)察調查方法,它是在所設定的特殊實(shí)驗場(chǎng)所、特殊狀態(tài)下,對調查對象進(jìn)行實(shí)驗以取得所需資料的一種調查方法。
拓展資料:
統計數據是表示某一地理區域自然經(jīng)濟要素特征、規模,結構、水平等指標的數據。是定性、定位和定量統計分析的基礎數據。比如我們通常所說(shuō)的統計年鑒。
收集方法
1、調查法
調查方法一般分為普查和抽樣調查兩大類(lèi)。
2、觀(guān)察法
主要包括兩個(gè)方面:一是對人的行為的觀(guān)察,二是對客觀(guān)事物的觀(guān)察。觀(guān)察法應用很廣泛,常和詢(xún)問(wèn)法、搜集實(shí)物結合使用,以提高所收集信息的可靠性。
3、實(shí)驗方法
實(shí)驗方法能通過(guò)實(shí)驗過(guò)程獲取其他手段難以獲得的信息或結論。
實(shí)驗方法也有多種形式,如實(shí)驗室實(shí)驗、現場(chǎng)實(shí)驗、計算機模擬實(shí)驗、計算機網(wǎng)絡(luò )環(huán)境下人機結合實(shí)驗等。現代管理科學(xué)中新興的管理實(shí)驗,現代經(jīng)濟學(xué)中正在形成的實(shí)驗經(jīng)濟學(xué)中的經(jīng)濟實(shí)驗,實(shí)質(zhì)上就是通過(guò)實(shí)驗獲取與管理或經(jīng)濟相關(guān)的信息。
4、文獻檢索
文獻檢索就是從浩繁的文獻中檢索出所需的信息的過(guò)程。文獻檢索分為手工檢索和計算機檢索。
5、網(wǎng)絡(luò )信息收集
網(wǎng)絡(luò )信息是指通過(guò)計算機網(wǎng)絡(luò )發(fā)布、傳遞和存儲的各種信息。收集網(wǎng)絡(luò )信息的最終目標是給廣大用戶(hù)提供網(wǎng)絡(luò )信息資源服務(wù),整個(gè)過(guò)程經(jīng)過(guò)網(wǎng)絡(luò )信息搜索、整合、保存和服務(wù)四個(gè)步驟,
參考資料來(lái)源:搜狗百科-信息收集
借助工具,未至科技魔方是一款大數據模型平臺,是一款基于服務(wù)總線(xiàn)與分布式云計算兩大技術(shù)架構的一款數據分析、挖掘的工具平臺,其采用分布式文件系統對數據進(jìn)行存儲,支持海量數據的處理。
采用多種的數據采集技術(shù),支持結構化數據及非結構化數據的采集。通過(guò)圖形化的模型搭建工具,支持流程化的模型配置。
通過(guò)第三方插件技術(shù),很容易將其他工具及服務(wù)集成到平臺中去。數據分析研判平臺就是海量信息的采集,數據模型的搭建,數據的挖掘、分析最后形成知識服務(wù)于實(shí)戰、服務(wù)于決策的過(guò)程,平臺主要包括數據采集部分,模型配置部分,模型執行部分及成果展示部分等。
方法一:規范化方法
也叫離差標準化,是對原始數據的線(xiàn)性變換,使結果映射到[0,1]區間。
方法二:正規化方法
這種方法基于原始數據的均值(mean)和標準差(standard deviation)進(jìn)行數據的標準化。將A的原始值x使用z-score標準化到x'。
z-score標準化方法適用于屬性A的最大值和最小值未知的情況,或有超出取值范圍的離群數據的情況。
spss默認的標準化方法就是z-score標準化。
用Excel進(jìn)行z-score標準化的方法:在Excel中沒(méi)有現成的函數,需要自己分步計算,其實(shí)標準化的公式很簡(jiǎn)單。
步驟如下:
1.求出各變量(指標)的算術(shù)平均值(數學(xué)期望)xi和標準差si ;
2.進(jìn)行標準化處理:
zij=(xij-xi)/si
其中:zij為標準化后的變量值;xij為實(shí)際變量值。
3.將逆指標前的正負號對調。
標準化后的變量值圍繞0上下波動(dòng),大于0說(shuō)明高于平均水平,小于0說(shuō)明低于平均水平。
常用數據分析方法:聚類(lèi)分析、因子分析、相關(guān)分析、對應分析、回歸分析、方差分析; 問(wèn)卷調查常用數據分析方法:描述性統計分析、探索性因素分析、Cronbach'a信度系數分析、結構方程模型分析(structural equations modeling) 。
數據分析常用的圖表方法:柏拉圖(排列圖)、直方圖(Histogram)、散點(diǎn)圖(scatter diagram)、魚(yú)骨圖(Ishikawa)、FMEA、點(diǎn)圖、柱狀圖、雷達圖、趨勢圖。 數據分析統計工具:SPSS、minitab、JMP。
分析大數據,R語(yǔ)言和Linux系統比較有幫助,運用到的方法原理可以翻翻大學(xué)的統計學(xué),不需要完全理解,重在應用。
分析簡(jiǎn)單數據,Excel就可以了。Excel本意就是智能,功能很強,容易上手。我沒(méi)有見(jiàn)過(guò)有人說(shuō)自己精通Excel的,最多是熟悉Excel。Excel的函數可以幫助你處理大部分數據。
數據分析是指用適當的統計分析方法對收集來(lái)的大量數據進(jìn)行分析,提取有用信息和形成結論而對數據加以詳細研究和概括總結的過(guò)程。這一過(guò)程也是質(zhì)量管理體系的支持過(guò)程。在實(shí)用中,數據分析可幫助人們作出判斷,以便采取適當行動(dòng)。
數據分析的數學(xué)基礎在20世紀早期就已確立,但直到計算機的出現才使得實(shí)際操作成為可能,并使得數據分析得以推廣。數據分析是數學(xué)與計算機科學(xué)相結合的產(chǎn)物。
“啤酒與尿布”的故事產(chǎn)生于20世紀90年代的美國沃爾瑪超市中,沃爾瑪的超市管理人員分析銷(xiāo)售數據時(shí)發(fā)現了一個(gè)令人難于理解的現象:在某些特定的情況下,“啤酒”與“尿布”兩件看上去毫無(wú)關(guān)系的商品會(huì )經(jīng)常出現在同一個(gè)購物籃中,這種獨特的銷(xiāo)售現象引起了管理人員的注意,經(jīng)過(guò)后續調查發(fā)現,這種現象出現在年輕的父親身上。
在美國有嬰兒的家庭中,一般是母親在家中照看嬰兒,年輕的父親前去超市購買(mǎi)尿布。父親在購買(mǎi)尿布的同時(shí),往往會(huì )順便為自己購買(mǎi)啤酒,這樣就會(huì )出現啤酒與尿布這兩件看上去不相干的商品經(jīng)常會(huì )出現在同一個(gè)購物籃的現象。如果這個(gè)年輕的父親在賣(mài)場(chǎng)只能買(mǎi)到兩件商品之一,則他很有可能會(huì )放棄購物而到另一家商店, 直到可以一次同時(shí)買(mǎi)到啤酒與尿布為止。沃爾瑪發(fā)現了這一獨特的現象,開(kāi)始在賣(mài)場(chǎng)嘗試將啤酒與尿布擺放在相同的區域,讓年輕的父親可以同時(shí)找到這兩件商品,并很快地完成購物;而沃爾瑪超市也可以讓這些客戶(hù)一次購買(mǎi)兩件商品、而不是一件,從而獲得了很好的商品銷(xiāo)售收入,這就是“啤酒與尿布” 故事的由來(lái)。
當然“啤酒與尿布”的故事必須具有技術(shù)方面的支持。1993年美國學(xué)者Agrawal提出通過(guò)分析購物籃中的商品集合,從而找出商品之間關(guān)聯(lián)關(guān)系的關(guān)聯(lián)算法,并根據商品之間的關(guān)系,找出客戶(hù)的購買(mǎi)行為。艾格拉沃從數學(xué)及計算機算法角度提 出了商品關(guān)聯(lián)關(guān)系的計算方法——Aprior算法。沃爾瑪從上個(gè)世紀 90 年代嘗試將 Aprior 算 法引入到 POS機數據分析中,并獲得了成功,于是產(chǎn)生了“啤酒與尿布”的故事。
1、聚類(lèi)分析(Cluster Analysis)
聚類(lèi)分析指將物理或抽象對象的集合分組成為由類(lèi)似的對象組成的多個(gè)類(lèi)的分析過(guò)程。聚類(lèi)是將數據分類(lèi)到不同的類(lèi)或者簇這樣的一個(gè)過(guò)程,所以同一個(gè)簇中的對象有很大的相似性,而不同簇間的對象有很大的相異性。聚類(lèi)分析是一種探索性的分析,在分類(lèi)的過(guò)程中,人們不必事先給出一個(gè)分類(lèi)的標準,聚類(lèi)分析能夠從樣本數據出發(fā),自動(dòng)進(jìn)行分類(lèi)。聚類(lèi)分析所使用方法的不同,常常會(huì )得到不同的結論。不同研究者對于同一組數據進(jìn)行聚類(lèi)分析,所得到的聚類(lèi)數未必一致。
2、因子分析(Factor Analysis)
因子分析是指研究從變量群中提取共性因子的統計技術(shù)。因子分析就是從大量的數據中尋找內在的聯(lián)系,減少決策的困難。
因子分析的方法約有10多種,如重心法、影像分析法,最大似然解、最小平方法、阿爾發(fā)抽因法、拉奧典型抽因法等等。這些方法本質(zhì)上大都屬近似方法,是以相關(guān)系數矩陣為基礎的,所不同的是相關(guān)系數矩陣對角線(xiàn)上的值,采用不同的共同性□2估值。在社會(huì )學(xué)研究中,因子分析常采用以主成分分析為基礎的反覆法。
3、相關(guān)分析(Correlation Analysis)
相關(guān)分析(correlation analysis),相關(guān)分析是研究現象之間是否存在某種依存關(guān)系,并對具體有依存關(guān)系的現象探討其相關(guān)方向以及相關(guān)程度。相關(guān)關(guān)系是一種非確定性的關(guān)系,例如,以X和Y分別記一個(gè)人的身高和體重,或分別記每公頃施肥量與每公頃小麥產(chǎn)量,則X與Y顯然有關(guān)系,而又沒(méi)有確切到可由其中的一個(gè)去精確地決定另一個(gè)的程度,這就是相關(guān)關(guān)系。
4、對應分析(Correspondence Analysis)
對應分析(Correspondence analysis)也稱(chēng)關(guān)聯(lián)分析、R-Q型因子分析,通過(guò)分析由定性變量構成的交互匯總表來(lái)揭示變量間的聯(lián)系。可以揭示同一變量的各個(gè)類(lèi)別之間的差異,以及不同變量各個(gè)類(lèi)別之間的對應關(guān)系。對應分析的基本思想是將一個(gè)聯(lián)列表的行和列中各元素的比例結構以點(diǎn)的形式在較低維的空間中表示出來(lái)。
5、回歸分析
研究一個(gè)隨機變量Y對另一個(gè)(X)或一組(X1,X2,…,Xk)變量的相依關(guān)系的統計分析方法。回歸分析(regression analysis)是確定兩種或兩種以上變數間相互依賴(lài)的定量關(guān)系的一種統計分析方法。運用十分廣泛,回歸分析按照涉及的自變量的多少,可分為一元回歸分析和多元回歸分析;按照自變量和因變量之間的關(guān)系類(lèi)型,可分為線(xiàn)性回歸分析和非線(xiàn)性回歸分析。
6、方差分析(ANOVA/Analysis of Variance)
又稱(chēng)“變異數分析”或“F檢驗”,是R.A.Fisher發(fā)明的,用于兩個(gè)及兩個(gè)以上樣本均數差別的顯著(zhù)性檢驗。由于各種因素的影響,研究所得的數據呈現波動(dòng)狀。造成波動(dòng)的原因可分成兩類(lèi),一是不可控的隨機因素,另一是研究中施加的對結果形成影響的可控因素。方差分析是從觀(guān)測變量的方差入手,研究諸多控制變量中哪些變量是對觀(guān)測變量有顯著(zhù)影響的變量。這個(gè) 還需要具體問(wèn)題具體分析
數據分析的三個(gè)常用方法:
1. 數據趨勢分析
趨勢分析一般而言,適用于產(chǎn)品核心指標的長(cháng)期跟蹤,比如,點(diǎn)擊率,GMV,活躍用戶(hù)數等。做出簡(jiǎn)單的數據趨勢圖,并不算是趨勢分析,趨勢分析更多的是需要明確數據的變化,以及對變化原因進(jìn)行分析。
趨勢分析,最好的產(chǎn)出是比值。在趨勢分析的時(shí)候需要明確幾個(gè)概念:環(huán)比,同比,定基比。環(huán)比是指,是本期統計數據與上期比較,例如2019年2月份與2019年1月份相比較,環(huán)比可以知道最近的變化趨勢,但是會(huì )有些季節性差異。為了消除季節差異,于是有了同比的概念,例如2019年2月份和2018年2月份進(jìn)行比較。定基比更好理解,就是和某個(gè)基點(diǎn)進(jìn)行比較,比如2018年1月作為基點(diǎn),定基比則為2019年2月和2018年1月進(jìn)行比較。
比如:2019年2月份某APP月活躍用戶(hù)數我2000萬(wàn),相比1月份,環(huán)比增加2%,相比去年2月份,同比增長(cháng)20%。趨勢分析另一個(gè)核心目的則是對趨勢做出解釋?zhuān)瑢τ谮厔菥€(xiàn)中明顯的拐點(diǎn),發(fā)生了什么事情要給出合理的解釋?zhuān)瑹o(wú)論是外部原因還是內部原因。
2. 數據對比分析
數據的趨勢變化獨立的看,其實(shí)很多情況下并不能說(shuō)明問(wèn)題,比如如果一個(gè)企業(yè)盈利增長(cháng)10%,我們并無(wú)法判斷這個(gè)企業(yè)的好壞,如果這個(gè)企業(yè)所處行業(yè)的其他企業(yè)普遍為負增長(cháng),則5%很多,如果行業(yè)其他企業(yè)增長(cháng)平均為50%,則這是一個(gè)很差的數據。
對比分析,就是給孤立的數據一個(gè)合理的參考系,否則孤立的數據毫無(wú)意義。在此我向大家推薦一個(gè)大數據技術(shù)交流圈: 658558542 突破技術(shù)瓶頸,提升思維能力 。
一般而言,對比的數據是數據的基本面,比如行業(yè)的情況,全站的情況等。有的時(shí)候,在產(chǎn)品迭代測試的時(shí)候,為了增加說(shuō)服力,會(huì )人為的設置對比的基準。也就是A/B test。
比較試驗最關(guān)鍵的是A/B兩組只保持單一變量,其他條件保持一致。比如測試首頁(yè)改版的效果,就需要保持A/B兩組用戶(hù)質(zhì)量保持相同,上線(xiàn)時(shí)間保持相同,來(lái)源渠道相同等。只有這樣才能得到比較有說(shuō)服力的數據。
3. 數據細分分析
在得到一些初步結論的時(shí)候,需要進(jìn)一步地細拆,因為在一些綜合指標的使用過(guò)程中,會(huì )抹殺一些關(guān)鍵的數據細節,而指標本身的變化,也需要分析變化產(chǎn)生的原因。這里的細分一定要進(jìn)行多維度的細拆。常見(jiàn)的拆分方法包括:
分時(shí) :不同時(shí)間短數據是否有變化。
分渠道 :不同來(lái)源的流量或者產(chǎn)品是否有變化。
分用戶(hù) :新注冊用戶(hù)和老用戶(hù)相比是否有差異,高等級用戶(hù)和低等級用戶(hù)相比是否有差異。
分地區 :不同地區的數據是否有變化。
組成拆分 :比如搜索由搜索詞組成,可以拆分不同搜索詞;店鋪流量由不用店鋪產(chǎn)生,可以分拆不同的店鋪。
細分分析是一個(gè)非常重要的手段,多問(wèn)一些為什么,才是得到結論的關(guān)鍵,而一步一步拆分,就是在不斷問(wèn)為什么的過(guò)程。
常見(jiàn)的數據統計方法有:表格、折線(xiàn)統計圖、條形統計圖、扇形統計圖。舉一個(gè)例子來(lái)具體分說(shuō)明一下,比如說(shuō):我在淘寶開(kāi)了個(gè)童裝店,為了方便統計每半個(gè)月的銷(xiāo)售額,現在用以上這四種統計方法來(lái)演示一下。
1.表格就是通過(guò)畫(huà)格子的方式來(lái)統計數據,在這里可以畫(huà)三行橫線(xiàn),得到兩條細長(cháng)的格子,再把這兩行均勻的分為15個(gè)上下格子。橫一為日期,橫二為銷(xiāo)售額,半個(gè)月下來(lái)都填進(jìn)去就一目了然。
2.折線(xiàn)是通過(guò)畫(huà)點(diǎn),把15天的銷(xiāo)售額都連成一條折線(xiàn),通過(guò)上下起伏來(lái)看波動(dòng)的數據。先畫(huà)一“L”形,橫線(xiàn)作日期,豎線(xiàn)作銷(xiāo)售額,銷(xiāo)售額可以自己寫(xiě)一個(gè)數,一直往上數與數之間相差一樣。均勻的把橫豎線(xiàn)分為15份,每個(gè)日期對應多少銷(xiāo)售額,就在“L”的半框里,以對應的日期和銷(xiāo)售畫(huà)橫線(xiàn)和豎線(xiàn),交叉的位置取一點(diǎn)。然后每天如此,再用直線(xiàn)連接這15個(gè)點(diǎn),就能清楚的看到這半個(gè)月哪一天銷(xiāo)售最好,哪一天銷(xiāo)售墊底。
3.條形統計圖作出的是條狀的數據統計圖,和折線(xiàn)統計圖一樣,畫(huà)“L”,橫為日期豎為銷(xiāo)售額。只不過(guò)這里不畫(huà)點(diǎn)點(diǎn),畫(huà)倒立的長(cháng)方形,然后通過(guò)高高低低的條形圖來(lái)分析半個(gè)月的銷(xiāo)售額。
4.扇形統計圖就是把一個(gè)圓形,平均分為15份,一個(gè)月下來(lái)把所有的日銷(xiāo)售額加起來(lái),用當天的數據除以總數,乘以百分數。每一分里寫(xiě)上日期和當天銷(xiāo)售額占總數的百分比,用這個(gè)百分數來(lái)統計半個(gè)月的數據。每個(gè)圖的做法都不一樣,但表達的意思都是同樣的,這就是日常生活中最常見(jiàn)的幾種數據統計。
聲明:本網(wǎng)站尊重并保護知識產(chǎn)權,根據《信息網(wǎng)絡(luò )傳播權保護條例》,如果我們轉載的作品侵犯了您的權利,請在一個(gè)月內通知我們,我們會(huì )及時(shí)刪除。
蜀ICP備2020033479號-4 Copyright ? 2016 學(xué)習?shū)B(niǎo). 頁(yè)面生成時(shí)間:3.425秒