行業觀瞻

技術熱點

面試寶典

青鳥動態

資料下載

其他

在線咨詢

五款必備高效Python數據分析庫，你知道幾個？

來源：北大青鳥總部 2020年08月06日 10:21

摘要：五款必備高效Python數據分析庫，你知道幾個？

在大數據時代，數據思維已開始深刻變革各行各業，從我們的電商消費信息、運動軌跡、社交數據、產品使用習慣，到企業的調研、設計、產品、運營、營銷，再到交通、金融、生產制造、公共服務。而由于Python在數據獲取、數據處理、數據分析、數據挖掘、數據可視化、機器學習、人工智能等方面有著非常多成熟的庫以及活躍的社區，構成數據科學領域最為完整且完善的生態。

尤其是在NLP（自然語言處理）項目中，用Python來處理數據也就變得更加廣泛了。下面將詳細地介紹五款必備的高效Python數據分析庫。這會對我們編寫高級復雜的程序幫助很大。但不用擔心，你不需要有任何技術基礎就可上手這些庫。

一.Numerizer庫，文本數字的分析轉換

Numerizer是一個將自然語言中文本數字快速轉換為整數型（int）和浮點型（float）數字的Python模塊或庫。它是一個開源的GitHub項目（https://github.com/jaidevd/numerizer）。特別說明，為了方便演示該庫的使用。這里推薦使用Anaconda,它是一個開源的Python發行版本，其包含了conda、Python等180多個科學包及其依賴項，非常適合初學者。

1.Numerizer庫的安裝

打開Anaconda的終端，輸入如下語句進行Numerizer庫的安裝。

pipinstall numerizer

2.Numerizer庫實例演示

安裝完成后，我們可以運行Anaconda內置的spyder，并輸入以下語句

fromnumerizer import numerize

numerize('fortytwo')

numerize('forty-two')

numerize('fourhundred and sixty two')

numerize('onefifty')

numerize('twelvehundred')

numerize('twentyone thousand four hundred and seventy three')

numerize('onemillion two hundred and fifty thousand and seven')

numerize('onebillion and one')

numerize('nineand three quarters')

numerize('platformnine and three quarters')

程序運行結果如下圖所示，可以很清楚地發現，英文文字數字被準備轉換成了相應的數字。

二.Missingo庫，丟失值可視化分析

在現實世界的數據集中發現丟失值是很普遍的。每次處理數據時，缺失值是必須要考慮的問題。但是手工查看每個變量的缺失值是非常麻煩的一件事情。數據分析之前首先要保證數據集的質量。Missingo就是一個可視化丟失值的庫。它提供了一個靈活且易于使用的缺失數據可視化和實用程序的小工具集，使您可以快速直觀地總結數據集的完整性。（該庫的GitHub地址：https://github.com/ResidentMario/missingno）

1.Missingo庫的安裝

這里同樣是使用Anaconda，打開Anaconda的終端后，輸入如下語句進行Missingo庫的安裝

pipinstall missingno

2. Missingo庫實例演示

下面的樣例數據使用NYPD Motor VehicleCollisions Dataset 數據集.運行下面語句即可獲得數據

pipinstall quilt

quiltinstall ResidentMario/missingno_data

之后，加載數據到內存，輸入以下語句

fromquilt.data.ResidentMario import missingno_data

collisions= missingno_data.nyc_collision_factors()

collisions= collisions.replace("nan", np.nan)

在Missingo庫中，有幾個主要函數以不同方式的可視化展示數據集數據缺失情況。其中，Matrix是使用最多的函數，能快速直觀地看到數據集的完整性情況。輸入以下語句：

importmissingno as msno

%matplotlibinline

msno.matrix(collisions.sample(250))

程序運行后，矩陣顯示的結果如下。圖中右邊顯示的迷你圖總結了數據集的總的完整性分布，并標出了完整性最大和最小的點。

特別說明，這里也可以通過figsize指定輸出圖像大小，例如下面語句：msno.matrix(collisions.sample(250),figsize=(12,5))

此外，msno.bar函數也是一個非常有用的函數，可以簡單地展示無效數據的條形圖。

msno.bar(collisions.sample(1000))

程序運行后，顯示的數據條形圖：

三.Faker庫，虛擬測試數據生成器

在軟件需求、開發、測試過程中，我們可能會遇到需要生成一些測試數據或在分析中使用一些虛擬數據的情況。針對這種情況，我們一般要么使用已有的系統數據，要么需要手動制造一些數據。但由于現在的業務系統數據多種多樣，千變萬化。在手動制造數據的過程中，可能需要花費大量精力和工作量，此項工作既繁復又容易出錯，而且，部分數據的手造工作無法保障：比如UUID類數據、MD5、SHA加密類數據等。

Faker是一個Python庫，開源的GITHUB項目（https://github.com/joke2k/faker），主要用來創建偽數據，使用Faker包，無需再手動生成或者手寫隨機數來生成數據，只需要調用Faker提供的方法，即可完成數據的快速生成。

1.Faker庫的安裝

pipinstall faker

2.Faker庫實例演示

輸入下面語句，引用初始化

fromfaker import Faker

f=Faker(locale='zh_CN')

特別說明，關于初始化參數locale：為生成數據的文化選項，默認為英文（en_US）。如果要生成相對應的中文隨機信息（比如：名字，地址，郵編，城市，省份等），需使用zh_CN值。

之后，輸入下面語句，將隨機生成假的中文名字和地址，非常簡單易用。

fori in range(1,100):

  print(f.name()+" "+f.address())

運行結果如下：

四.Emot庫，表情符號數據分析

在情感數據分析方面，收集和分析有關表情符號的數據可以提供非常有用的信息。而表情符號是一種小到可以插入到表達情感或想法的文本中的圖像。它僅由使用鍵盤字符（如字母、數字和標點符號）組成。

Emot庫也是一個開源Github項目（https://github.com/NeelShah18/emot），可以幫助我們把表情符號emojis和emoticons轉換成單詞。它有一個很全面的表情符號與相應單詞映射的集合。

1.Emot庫的安裝，

輸入以下語句即可自動安裝

pipinstall emot

2.Emot庫實例演示

輸入下面語句

importemot

text= "I love python                     

                                                            標簽:
                                                                    
                                        python                                    
                                                                    
                                        python培訓                                    
                                                                    
                                        python學習                                    
                                                                    
                                        python機構                                    
                                                                    
                                        python知識