Go 中的數(shù)據(jù)分析——如何使用 Gota 包
數(shù)據(jù)分析是過(guò)濾、操縱和處理原始數(shù)據(jù)和數(shù)據(jù)集以從中獲得洞察力的過(guò)程。
Python 和 R 通常是數(shù)據(jù)分析的首選語(yǔ)言。但是這些天，Go 正為此目的而變得越來(lái)越流行。
在本教程中，我們將介紹 Gota（Go 中的數(shù)據(jù)分析包）及其核心功能和用途。
先決條件
- 了解 Golang 中的函數(shù)式編程。
- 安裝了 Go 的 Golang IDE（我使用 Goland 和 Go 1.17.6，但您可以使用其他任何版本）
什么是戈塔？
Gota 是 Go 編程語(yǔ)言的數(shù)據(jù)框和數(shù)據(jù)整理模塊。
Gota 類似于 Python 中的 Pandas 庫(kù)，并且是為與 Gonum 接口而構(gòu)建的，?Gonum 是 Golang 中的一個(gè)科學(xué)計(jì)算包，就像 Pandas 和 Numpy 一樣。
Gota 模塊使 Go 中的數(shù)據(jù)整理（轉(zhuǎn)換和操作）操作變得非常容易。它適用于 Go 內(nèi)置數(shù)據(jù)類型和各種文件格式，如 JSON、CSV 和 HTML。
以下是我們將介紹的內(nèi)容：
- 哥達(dá)系列。
- 得到數(shù)據(jù)框。
- 將文件作為數(shù)據(jù)框讀取。
- Gota 數(shù)據(jù)幀上的操作。
- 導(dǎo)出和保存文件。
如何開(kāi)始使用 Gota
安裝 Gota 很容易。將以下命令粘貼到您的終端中：
go get -u https://github.com/go-gota/gota
這應(yīng)該會(huì)輸出成功的安裝消息。如果沒(méi)有，請(qǐng)將您的 Golang 更新到較新的版本并重試安裝。
基本的 Gota 概念
在深入研究之前，讓我們先了解一些 Gota 基礎(chǔ)知識(shí)：
數(shù)據(jù)集是數(shù)據(jù)的集合，表格或其他形式。
數(shù)據(jù)框是將數(shù)據(jù)組織成二維（行和列）表的數(shù)據(jù)結(jié)構(gòu)，通常用于分析目的。
系列是屬于數(shù)據(jù)框的一維數(shù)據(jù)的集合。
請(qǐng)注意，這DataFrame是本文中用作示例的數(shù)據(jù)框?qū)ο蟮淖兞棵Q。
什么是戈塔系列？
import "github.com/go-gota/gota/series"
Gota 系列是使用series.New復(fù)合數(shù)據(jù)類型（如切片和地圖）的方法創(chuàng)建的。
對(duì)于切片，[series.New](http://series.New)接受三個(gè)參數(shù)：切片、系列類型（要包含在系列中的元素的類型）和列名。
series.New([]string{"z", "y", "d", "e"}, series.String, "col")
系列也可以通過(guò)將鍵初始化為類型series并使用 Type 方法插入系列類型來(lái)從映射中創(chuàng)建。
a := map[string]series.Type{
"A": series.String,
"D": series.Bool,
}
這些切片可以傳遞到數(shù)據(jù)幀中以進(jìn)行進(jìn)一步的操作和操作。
什么是 Gota 數(shù)據(jù)框？
Dataframe 函數(shù)包含在 Gota 中的 dataframe 子模塊中。
import "github.com/go-gota/gota/dataframe"
數(shù)據(jù)幀是其他數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)結(jié)構(gòu)。本質(zhì)上，它們將數(shù)據(jù)格式化為二維表，以便您可以操作這些數(shù)據(jù)。因此，要使用數(shù)據(jù)幀，我們需要讀取其他數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)類型。
我們將在本教程中閱讀系列、結(jié)構(gòu)、JSON 和 CSV 文件。
如何將系列轉(zhuǎn)換為數(shù)據(jù)框?qū)ο?/strong>
您可以使用該方法將一個(gè)系列或一組系列轉(zhuǎn)換為數(shù)據(jù)框?qū)ο?/span>[dataframe.New](http://dataframe.New)。它以系列作為參數(shù)。
dataFrame := dataframe.New(
series.New([]string{"a", "b", "c", "d", "e"}, series.String, "alphas"),
series.New([]int{5, 4, 2, 3, 1}, series.Int, "numbers"),
series.New([]string{"a1", "b2", "c3", "d4", "e5"}, series.String, "alnums"),
series.New([]bool{true, false, true, true, false}, series.Bool, "state"),
)
fmt.Println(dataFrame)
輸出：
alphas numbers alnums state
0: a 5 a1 true
1: b 4 b2 false
2: c 2 c3 true
3: d 3 d4 true
4: e 1 e5 false
<string> <int> <string> <bool>
結(jié)構(gòu)類型的數(shù)據(jù)框
您可以使用結(jié)構(gòu)來(lái)創(chuàng)建數(shù)據(jù)框。
type Dog struct {
Name string
Colour string
Height int
Vaccinated bool
}
dogs := []Dog{
{"buster", "black", 56, false},
{"jake", "white", 61, false},
{"bingo", "brown", 50, true},
{"gray", "cream", 68, false},
}
dogsDf := dataframe.LoadStructs(dogs)
fmt.Println(dogsDf)
您可以通過(guò)創(chuàng)建 struct 類型的實(shí)例切片并使用dataframe.Loadstructs接收切片的方法創(chuàng)建數(shù)據(jù)幀來(lái)做到這一點(diǎn)。
輸出：
Name Colour Height Vaccinated
0: buster black 56 false
1: jake white 61 false
2: bingo brown 50 true
3: gray cream 68 false
<string> <string> <int> <bool>
如何在 Gota 中查詢數(shù)據(jù)框
當(dāng)我們有一個(gè)數(shù)據(jù)框?qū)ο髸r(shí)，我們可以使用各種方法查詢它以獲取有關(guān)數(shù)據(jù)框組成的信息。
dataFrame.Dims()→ 輸出數(shù)據(jù)框?qū)ο蟮木S度。dataFrame.Types()→ 輸出構(gòu)成數(shù)據(jù)幀的數(shù)據(jù)類型。dataFrame.Names()→ 輸出數(shù)據(jù)框的列名。dataFrame.Nrow()→ 輸出行數(shù)。dataFrame.Ncol()→ 輸出列數(shù)。
如何查詢列
Gota 數(shù)據(jù)框列附帶了許多方法，可幫助查詢列值。
.IsNaN()→ 檢查它是否為空列。.Mean()→ 返回列的平均值。.Copy()→ 創(chuàng)建列的新副本。.HasNaN()→ 檢查列中是否有空值。.Records()→ 返回列中的值。
aCol := dataFrame.Col("column_name") //selects a column
fmt.Println(aCol.HasNaN)
如何將文件讀入數(shù)據(jù)框?qū)ο?/strong>
JSON 和 CSV 字符串可以分別傳遞給dataframe.ReadJSON和dataframe.ReadCSV。
如何讀取 JSON 字符串
JSON 字符串變量作為參數(shù)傳遞給dataframe.ReadJSONusingstrings.NewReader返回緩沖的 JSON 字符串。
jsonString := `[
{
"Name": "John",
"Age": 44,
"Colour": "Red",
"Height(ft)": 6.7
},
{
"Name": "Mary",
"Age": 40,
"Colour": "Blue",
"Height(ft)": 5.7
}
]`
dataRead := dataframe.ReadJSON(strings.NewReader(jsonString))
fmt.Println(dataRead)
}
如何讀取 CSV 字符串
在這里，我們有 CSV 格式的相同字符串：
import (
"fmt"
"github.com/go-gota/gota/dataframe"
"strings"
)
csvString := `
Name, Age, Colour, Height(ft)
John,44,Red,6.7
Mary,40,Blue,5.7`
dataRead := dataframe.ReadCSV(strings.NewReader(csvString))
fmt.Println(dataRead)
輸出：
Name Age Colour Height(ft)
0: John 44 Red 6.700000
1: Mary 40 Blue 5.700000
如何讀取 CSV 文件
這是 CSV：
Name,Age,Colour,Height(ft)
John,44,Red,6.7
Mary,40,Blue,5.7
Esther,35,Black,4.9
Jason,36,Green,5.2
您可以通過(guò)讀取包含[os.Open](http://os.Open)文件名的文件來(lái)讀取 CSV 文件。defer file.Close()是一個(gè)上下文管理器，它可以幫助我們?cè)诔绦蜻\(yùn)行后關(guān)閉文件以防止數(shù)據(jù)丟失。
file, err := os.Open("example.csv")
defer file.Close()
if err != nil {
log.Fatal(err)
}
dataFrame := dataframe.ReadCSV(file)
fmt.Println(dataFrame)
如何讀取 JSON 文件
讀取 JSON 文件與讀取 CSV 文件完全一樣。
這是 JSON：
[
{
"Name": "John",
"Age": 44,
"Colour": "Red",
"Height(ft)": 6.7
},
{
"Name": "Mary",
"Age": 40,
"Colour": "Blue",
"Height(ft)": 5.7
},
{
"Name": "Esther",
"Age": 35,
"Colour": "Black",
"Height(ft)": 4.9
},
{
"Name": "Mary",
"Age": 40,
"Colour": "Green",
"Height(ft)": 5.2
}
]
以下是您閱讀文件的方式：
file, err := os.Open("example.json")
defer file.Close()
if err != nil {
log.Fatal(err)
}
dataFrame := dataframe.ReadJSON(file)
fmt.Println(dataFrame)
輸出：
Age Colour Height(ft) Name
0: 44 Red 6.700000 John
1: 40 Blue 5.700000 Mary
2: 35 Black 4.900000 Esther
3: 40 Green 5.200000 Mary
<int> <string> <float> <string>
Gota 數(shù)據(jù)框操作
如何在 Gota 中選擇行
Subset您可以使用數(shù)據(jù)框?qū)ο蟮姆椒ㄟx擇行。dataFrame.Subset接受兩個(gè)整數(shù)的切片，表示可以選擇的行數(shù)。
Gota 為數(shù)據(jù)幀操作提供了多種功能。使用上面的示例數(shù)據(jù)框，讓我們回顧一下其中的一些操作：
row := dataFrame.Subset([]int{0, 2})
這將選擇數(shù)據(jù)框的前兩行。
輸出：
Age Colour Height(ft) Name
0: 44 Red 6.700000 John
1: 35 Black 4.900000 Esther
<int> <string> <float> <string>
如何在 Gota 中選擇列
該Select方法幫助我們選擇數(shù)據(jù)框的列。[df.Select](http://df.Select)接受兩個(gè)整數(shù)的切片，表示可以選擇多少列。
column := dataFrame.Select([]int{0, 2})
我們還可以通過(guò)傳遞一個(gè)字符串切片按索引（列名）選擇列。
column := dataFrame.Select([]string{"Name", "Colour"})
輸出：
Name Colour
0: John Red
1: Mary Blue
2: Esther Black
3: Mary Green
<string> <string>
如何在 Gota 中更新數(shù)據(jù)框
我們使用.Set數(shù)據(jù)框?qū)ο蟮姆椒▉?lái)更新條目。dataFrame.Set接收指定要更新的行數(shù)限制的整數(shù)切片，以及dataframe.LoadRecords接收要傳入類型的二維切片的函數(shù)。
dataFrame2 := dataFrame.Set(
[]int{0, 3},
dataframe.LoadRecords(
[][]string{
[]string{"Jenny", "23", "purple", "2.2"},
[]string{"Jesse", "34", "indigo", "3.5"},
[]string{"Peter", "33", "violet", "3.3"},
},
),
)
輸出：
Name Age Colour Height(ft)
0: Jesse 34 indigo 3.500000
1: Mary 40 Blue 5.700000
2: Esther 35 Black 4.900000
3: Peter 33 violet 3.300000
<string> <int> <string> <float>
如何在 Gota 中過(guò)濾值
為了過(guò)濾值，我們.Filter在數(shù)據(jù)框?qū)ο笊鲜褂谩＿@需要dataframe.F我們將結(jié)構(gòu)文字傳遞給。
struct 文字包含一個(gè)列名Colname、一個(gè)比較器Comparator和一個(gè)值Comparando，該值是我們要過(guò)濾數(shù)據(jù)幀的值。
比較器：
series.Eq→ 等于 =。series.Neq→ 不等于≠。series.Greater→ 大于 >。series.GreaterEq→ 大于或等于 ≥。series.Less→ 小于 <。series.LessEq→ 小于或等于 ≤。[series.In](http://series.In)→ 包含在。
在此示例中，我們使用從系列到上面的數(shù)據(jù)框部分的數(shù)據(jù)框?qū)ο蟆?/span>
fil := dataFrame.Filter(
dataframe.F{Colname: "alphas", Comparator: series.Eq, Comparando: "b"},
)
輸出：
alphas numbers alnums state
0: b 2 b2 false
<string> <int> <string> <bool>
如何在 Gota 中對(duì)數(shù)據(jù)框進(jìn)行排序
.Arrange您可以使用數(shù)據(jù)框?qū)ο蟮姆椒▽?duì)數(shù)據(jù)框進(jìn)行排序。它分別按升序dataframe.Sort或dataframe.RevSort降序排列。它還接受要作為字符串排序的列的名稱。
按升序排序：
sorted := dataFrame.Arrange(
dataframe.Sort("numbers")
)
輸出：
alphas numbers alnums state
0: e 1 e5 false
1: c 2 c3 true
2: d 3 d4 true
3: b 4 b2 false
4: a 5 a1 true
<string> <int> <string> <bool>
按降序排序：
sorted := dataFrame.Arrange(
dataframe.RevSort("numbers"),
)
如何在 Gota 中使用 Groupby
您可以使用 groupby 根據(jù)特定列對(duì)數(shù)據(jù)進(jìn)行分類。
要使用 Gota 對(duì)列進(jìn)行分組，我們使用該Groupby方法并傳入列名。
categorise := dataFrame.GroupBy("Name", "Age")
fmt.Println(categorise)
如何在 Gota 中加入數(shù)據(jù)框
連接是數(shù)據(jù)框的組合。使用 Gota 連接數(shù)據(jù)幀就像在 SQL（結(jié)構(gòu)化查詢語(yǔ)言）中一樣。
連接類型：
- 內(nèi)連接 →
dataFrame.InnerJoin返回兩個(gè)表中匹配值的數(shù)據(jù)框。 - Left Join →
dataFrame.LeftJoin匹配右數(shù)據(jù)幀與左數(shù)據(jù)幀的相似性。 - Right Join →
dataFrame.RightJoin將左側(cè)數(shù)據(jù)幀中的相似性與右側(cè)數(shù)據(jù)幀匹配。 - Outer Join → dataFrame
.OuterJoin返回?cái)?shù)據(jù)框的所有值。
加入數(shù)據(jù)框?qū)ο蟮恼Z(yǔ)法是：
joinVariableName := dataFrameObject.joinType(OtherDataframe, JoinKey)
Join 鍵是要執(zhí)行連接的數(shù)據(jù)框?qū)ο蟮牧小?/span>
左連接示例
df := dataframe.New(
series.New([]string{"a", "b", "c", "d", "e"}, series.String, "alphas"),
series.New([]int{5, 4, 2, 3, 1}, series.Int, "numbers"),
series.New([]string{"a1", "b2", "c3", "d4", "e5"}, series.String, "alnums"),
series.New([]bool{true, false, true, true, false}, series.Bool, "state"),
)
df2 := dataframe.New(
series.New([]string{"f", "g", "h", "i", "j"}, series.String, "alphas"),
series.New([]int{1, 2, 3, 4, 5}, series.Int, "numbers"),
series.New([]string{"f6", "g7", "h8", "i9", "j10"}, series.String, "alnums"),
series.New([]bool{false, true, false, false, true}, series.Bool, "state"),
)
join := df.RightJoin(df2, "state")
fmt.Println(join)
輸出：
[12x7] DataFrame
state alphas_0 numbers_0 alnums_0 alphas_1 numbers_1 alnums_1
0: false b 4 b2 f 1 f6
1: false e 1 e5 f 1 f6
2: true a 5 a1 g 2 g7
3: true c 2 c3 g 2 g7
4: true d 3 d4 g 2 g7
5: false b 4 b2 h 3 h8
6: false e 1 e5 h 3 h8
7: false b 4 b2 i 4 i9
8: false e 1 e5 i 4 i9
9: true a 5 a1 j 5 j10
... ... ... ... ... ... ...
<bool> <string> <int> <string> <string> <int> <string>
如何在 Gota 中將函數(shù)應(yīng)用于數(shù)據(jù)框
要將函數(shù)應(yīng)用于數(shù)據(jù)框的列和行，我們分別使用Capply和Rapply。這些接受要應(yīng)用于列或行的函數(shù)。
dataFrame.Capply(function)
dataFrame.Rapply(function)
如何在 Gota 中對(duì)數(shù)據(jù)框使用描述
在數(shù)據(jù)框?qū)ο笊鲜褂?/span>Describe()會(huì)返回有關(guān)數(shù)據(jù)框值的描述性統(tǒng)計(jì)信息。
description := dataFrame.Describe()
輸出：
column alphas numbers alnums state
0: mean - 3.000000 - 0.600000
1: median - 3.000000 - NaN
2: stddev - 1.581139 - 0.547723
3: min a 1.000000 a1 0.000000
4: 25% - 2.000000 - 0.000000
5: 50% - 3.000000 - 1.000000
6: 75% - 4.000000 - 1.000000
7: max e 5.000000 e5 1.000000
<string> <string> <float> <string> <float>
如何導(dǎo)出數(shù)據(jù)框（在 Go 中編寫(xiě)文件）
WriteCSV我們使用數(shù)據(jù)框?qū)ο蟮姆椒▽?dǎo)出操作數(shù)據(jù)。dataFrame.WriteCSV接受它創(chuàng)建或插入的文件名。
file, err := os.Create("output.csv")
if err != nil {
log.Fatal(err)
}
dataFrame.WriteCSV(file.extension)
要導(dǎo)出 JSON，我們dataFrame.WriteJSON以相同的方式使用。
結(jié)論
在本教程中，您學(xué)習(xí)了如何在 Go 中執(zhí)行數(shù)據(jù)分析。您還了解了 Gota 包的各種功能。
主要使用 Python 和 R 進(jìn)行數(shù)據(jù)分析仍然是一個(gè)好主意，因?yàn)樗鼈儽徽J(rèn)為是行業(yè)標(biāo)準(zhǔn)。但是 Gota 對(duì)于需要速度和同質(zhì)性的應(yīng)用程序很有用。