面向數據科學家的 ChatGPT：釋放 AI 驅動的洞察力

隨著ChatGPT的出現，世界各地的個人和企業一直在使用它來簡化他們的日常任務並提高他們的生產力。內容作者使用它來為他們的任務提出大綱，而程序員則使用它來優化代碼。同樣，數據科學家一直在使用 ChatGPT 通過他們的項目進行更有洞察力的分析。

ChatGPT 是面向數據科學家的強大工具，可以增強您的工作並幫助您快速、準確地找到各種數據相關問題的答案。它可以簡化您的工作流程並使您的分析更加高效和有效。

在本文中，我們將探討 ChatGPT 如何通過提供動態反饋和建議來提升您的數據科學技能。我們將介紹主要功能、最佳實踐和有價值的提示，以幫助您在項目中充分利用 ChatGPT。

讓我們開始吧！

目錄

• 用於數據科學的 ChatGPT
• ChatGPT 基礎知識——3 種使用方法
  • 1.文本處理
  • 2.提示和響應
  • 三、算法概述
• ChatGPT 的 4 個數據科學家用例？
  • 1. 預處理與特徵工程
    • 1.處理缺失值
    • 2. 處理分類變量
    • 3.縮放數值變量
  • 2.使用ChatGPT進行數據分析和可視化
• 最後的想法

用於數據科學的 ChatGPT

ChatGPT 因其在日常工作中協助數據科學家的能力而逐漸受到歡迎。它可以理解大量數據並生成代碼片段以進行可靠的分析。

作為一名數據科學家，使用 ChatGPT 可以改變項目規劃、代碼調試、代碼優化和數據挖掘等任務的遊戲規則。

ChatGPT 支持幾乎所有的編程語言，例如 SQL、R 和 Python。例如，通過正確的 SQL 代碼提示，ChatGPT 可以幫助您為您的項目編寫 SQL 代碼。它還可以翻譯 Python、描述 regex和執行單元測試。

您會發現 ChatGPT 對以下數據科學工作很有幫助：

• 分析和總結廣泛的數據集

• 使用正確的數據科學提示創建內容

• 從數據中產生洞察力

• 協助數據預處理

• 為常見任務提供代碼示例

如果您希望提高工作效率，ChatGPT 是必備工具。它集軟件開發人員、代碼翻譯人員、代碼優化人員、數據科學職業教練和數據科學講師於一身！

在下一節中，我們將介紹 ChatGPT 的基礎知識。這將使您了解 AI 聊天機器人的優缺點。

ChatGPT 基礎知識——3 種使用方法

在本節中，您將了解 ChatGPT 的核心功能和特性，這些使其成為數據科學家的寶貴工具。

了解這些基礎知識將使您深入了解 ChatGPT 如何幫助您完成各種與數據相關的任務。

1.文本處理

ChatGPT 使用文本數據來創建類似人類的響應。作為數據科學家，您可以利用 ChatGPT 的強大功能來分析大型數據集、描述圖形需求並生成見解。

文本處理的一些重要特性包括：

• 標記化：將輸入文本分解為塊或標記，然後由 ChatGPT 處理。

• 預處理：去除停用詞、詞幹提取和其他文本清理技術可以提高分析質量。

• 文本生成：使用聊天模型根據您的數據或特定提示生成文本。

2.提示和響應

好的提示會給你好的回應。提示對於指導 ChatGPT 提供有意義的信息至關重要。使用數據和代碼時，請確保您使用詳細的提示以獲得所需的結果。

我們在下面列出了一些編寫好的提示的技巧：

• 提示要具體：清晰詳細的提示有助於 ChatGPT 更好地理解您的要求。例如，如果您想將其用作 Python 概念的代碼解釋器，請編寫一個 Python 提示符，指定您想要學習的所有內容。

• 在提示中包含上下文：上下文信息有助於 ChatGPT 生成準確的響應。

• 反复完善您的提示：如果生成的響應不令人滿意，請提供反饋，然後重試。

作為數據科學家，您可以使用 ChatGPT的提示示例：

"Provide a brief explanation of k-means clustering algorithm."

"Generate Python code to open a CSV file and display its contents using pandas library."

"Compare linear regression and logistic regression."

三、算法概述

ChatGPT 建立在 GPT-3.5 架構之上。它是由OpenAI開發的一種高級語言模型，它採用深度學習算法來生成類似人類的響應。

您應該了解的 ChatGPT 的一些核心組件包括：

• 深度學習：ChatGPT 使用神經網絡來處理和理解文本。這些神經網絡使其能夠生成相關的響應。

• 訓練：該模型是根據來自各種來源（包括書籍、文章和網站）的大量文本數據進行訓練的。

• 多語言支持：經過大量培訓，ChatGPT 可以理解和生成多種語言的文本。

在下一節中，我們將查看用於數據科學的 ChatGPT 的具體示例和用例。

ChatGPT 的 4 個數據科學家用例？

如果您是數據科學家，則可以在項目中將 ChatGPT 用於多種用途。您會發現每個用例都會幫助您以最少的工作量編寫代碼。

具體來說，我們將為數據科學家研究以下 ChatGPT 用例：

1. 使用 ChatGPT 進行預處理和特徵工程

2. 使用ChatGPT進行數據分析和數據可視化

讓我們開始吧！

1. 預處理與特徵工程

如果要分析數據，預處理和特徵工程在準備建模數據方面起著至關重要的作用。

數據分析工作流的這一步驟與數據清理和轉換密切相關，您必須在其中更改數據以使其適合模型。

在執行任務時，我們主要看以下兩個方面：

1. 處理缺失值和分類變量

2. 縮放數值

讓我們分別看看每一個，看看 ChatGPT 如何提供幫助。

1.處理缺失值

首先，您需要評估數據集中是否存在缺失值。

有多種處理缺失數據的策略，包括：

• 刪除具有缺失值的記錄

• 用均值、中值或眾數估算缺失值

• 使用機器學習模型預測缺失值

要使用 ChatGPT 生成處理缺失值的代碼，您可以在命令提示符中輸入以下 Python 代碼提示：

我想讓你扮演一名數據科學家。編寫使用 Pandas 庫讀取名為“data.csv”的 CSV 文件的 Python 代碼，檢查數據中是否存在任何缺失值，然後使用相應列的平均值填充任何缺失值。

當你在 ChatGPT 中輸入這個提示時，它會為你編寫如下Python代碼，包括代碼註釋：

import pandas as pd

# Load data
data = pd.read_csv('data.csv')

# Check for missing values
missing_values = data.isnull().sum()

# Impute missing values using the mean
data.fillna(data.mean(), inplace=True)

讓我們在數據集上檢查上面的代碼！

首先，我們將使用 pandas 庫將數據集導入 Jupyter Notebook。

接下來，讓我們使用 ChatGPT 提供的代碼檢查缺失值。

我們看到我們的數據集中有一些缺失值。

為了處理缺失值，我們可以使用 ChatGPT 提供的代碼使用均值來估算缺失值。

在上圖中，您可以看到我們的數據集中不再有任何缺失值。

2. 處理分類變量

處理分類變量是預處理過程中的另一個重要步驟。在實施模型和使用模型的結果之前，您應該將目標變量編碼為機器學習算法可以理解的數字格式。

為此，您可以使用以下方法之一：

• 標籤編碼：為每個類別分配一個唯一的整數

• One-hot encoding：為每個類別創建二進制列

在標籤編碼中，您為每個類別分配一個唯一的整數。您可以使用ChatGPT編寫標籤編碼代碼。以下提示將為您提供標籤編碼所需的代碼：

作為一名數據科學講師，使用 pandas 和 sklearn 庫編寫 Python 腳本，創建一個包含“姓名”、“年齡”、“性別”和“職業”列的 DataFrame。然後，使用標籤編碼來轉換“Profession”列。之後，在“Profession”列上執行 one-hot encoding。

當輸入 ChatGPT 時，上面的代碼將為您提供以下代碼：

import pandas as pd
from sklearn.preprocessing import LabelEncoder

# Label encoding for the 'Profession' column
encoder = LabelEncoder()
data['Profession'] = encoder.fit_transform(data['Profession'])

# One-hot encoding for the 'Profession' column
data = pd.get_dummies(data, columns=['Profession'])

讓我們在數據集上檢查這段代碼，看看它是否有效！

假設我們有以下要對其執行標籤和單熱編碼的數據集：

我們看到 Profession 是一個分類變量；因此，我們需要在實現機器學習模型之前對這個變量進行編碼。要進行編碼，我們可以使用 ChatGPT 提供的代碼。

我們為數據集中的每個職業類別分配了一個唯一的整數。

要進行標籤編碼，我們可以使用ChatGPT提供的代碼：

另一方面，one-hot 編碼為每個職業類別創建二進制變量，如下圖所示：

上面的示例應該讓您了解如何將 ChatGPT 與您的數據科學項目一起使用。

在實施機器學習模型之前，我們需要執行的另一個常見步驟是編碼和縮放，因此讓我們看看如何使用 ChatGPt 來幫助數據科學家進行編碼和縮放。

3.縮放數值變量

通常，當您處理數據時，您可能會遇到過小或過大的數字。在這種情況下，您需要縮放數值變量。使用縮放方法，您可以調整數值變量以具有統一的比例。

有兩種縮放數值變量的方法：

• 最小-最大縮放：縮放 0 和 1 之間的值

• Standard scaling：將數據集中在平均值周圍，標準差為 1

讓我們在數據集上實現上述兩種數值縮放方法。

假設“年齡”列是我們用於標準縮放和最小-最大縮放的數值變量。您可以使用以下提示為上述兩種縮放技術生成代碼。

作為軟件開發人員，通過為 DataFrame 中的“年齡”列添加標準縮放和最小-最大縮放來擴展之前的 Python 腳本。使用 sklearn 的 StandardScaler 進行標準縮放，使用 MinMaxScaler 進行最小-最大縮放。首先應用標準縮放，然後是最小-最大縮放。

ChatGPT 會給你一個類似下面的代碼：

from sklearn.preprocessing import StandardScaler, MinMaxScaler

# Standard scaling for the 'Age' column
std_scaler = StandardScaler()
data['Age'] = std_scaler.fit_transform(data[['Age']])

# Min-max scaling for the 'Age' column
min_max_scaler = MinMaxScaler()
data['Age'] = min_max_scaler.fit_transform(data[['Age']])

讓我們在我們的描述數據集上實現這段代碼。首先，我們將使用標準縮放技術縮放年齡變量，如下所示：

接下來，我們將使用最小-最大縮放技術，使用 ChatGPT 給出的代碼來縮放我們的年齡變量：

現在，您的數據已準備好進行特徵工程。您現在可以探索數據集中變量之間的關係，以創建新特徵並提高模型性能。

2.使用ChatGPT進行數據分析和可視化

作為數據科學家，通過執行探索性數據分析(EDA)開始您的數據科學項目至關重要。在此階段，您將深入研究數據，對其進行清理和預處理，為進一步分析做準備。

使用像 ChatGPT 這樣的語言模型可以顯著提高您在 EDA 期間的工作效率。使用 ChatGPT，您可以自動執行基本任務，例如創建 pandas DataFrame 或生成摘要統計信息。這使您可以專注於更複雜的任務。

在數據探索階段，數據科學家可以使用 ChatGPT 為各種任務生成代碼片段，例如：

• 將數據加載到 pandas DataFrame 中

• 可視化缺失值並適當處理它們

• 創建直方圖、散點圖或其他類型的圖來探索變量分佈和關係

讓我們看一下上述每個任務的示例！

我們將對包含以下列的數據集執行 EDA：Age、Salary、Experience、Job_Role

假設您有一個要加載到 pandas DataFrame 中的數據集。您可以使用以下數據集提示：

作為一名數據科學家，編寫 Python 代碼以使用 Seaborn 庫中的熱圖可視化數據集中的缺失值。之後，通過將缺失值替換為數值列的平均值和分類列的最常見類別來處理缺失值。

ChatGPT 會給你一個類似下面的代碼：

import seaborn as sns
import matplotlib.pyplot as plt

# Visualizing missing values
plt.figure(figsize=(12, 8))
sns.heatmap(data.isnull(), cbar=False, cmap='viridis')
plt.show()

# Handling missing values - imputing with mean value (for numeric columns)
data.fillna(data.mean(), inplace=True)
# For categorical columns, we can fill the missing values with the most frequent category
data['Job_Role'].fillna(data['Job_Role'].mode()[0], inplace=True)

以下熊貓代碼將首先可視化數據集中的缺失值，如下所示：

然後它將通過用平均值估算它們來處理缺失值。

要了解有關在 Python 中處理缺失值的更多信息，請觀看以下視頻：

為了使數據可視化，您可以向 ChatGPT提供以下提示：

充當數據科學家並編寫 Python 腳本以使用 matplotlib 為數據集中的“年齡”列創建直方圖

ChatGPT 將為您提供類似於以下的代碼：

data['Age'].hist(bins=30)
plt.xlabel('Age')
plt.ylabel('Frequency')
plt.show()

上面的代碼將可視化數據集中的年齡列。

最後的想法

ChatGPT 為數據科學家提供了巨大的價值。首先，它節省了時間。正如我們所見，它可以為數據加載、處理缺失值或創建繪圖等任務快速生成代碼。這意味著您可以專注於項目的大局，而不僅僅是編碼細節。

其次，它易於使用。充分利用 ChatGPT 的關鍵是學會通過提示工程向它提出正確的問題。在您練習時，您會更好地構建提示，使 ChatGPT 成為更有用的工具。

ChatGPT 是你數據科學之旅的得力助手，但你不應該完全依賴 ChatGPT 來做你的項目。相反，將它用作助手並與之並肩學習，以便您的技能隨著時間的推移而增長！