前言

2020 年全球的关键词非COVID19 莫属。虽然现在关于病毒的起源众说纷纭,也引起了不小的外交冲突。作为数据爱好者,还是用数据说话比较靠谱。

COVID19数据来源有很多,这里仅仅选kaggle上的数据,链接如下:https://www.kaggle.com/sudalairajkumar/novel-corona-virus-2019-dataset。 这里面的数据会持续更新,所以你拿到的数据可能会和我不同。

该链接共包含以下数据集:

  • COVID19_line_list_data.csv(358.85 KB)--> 关于一些每次确诊个例的报告
  • COVID19_open_line_list.csv(2.93 MB)--> 更详细的确诊个例报告
  • covid_19_data.csv(1.53 MB)--> 各国确诊数据,时间线为行
  • time_series_covid_19_confirmed.csv(100.3 KB)--> 时间线为列的各国确诊数据
  • time_series_covid_19_confirmed_US.csv(1.11 MB)--> 美国确诊相关的数据
  • time_series_covid_19_deaths_US.csv(1.04 MB)--> 美国死亡数据
  • time_series_covid_19_deaths.csv(76.09 KB)--> 时间线为列的各国死亡数据
  • time_series_covid_19_recovered.csv(84.62 KB)-->时间线为列的治愈人数数据

各个数据集的侧重点不同,今天我们分析一下第一组数据,COVID19_line_list_data。



加载数据

首先还是加载一些包,我首先预计会用到这几个包,后面用的包会在后面导入。

import plotly.graph_objects as go
from collections import Counter
import missingno as msno
import pandas as pd

数据源我已经提前下好,并且放到代码所在路径的data 文件中,你可以根据你的情况调整路径。

line_list_data_file = 'data/COVID19_line_list_data.csv'

一如既往,首先查看数据统计信息。

line_list_data_raw_df = pd.read_csv(line_list_data_file)
print(line_list_data_raw_df.info())
print(line_list_data_raw_df.describe())

结果如下,系统识别出了27列的数据,但是仔细看,有多列数据Non-Null Count 为0,意味着为空列,样本量为1085行。

Backend TkAgg is interactive backend. Turning interactive mode on.
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1085 entries, 0 to 1084
Data columns (total 27 columns):
 #   Column                 Non-Null Count  Dtype  
---  ------                 --------------  -----  
 0   id                     1085 non-null   int64  
 1   case_in_country        888 non-null    float64
 2   reporting date         1084 non-null   object 
 3   Unnamed: 3             0 non-null      float64
 4   summary                1080 non-null   object 
 5   location               1085 non-null   object 
 6   country                1085 non-null   object 
 7   gender                 902 non-null    object 
 8   age                    843 non-null    float64
 9   symptom_onset          563 non-null    object 
 10  If_onset_approximated  560 non-null    float64
 11  hosp_visit_date        507 non-null    object 
 12  exposure_start         128 non-null    object 
 13  exposure_end           341 non-null    object 
 14  visiting Wuhan         1085 non-null   int64  
 15  from Wuhan             1081 non-null   float64
 16  death                  1085 non-null   object 
 17  recovered              1085 non-null   object 
 18  symptom                270 non-null    object 
 19  source                 1085 non-null   object 
 20  link                   1085 non-null   object 
 21  Unnamed: 21            0 non-null      float64
 22  Unnamed: 22            0 non-null      float64
 23  Unnamed: 23            0 non-null      float64
 24  Unnamed: 24            0 non-null      float64
 25  Unnamed: 25            0 non-null      float64
 26  Unnamed: 26            0 non-null      float64
dtypes: float64(11), int64(2), object(14)
memory usage: 229.0+ KB
None
                id  case_in_country  ...  Unnamed: 25  Unnamed: 26
count  1085.000000       888.000000  ...          0.0          0.0
mean    543.000000        48.841216  ...          NaN          NaN
std     313.356825        78.853528  ...          NaN          NaN
min       1.000000         1.000000  ...          NaN          NaN
25%     272.000000        11.000000  ...          NaN          NaN
50%     543.000000        28.000000  ...          NaN          NaN
75%     814.000000        67.250000  ...          NaN          NaN
max    1085.000000      1443.000000  ...          NaN          NaN
[8 rows x 13 columns]

删除空列

pandas 提供了方便的dropna 函数,可以识别出所有的nan 数据,并且标识为True,Dataframe 可以对每列(axis=1)的所有布尔标识进行逻辑运算(any 或者是all),相当于or 或者and 运算,之后得到1维的标识,进行删除。 个人习惯于对一个dataframe 直接操作,可以节省变量内存,因此后续很多操作都会设置inplace=True。

line_list_data_raw_df.dropna(axis=1, how='all', inplace=True)
print(f'df shape is {line_list_data_raw_df.shape}')
df shape is (1085, 20)

数据缺失可视化

缺失值查询很简单,用info函数很容易得到统计数据,但是这里我们可以用图画来更直观的展示数据的缺失情况。

missingno 是专门进行缺失数据可视化的python 库,它自带多个可视化类型,比如matrix,bar chart,dendrogram等。对于小样本量,matrix会是不错的选择,更大的数据量可以选用dendrogram。 关于该库更多的详情,请参考github:https://github.com/ResidentMario/missingno。

msno.matrix(df=line_list_data_raw_df, fontsize=16)

结果如下:左侧栏(Y轴)是样本量,我们最多的样本量为1085个。横坐标是特征名称,因为我们的特征比较少,所以可以清晰的展示。黑色表示该特征样本齐全,白色间隙表示该特征缺失部分样本。可以看到case_in_country 有样本缺失,而且集中在开始。画面的右侧有一条曲线(sparkline),用于展示每个样本特征个数。比如有个数字10,表示该行只有10个特征,数字20表示最多的一个样本有20个特征。



花式填充数据

数据清理的很关键的一种就是数据填充,下面我们就要针对不同的列进行填充,文中用的填充思路可能不是最佳的,但是目的是为了展示不同的填充方法的实现形式。我们不会简单的一根筋,只会填充为常数,均值或者其他统计指标。

时间格式的转换

我们注意到有几列是时间相关的特征,我们首先要将其转成时间格式,python的时间格式很多,由于我们后续操作都用pandas,因此我这里将其转为pandas中的时间格式(Timestamp)。 我们可以先看一下不转时间格式,曲线图效果如何。我们采用plotly 画图,具体看代码。为什么用plotly? 因为可以交互!!

fig = go.Figure()
for col in date_cols:
    fig.add_trace(go.Scatter(y=line_list_data_raw_df[col], name=col))
fig.show()

可以看到Y坐标(红色框内所示)乱成一团。

我们查看一下这几列的数据格式有哪些。

date_cols = [
    'reporting date',
    'symptom_onset',
    'hosp_visit_date',
    'exposure_start',
    'exposure_end']

print(line_list_data_raw_df[date_cols].head(5))
print(line_list_data_raw_df[date_cols].tail(5))

可以看到结果中时间格式有多种,有的是1/20/2020, 有的是01/03/20,还有很多是NaN缺失。

reporting date symptom_onset hosp_visit_date exposure_start exposure_end
0      1/20/2020      01/03/20        01/11/20     12/29/2019     01/04/20
1      1/20/2020     1/15/2020       1/15/2020            NaN     01/12/20
2      1/21/2020      01/04/20       1/17/2020            NaN     01/03/20
3      1/21/2020           NaN       1/19/2020            NaN          NaN
4      1/21/2020           NaN       1/14/2020            NaN          NaN
     reporting date symptom_onset hosp_visit_date exposure_start exposure_end
1080      2/25/2020           NaN             NaN            NaN          NaN
1081      2/24/2020           NaN             NaN            NaN          NaN
1082      2/26/2020           NaN             NaN            NaN    2/17/2020
1083      2/25/2020           NaN             NaN      2/19/2020    2/21/2020
1084      2/25/2020     2/17/2020             NaN      2/15/2020    2/15/2020

我们可以写一个小的函数来看一下时间数据的长度分布:

# check the length of date
for col in date_cols:
    date_len = line_list_data_raw_df[col].astype(str).apply(len)
    date_len_ct = Counter(date_len)
    print(f'{col} datetiem length distributes as {date_len_ct}')

可以看到时间字符串的长度不同,其中hosp_visit_date的长度有4种(除去长度为3的NaN)。

reporting date datetiem length distributes as Counter({9: 894, 8: 190, 3: 1})
symptom_onset datetiem length distributes as Counter({3: 522, 9: 379, 8: 167, 10: 17})
hosp_visit_date datetiem length distributes as Counter({3: 578, 9: 375, 8: 128, 10: 2, 7: 2})
exposure_start datetiem length distributes as Counter({3: 957, 9: 91, 8: 30, 10: 7})
exposure_end datetiem length distributes as Counter({3: 744, 9: 292, 8: 46, 10: 3})

对于一般的字符串转成时间格式,pandas中to_datetime 函数可以解决问题,但是本案例中出现了mix的时间格式,因此我们需要一点小技巧来完成格式转换。

def mixed_dt_format_to_datetime(series, format_list):
    temp_series_list = []
    for format in format_list:
        temp_series = pd.to_datetime(series, format=format, errors='coerce')
        temp_series_list.append(temp_series)
    out = pd.concat([temp_series.dropna(how='any')
                     for temp_series in temp_series_list])
    return out

代码核心思想:to_datetime 每次只能转一个时间格式,我们需要将格式不匹配的数据设置为NaT(没有笔误,不是NaN)。对于同一列,我们用不同的时间格式多次转换,最后求交集。或者你可以对每一行的数据进行分别判断,但是这个循环次数可能会比较多,我预测效率不是很高。

调用函数,转换时间格式,然后我们再次print info。可以看到数据的格式已经变成了datetime64[ns],表明转换成功。

for col in date_cols:
    line_list_data_raw_df[col] = mixed_dt_format_to_datetime(
        line_list_data_raw_df[col], ['%m/%d/%Y', '%m/%d/%y'])
print(line_list_data_raw_df[date_cols].info())
#   Column           Non-Null Count  Dtype         
---  ------           --------------  -----         
 0   reporting date   1084 non-null   datetime64[ns]
 1   symptom_onset    563 non-null    datetime64[ns]
 2   hosp_visit_date  506 non-null    datetime64[ns]
 3   exposure_start   128 non-null    datetime64[ns]
 4   exposure_end     341 non-null    datetime64[ns]

此时我们可以再次plot 这几个曲线,Y轴已经变成很有条理的时间线。

  • 我们观察该曲线,可以看到report_date曲线在最上端,也就是最晚的时间,这很符合逻辑。
  • hospitalize_date 住院时间如果缺失的话,我们可以直接用报告时间代替。
  • 根据逻辑,一般病人在有症状后,会隔一段时间或者立马去医院。因此hospitalize_date 必定会晚于symptom_onset 时间。这里我们可以做出统计看看病人有症状后多久会去医院,并以此为依据倒推symptom_onset时间。
  • 与此类似,我们可以统计有暴露史的起始时间与病人发病的时间差,因此填充exposure_start。
  • 至于exposure_end的缺失值,我们有理由相信,病人入院就结束暴露史。


以上就是我们的填充思路,具体的代码(技巧)如下:

直接赋值填充

# fill missing report_date  
print(line_list_data_raw_df[pd.isnull(
    line_list_data_raw_df['reporting date'])].index)
print(line_list_data_raw_df['reporting date'].iloc[260:263])
line_list_data_raw_df.loc[261, 'reporting date'] = pd.Timestamp('2020-02-11')
print(line_list_data_raw_df.info())

根据其他列的信息填充

time_delta = line_list_data_raw_df['reporting date'] - \
    line_list_data_raw_df['hosp_visit_date']
time_delta.dt.days.hist(bins=20)
line_list_data_raw_df['hosp_visit_date'].fillna(
    line_list_data_raw_df['reporting date'], inplace=True)

我们可以看到病人住院和报道的时间差(天数)分布,大部分还是在一天左右。所以我们可以近似的用reporting date的数据填充hosp_visit_date。


根据多列的信息推断填充

#fill missing symptom_onset
time_delta = line_list_data_raw_df['hosp_visit_date'] - \
    line_list_data_raw_df['symptom_onset']
time_delta.dt.days.hist(bins=20)
average_time_delta = pd.Timedelta(days=round(time_delta.dt.days.mean()))
symptom_onset_calc = line_list_data_raw_df['hosp_visit_date'] - \
    average_time_delta
line_list_data_raw_df['symptom_onset'].fillna(symptom_onset_calc, inplace=True)
print(line_list_data_raw_df.info())

同样的,我们可以看看住院和病人有症状的时间差分布。这次分布最高点不再是1天附近,而是3天。也就是说大部分人在有症状之后3天左右的时间去医院,也有人接近25天才去。所以我们这里采用求均值的方法,然后根据入院时间倒推发病时间。




#fill missing exposure_start
time_delta = line_list_data_raw_df['symptom_onset'] - \
    line_list_data_raw_df['exposure_start']
time_delta.dt.days.hist(bins=20)
average_time_delta = pd.Timedelta(days=round(time_delta.dt.days.mean()))
symptom_onset_calc = line_list_data_raw_df['symptom_onset'] - \
    average_time_delta
line_list_data_raw_df['exposure_start'].fillna(symptom_onset_calc, inplace=True)
print(line_list_data_raw_df.info())

大部分人有暴露史后,4天到10天内出现症状的概率较高,这也就是所谓的潜伏期。同理,我们可以以此倒推出暴露(感染)日期。


#fill missing exposure_end
line_list_data_raw_df['exposure_end'].fillna(line_list_data_raw_df['hosp_visit_date'], inplace=True)
print(line_list_data_raw_df.info())

我们再次plot 这几个时间特征,可以看到他们已经没有缺失值。



其他填充方法

其他的填充方法,思路见代码注释。

# case_in_country 在其他数据集中比较齐全,对于该数据集不重要,所以用-1 填充
line_list_data_raw_df['case_in_country'].fillna(-1, inplace=True)
print(line_list_data_raw_df.info())

# summary 每个case 都不相同,无法推断,因此替换为空字符串
print(line_list_data_raw_df['summary'].head(5))
line_list_data_raw_df['summary'].fillna('', inplace=True)

# 虽然性别可以统计,但是这里我们直接用unknown 代替
print(line_list_data_raw_df.info())
print(line_list_data_raw_df['gender'].head(5))
line_list_data_raw_df['gender'].fillna('unknown', inplace=True)

# 年龄采用均值代替
line_list_data_raw_df['age'].hist(bins=10)
line_list_data_raw_df['age'].fillna(
    line_list_data_raw_df['age'].mean(), inplace=True)
line_list_data_raw_df['age'].hist(bins=10)
# If_onset_approximated 设为1表示都是我们猜测的
print(line_list_data_raw_df['If_onset_approximated'].head(5))
line_list_data_raw_df['If_onset_approximated'].fillna(1, inplace=True)
print(line_list_data_raw_df.info())
# from Wuhan 丢失的数据在index 166和175 之间,可以看到location 是北京,而且属于早期,因此我们可以设为1,表示来自武汉。
print(line_list_data_raw_df[pd.isnull(
    line_list_data_raw_df['from Wuhan'])].index)
print(line_list_data_raw_df[['from Wuhan','country','location']].iloc[166:175])
line_list_data_raw_df['from Wuhan'].fillna(1.0,inplace=True)
# 我们通过统计词频,选取出现最高的symptom 来代替缺失值。可以看到最常见的symtom 是发烧。
symptom = Counter(line_list_data_raw_df['symptom'])
print(symptom.most_common(2)[1][0])

line_list_data_raw_df['symptom'].fillna(symptom.most_common(2)[1][0],inplace=True)

再次查看缺失matrix,bingo!虽然matrix不再花哨(黑白相间),但是这是最完美的黑。

# missing data visualization
msno.matrix(df=line_list_data_raw_df, fontsize=16)



总结

本文中主要介绍了数据清理尤其是填充相关的技巧。你可以填充一个具体的值,空值,统计值或者是根据其他的列进行推断。

其中也涉及到一些小技巧,比如混合的时间格式如何转成datetime,如何对数据缺失情况进行可视化。

我们没有对该数据进行EDA处理,但是在数据清理的过程中,我们还是对该病程有了一点更多的了解: 比如病人潜伏期在4天到10天比较多,病人出现症状后一般3天左右去医院,症状最多的是发烧,等等。