当前位置:Gxlcms > mysql > 【数据挖掘导论】数据类型

【数据挖掘导论】数据类型

时间:2021-07-01 10:21:17 帮助过:171人阅读

数据类型 数据集的不同表现在很多方面。例如:描述数据对象的属性可有具有不同的类型——定量的或者定性的。并且数据集可能还具有特定的性质,如包含时间序列或者彼此相关联。这因为如此,数据的类型决定我们应使用何种工具和技术来分析数据。此外,数据挖掘

数据类型
数据集的不同表现在很多方面。例如:描述数据对象的属性可有具有不同的类型——定量的或者定性的。并且数据集可能还具有特定的性质,如包含时间序列或者彼此相关联。这因为如此,数据的类型决定我们应使用何种工具和技术来分析数据。此外,数据挖掘的研究也是为了适应新的应用领域和新的数据类型。
数据的质量 数据通常远非完美,尽管大部分的数据挖掘技术都容忍不完美的数据,但注重理解和提高数据质量将是改进精确分析结果的重要途径之一。
使数据适合挖掘的预处理步骤 通常,原始数据必须经过加工才能适合分析。而加工处理一方面是提高数据的质量,另一方面让数据更好的适应特定的数据挖掘技术或者工具。
根据数据联系分析数据 数据分析的一种方法是找出数据对象之间的联系,之后使用这些联系而不是数据对象本身进行其余的分析。
通常,数据集可以看作数据对象的集合。数据对象可以是:记录,点,向量,模式等。数据对象用一组刻画对象基本特性的属性描述,如:变量,字段,特征或者维。 \
\ \ 属性与度量<喎?http://www.2cto.com/kf/ware/vc/" target="_blank" class="keylink">vc3Ryb25nPgo8c3Ryb25nPsqyw7TKx8r00NSjujwvc3Ryb25nPgo8c3Ryb25nPsr00NSjqGF0dHJpYnV0ZaOpPC9zdHJvbmc+yse21M/ztcTQ1NbKu/LV38zY0NSjrMv80vK21M/ztvjS7Lvyy+bXxcqxvOSx5Luvtvix5LuvoaPXt7j5y93UtKOsyvTQ1LKit8fK/dfWu/K3+7rFoaPIu7b4zqrBy8zWwtu6zbfWzva21M/ztcTM2NDUo6zO0sPHuLPT6MHLy/zDx8r919a6zbf7usWho86qwcvTw9K71tbD98i3tqjS5bXEt73Kvdf2tb3V4rXjo6zO0sPH0OjSqrLiwb+x6rbIoaMKPGJyPgoKPHN0cm9uZz6y4sG/seq2yKOobXJlYXN1cmVtZW50IHNjYWxlo6k8L3N0cm9uZz7Kx72ryv0mIzIwNTQwO7vyt/u6xSYjMjA1NDA70+u21M/ztcTK9NDUz+C52MGqtcS55tTyo6i6r8r9o6mho9DOyr3Jz6OssuLBv7n9s8zKx8q508Oy4sG/seq2yL2r0ru49iYjMjA1NDA70+vSu7j2zNi2qLbUz/O1xMzYtqjK9NDUz+C52MGqoaPL5Mi7y7W1xNPQ0Kmz6c/zoaO1q9Tayfq77tbQo6zO0sPHzt7Ksc7ev8y1xL340NCy4sG/uf2zzKOsyOejusnPuau9u7O1o6y74b+009DDu9PQyqPT4LXE1/nOu8Tc1/i1yKGj1eLQqcfpv/bPwqOstrzKx7bUz/PK9NDUtcTO78DtJiMyMDU0MDuxu9OzyeS1vcr9JiMyMDU0MDu78rf7usUmIzIwNTQwO6GjCjxicj4KCjxzdHJvbmc+yvTQ1LXEwODQzTwvc3Ryb25nPgq008eww+a1w9aqo6zK9NDUtcTQ1NbKsrux2NPr08PAtLbIwb/L/LXEJiMyMDU0MDu1xNDU1srP4M2soaO8tKOs08PAtLT6se3K9NDUtcQmIzIwNTQwO7/JxNy+39PQsrvNrNPryvTQ1LG+ye21xNDU1sqjrLe01q7S4Mi7oaMKPGltZyBzcmM9"http://www.2cto.com/uploadfile/2014/0724/20140724013644436.png" alt="\"> \

属性的类型告诉我们,属性的那些性质反映在用于测量它的值中。知道属性的类型的重要性,因为它告诉我们测量值的那些性质与属性的基本性质一致,从而使我,恶魔得以避免计算雇员的平均ID这也愚蠢的行为,需要注意的是,通常将属性的类型称作测量标度的类型。

属性的不同类型 一种指定属性类型的有用方法是:确定对应属性基本性质的数值的性质。如:长度的属性可以有数值的许多性质,按长度比较对象,确定对象的排序,以及长度的差与比例都是有意义的。数值如下的操作通常用来描述属性: \
\ 给定这些性质,我们可以定义出四种属性类型:标称(nominal),序数(ordinal),区间(interval),比率(ratio)。 \ \
属性的类型也可以用不改变属性意义的变换来描述,如:长度可用米或者英尺来度量。下表给出上表的四种属性类型的允许变换: \ \
用值的个数描述属性 区分属性的一种独立的方法就是根据属性可能取值的个数来判断 离散的(discrete)离散属性具有有限个或无限个可数个值。通常离散属性应整数变量表示。二元属性(binary attribute)是离散属性的一种特殊情况,只接受两个值:真假,是否,01等。二元属性用布尔变量表示。
连续的(continuous)连续属性是取实数值的属性。如温度,高度等。通常,连续属性用浮点变量表示。
从理论上讲,任何测量标度类型(标称的,序数的,区间的,比率的)都可以与基于属性值个数的任意类型(二元的,离散的,连续的)组合。有些组合并不常出现,或者没有什么意义。
非对称属性 对于非对称属性(asymmetric attribute),出现非零属性值才是重要的。如:对于一个,每个对象都是学生的数据集。每个属性记录学生是否选修大学的某个课程。对于某个学生,选修某个属性的课程,值为1,否则为0。由于学生只能选所有可选的课程的一部分,因此这种数据集的大部分值为0,因此关注非零值将更有意义。只有非零值才重要的二元属性是非对称的二元属性。

数据集的类型 数据集的类型有很多,一般我们将数据集分为三组:记录数据,基于图形的数据和有序数据。
数据集的一般特性 维度(dimensionality)数据集的维度是数据集中的对象具有的属性数目,分为底,中,高维度。在分析数据的时候,最好将数据的维度降低。因为在分析高维度数据的时候,会陷入所谓的维灾难(curse of dimensionality)。因此,数据预处理的一个重要的动机就是减少维度,称为维归约(dimensionality reduction)
稀疏性(sparsity)有些数据集,如具有非对称特征的数据集,一个对象的大部分属性上的值都是0,在许多情况下,非零项还不到1%。事实上,稀疏性是一个优点,因为只有非零值才需要存储和处理。这将大大节省计算时间和存储空间。
分辨率(resolution)常常可以在不同的分辨率下得到数据,且在不同的分辨率下数据的性质也不同。如:在几米的分辨率下,地表看起来很不平坦,但在数十公里的分辨率下却相对平坦。

记录数据 许多数据挖掘任务都是假定数据集是记录(数据对象)的汇集,每个记录包含固定的数据字段(属性)集。下面介绍不同类型的记录数据: \ \
事务数据或购物篮数据 事务数据(transaction data)是一种特殊类型的记录数据,其中每个记录(数据)涉及一系列的项。考虑顾客一次购物所买的商品集合构成一个事务,而所有购买的商品作为项。这种类型的数据称作购物篮数据(market basket data)。
数据矩阵 如果一个数据集族中所有数据对象都具有相同的数值属性集,则数据对象可以看作多维空间的点(向量),其中每个维代表对象的一个不同属性。这样的数据对象集可以用一个m*n的矩阵表示,其中m行,一个对象一行;n列,一个属性一列。这种矩阵称作数据矩阵(data matrix)模式矩阵(pattern matrix)。
稀疏数据矩阵 稀疏数据矩阵是数据矩阵的一种特殊的情况,其中属性的类型相同并且是非对称的,即只有非零值才是重要的。事务数据是仅含0-1元素的稀疏数据矩阵的例子。另一个常见的便是文档数据。文档集合的表示通常称作文档-词矩阵(document-term matrix),如图2-2d,文档是该矩阵的行,词是该矩阵的列。

基于图形的数据 有时图形可以有效的表示数据,但有两种特殊的情况:图形捕获数据对象之间的联系;数据对象本身用图形表示。
担忧对象之间联系的数据 对象之间的联系常常携带重要的信息。这种情况下,数据常常用图形表示。一般把数据对象映射到图的结点,而对象之间的联系用对象之间的链或方向,权值等表示。如相互链接的网页。
具有图形对象的数据 如果对象具有结构,即对象包含具有联系的子对象,则这样的对象常常用图形表示。如化学物的结构用图形表示。

有序数据 对于某些数据类型,属性涉及到时间或空间序的联系。如下: \
时序数据 时序数据(sequential data)也称时间数据(temporal data),可以看作记录数据的扩充,其中每一个记录包含一个与之相关联的时间。时间也可以与每个属性相关,如:每个记录可以是一位顾客的购物历史,包含不同时间购买的商品列表。使用这些信息,我们也许可能发现:买了iPhone的人是不会在关注那些低端的android机的。
序列数据 序列数据(sequence data)是一个数据集合,它是各个实体的序列,如:词或字母的序列,基因组序列等
时间序列数据 时间序列数据(time series data)是一种特殊的时序数据,其中每个记录都是一个时间序列(time series),即一段时间以来的测量序列。如图2-4c,记录的是一个地方1982年到1994年月平均的时间序列。需要注意的是:在分析时间数据时,需要考虑时间自相关(temporal autocorrelation),即如果两个测量的时间很近,则这些测量的值通常非常的相似。
空间数据 某些数据也许还会拥有空间属性,如位置或区域。空间数据的例子有很多,比如:从不同地方收集气象数据。空间数据的一个重要的特点就是空间自相关性(spatial autocorrelation),即物理上靠近的对象趋向于其他方面也相似。

处理非记录数据 大部分数据挖掘算法都是为记录数据或其变体(事务数据,数据矩阵)设计的。通过对象中提取特征,并使用这些特征创建对应与每个对象的记录,针对记录数据的技术也可以用与非记录数据。如化学结构的数据,给定一个常见的子结构集合,每个化合物都可以用一个具有二元属性的记录表示,这些二元属性指出化合物是否包含特定的子结构,这也的表示实际上是事务数据集,其中事务是化合物,而项是子结构。

人气教程排行