机器学习与tensorflow——机器学习基本概念tensorflow实现简单线性回归(代码片段)

guoruxin guoruxin     2023-02-06     177

关键词:

一、机器学习基本概念

1.训练集和测试集

训练集(training set/data)/训练样例(training examples): 用来进行训练,也就是产生模型或者算法的数据集

测试集(testing set/data)/测试样例 (testing examples):用来专门进行测试已经学习好的模型或者算法的数据集

2.特征向量

特征向量(features/feature vector):属性的集合,通常用一个向量来表示,附属于一个实例

3.分类问题和回归问题

分类 (classification): 目标标记为类别型(离散型)数据(category)

回归(regression): 目标标记为连续性数值 (continuous numeric value)

4.机器学习分类

有监督学习(supervised learning): 训练集有类别标记(class label)

无监督学习(unsupervised learning): 无类别标记(class label)

半监督学习(semi-supervised learning):有类别标记的训练集 + 无标记的训练集

二、简单线性回归

基本概念:

  • 简单线性回归包含一个自变量(x)和一个因变量(y)
  • 被用来进行预测的变量叫做: 自变量(independent variable), x, 输入(input)
  • 被预测的变量叫做:因变量(dependent variable), y, 输出(output)
  • 以上两个变量的关系用一条直线来模拟


三、Tensorflow基本概念

1.使用图(graphs)来表示计算任务
2.在被称之为会话(Session)的上下文(context)中执行图
3.使用tensor(张量)表示数据
4.通过变量(Variable)来维护状态
5.使用feed和fetch可以为任何的操作赋值或者从其中获取数据

总结

  • Tensorflow是一个编程系统,使用图(graphs)来表示计算任务,
  • 图(graphs)中的节点称之为op(operation)
  • 一个op获得0个或者多个tensor(张量),执行计算,产生0个或者多个tensor。
  • tensor看作是一个n维的数组或者列表。
  • 图必须在会话(Session)里被启动。

#通过示意图来理解其中含义:

技术分享图片

#通过程序来理解其中含义:

#这两句代码是防止警告(The TensorFlow library wasn‘t compiled to use AVX2 instructions, but these are available on your machine and could speed up CPU computations.)
import os
os.environ[TF_CPP_MIN_LOG_LEVEL] = 2
import tensorflow as tf
m1 = tf.constant([[3,3]])    #创建一个常量op
m2 = tf.constant([[2],[3]])   #创建一个常量op
product =tf.matmul(m1,m2)   #创建一个矩阵乘法op,并将m1和m2传入
sess = tf.Session()    #定义一个会话,启动默认图
result = sess.run(product)    #调用sess的run方法来执行矩阵乘法op,run(product)触发了图中的3个op
print(result)
sess.close   #关闭会话

#执行结果
[[15]]

#上述程序关于启动默认图有一个简单写法

sess = tf.Session()    
result = sess.run(product)   
print(result)
sess.close

等价表达方式:

with tf.Session() as sess:
    result = sess.run(product)
    print(result)

四、Tensorflow变量介绍

#变量介绍

import os
os.environ[TF_CPP_MIN_LOG_LEVEL] = 2
import tensorflow as tf
x = tf.Variable([1,2])     #创建一个变量op
a = tf.constant([3,3])      #创建一个常量op
sub_m = tf.subtract(x,a)     #创建一个减法op
add_m = tf.add(x,sub_m)     #创建一个加法op
init = tf.global_variables_initializer()    #变量初始化(要想使用变量,必须写这句代码)
with tf.Session() as sess:      #定义一个会话,启动默认图
    sess.run(init)             #触发变量op
    print(sess.run(sub_m))
    print(sess.run(add_m))

# 要想使用变量,必须进行变量初始化 

init = tf.global_variables_initializer()

#利用程序实现自增1

import os
os.environ[TF_CPP_MIN_LOG_LEVEL] = 2
import tensorflow as tf
state = tf.Variable(0,name=counter)     #创建一个变量op,并初始化为0
new_value = tf.add(state,1)        #创建一个op,作用是使state加1
update = tf.assign(state,new_value)    #赋值op
init = tf.global_variables_initializer()     #变量初始化
with tf.Session() as sess:
    sess.run(init)
    print(sess.run(state))
    for _ in range(5):               
        sess.run(update)
        print(sess.run(state))
        
#执行结果
0
1
2
3
4
5

 

五、Tensorflow(fetch和feed)

fetch:在会话中可以运行多个op

#举例理解
import os
os.environ[TF_CPP_MIN_LOG_LEVEL] = 2
import tensorflow as tf
input1 = tf.constant(3.0)
input2 = tf.constant(2.0)
input3 = tf.constant(5.0)
add_m = tf.add(input2,input3)
mul = tf.multiply(input1,add_m)
with tf.Session() as sess:
    result = sess.run([mul,add_m])   #运行多个op
    print(result)
#执行结果
[21.0, 7.0]

feed:feed的数据以字典的形式传入

import os
os.environ[TF_CPP_MIN_LOG_LEVEL] = 2
import tensorflow as tf
input1 = tf.placeholder(tf.float32)
input2 = tf.placeholder(tf.float32)
output = tf.multiply(input1,input2)
with tf.Session() as sess:
    print(sess.run(output,feed_dict=input1:[8.],input2:[2.]))    #feed:feed的数据以字典的形式传入

六、利用tensorflow 实现简单线性回归

import os
os.environ[TF_CPP_MIN_LOG_LEVEL] = 2
import tensorflow as tf
import numpy as np
#使用numpy生成100个随机点
x_data = np.random.rand(100)  
y_data = x_data * 0.1 + 0.2
#构造一个线性模型
b = tf.Variable(0.0)        
k = tf.Variable(0.0)
y = k * x_data + b
#二次代价函数
loss = tf.reduce_mean(tf.square(y_data-y))
#定义一个梯度下降算法来进行训练的优化器
optimizer = tf.train.GradientDescentOptimizer(0.2)
#最小化代价函数
train = optimizer.minimize(loss)
#初始化变量
init = tf.global_variables_initializer()
with tf.Session() as sess:
    sess.run(init)
    for step in range(201):
        sess.run(train)
        if step % 20 == 0:
            print(step,sess.run([k,b]))

#执行结果
0 [0.057367731, 0.1013036]
20 [0.10604427, 0.19655526]
40 [0.10355464, 0.19797418]
60 [0.10209047, 0.19880863]
80 [0.10122941, 0.19929935]
100 [0.10072301, 0.19958796]
120 [0.10042521, 0.19975767]
140 [0.10025007, 0.19985747]
160 [0.10014708, 0.19991617]
180 [0.10008651, 0.1999507]
200 [0.10005087, 0.19997101]

#训练200次后,k的值为0.10005087,接近0.1;b的值为0.19997101,接近0.2.

 






机器学习的基本概念[更新]

1.传统算法与机器学习的区别机器学习:让机器去学习  传统算法:让机器去执行2.人类学习的过程人类的学习过程是一个典型的经验学习的过程。3.机器学习的过程机器学习的过程和人类学习的过程是极为相似的。 &nb... 查看详情

机器学习-tensorflowsharp简单使用与knn识别mnist流程(代码片段)

机器学习是时下非常流行的话题,而Tensorflow是机器学习中最有名的工具包。TensorflowSharp是Tensorflow的C#语言表述。本文会对TensorflowSharp的使用进行一个简单的介绍。本文会先介绍Tensorflow的一些基本概念,然后实现一些基本操作例... 查看详情

简单读懂人工智能:机器学习与深度学习是什么关系

...的基本概念以及解决领域内问题的主要思路。本文选自《Tensorflow:实战Google深度学习 查看详情

简单读懂人工智能:机器学习与深度学习是什么关系

...的基本概念以及解决领域内问题的主要思路。本文选自《Tensorflow:实战Google深度学习 查看详情

简单读懂人工智能:机器学习与深度学习是什么关系

...的基本概念以及解决领域内问题的主要思路。本文选自《Tensorflow:实战Google深度学习 查看详情

tensorflow学习笔记:mnist机器学习入门

...,首先从深度学习的入门MNIST入手。通过这个例子,了解Tensorflow的工作流程和机器学习的基本概念。一 MNIST数据集    MNIST是入门级的计算机视觉数据集,包含了各种手写数字的图片。在这个例子中就是通过机... 查看详情

斯坦福2014机器学习笔记一----基本概念

  一、纲要    机器学习的定义    监督学习(supervisedlearning)和无监督学习(unsupervisedlearning)    回归问题(regressionproblem)与分类问题(classificationproblem)    鸡尾酒宴问题    单变量线性回归问题   二... 查看详情

机器学习的基本概念

目录机器学习定义基本概念机器学习之常见应用框架机器学习、数据分析、数据挖掘区别与联系机器学习分类【重要】机器学习开发流程【重要】机器学习之商业场景  一、机器学习定义MachineLearning(ML)isascientificdisciplinetha... 查看详情

机器学习的基本概念

目录机器学习定义基本概念机器学习之常见应用框架机器学习、数据分析、数据挖掘区别与联系机器学习分类【重要】机器学习开发流程【重要】机器学习之商业场景??一、机器学习定义MachineLearning(ML)isascientificdisciplinethatdealswith... 查看详情

反作弊基本概念与机器学习的应用

反作弊主要业务流程: 常见作弊方式:机器作弊:机器刷量、任务分发、流量劫持人为作弊:QQ群/水军、直接人工、诱导 常见作弊手段:电商:刷单,刷信誉,刷好评,职业差评师支付平台:洗钱,诈骗广告:数据造假... 查看详情

机器学习基本概念

...kevdp.github.io/PythonDataScienceHandbook/00.00-preface.html1、什么是机器学习  机器学习是用数据科学的计算能力和算法能力去弥补统计方法的不足,其最终结果是为那些目前既没有高效的理论支持、又没有高效的计算方法的统计推理与... 查看详情

机器学习:基本概念五大流派与九种常见算法

机器学习正在进步,我们正在不断接近创造人工智能的目标。语音识别、图像检测、机器翻译、风格迁移等技术已经在生活中开始得到了应用,但机器学习的发展仍还在继续,有人认为这场变革有可能会彻底改变人类文明的发展... 查看详情

机器学习初探——机器学习的基本概念

机器学习机器学习研究的主要内容:使计算机从数据中产生“模型”的算法。机器学习的基本术语我们认为将一组数据可以抽象画表示为一个向量Xi,D={X1,X2,X3..Xm}表示包含m个示例的数据集,每一个Xi是由一系列属性描述所构成的... 查看详情

sklearn与tensorflow机器学习实用指南(补档)(代码片段)

...PDF格式EPUB格式MOBI格式英文仓库中文仓库目录结构Sklearn与TensorFlow机器学习实用指南零、前言一、机器学习概览二、一个完整的机器学习项目三、分类四、训练模型五、支持向量机 查看详情

机器学习入门-基本概念

1、机器学习分为监督学习和非监督学习。首先学习监督学习。2、标签,即y值,结果,以通过机器学习过滤垃圾邮件为例,标签为邮件是垃圾邮件,或不是垃圾邮件3、特征,即x值,输入变量,通常有多个特征,如根据发件人、... 查看详情

深度学习,机器学习所涵盖的100多个基本概念总结

目录一、基础算法二、经典算法三、机器学习四、优化算法五、特殊技巧 查看详情

01_机器学习简介

...、传统预测。机器学习库和框架:sklearn。深度学习框架:tensorflow。有了基础之后,学习书籍推荐:机器学习(周志华)、Python数据分析与挖掘实战、机器学习系统设计、面向机器智能TensorFlow实践、TensorFlow技术解析与实战。(不建... 查看详情

机器学习考试ppt

目录基本概念人工智能与机器学习、深度学习的关系1、人工智能2、机器学习 查看详情