MySQL--四(表连接)

表连接的几种类型:自连接、内连接、左外连接、右外连接。

1、自连接

       自连接:即表本身和自己连接。

准备两个表:
一个学生表stu,字段有:stu_id,stu_name,stu_cls
一个课程表class,字段有:cls_id,cls_name,cls_stu_id(选课学生id)

2、内连接

语法:

select 查找字段..
from 左表
inner join 右表
on 查找条件;

查找出所有选了课的学生的名字,和所选课程名称

select stu_name,cls_name

from stu
inner join class
on stu_id= clas_stu_id;

3、左外连接

       左外连接:返回左表中所有的数据和右表中符合条件的数据。

通用语法:

select 查找字段..
from 左表
left join右表
on 左表字段  = 右表字段 ;

oracle中有特有的连接语法:

select 查找字段..
from 左表,右表
where 左表字段 = 右表字段(+);

需求:查找出所有学生的姓名和学生选的课的名称。(与上面内连接的区别在于这里查找的是所有学生的名字,因为有的学生有可能没有选课,在内连接中没有选课的学生并没有查找。

通用语法:
select stu_name,cls_name
from stu
left join class
on stu_id = cls_stu_id;
oracle特有语法实现:
select stu_name,cls_name
from stu,class
where stu_id = cls_stu_id(+);

4、右外连接

       右外连接:返回右表中所有的数据和左表中符合条件的数据。(右外连接和左外连接其实可以互相转换的,如果把左连接中的左表作为右表,就成了右连接)

通用语法:
select 左表字段,右表字段
from 左表
right join 右表
on 左表字段 = 右表字段;
特有语法:
select 左表字段,右表字段
from 左表,右表
where 左表字段(+) = 右表字段;

需求:用右连接找到所有学生姓名,和所有被学生选的课程。

通用语法
select cls_name,stu_name
from class
right join stu
on cls_stu_id = stu_id;
特有语法;
select cls_name,stu_name
from class,stu
where cls_stu_id(+) = stu_id;

<br/>

MySQL--三(杂)

1、索引有哪些类型?

       普通索引:普通索引是最基本的索引,没有任何限制,值可以为空;仅加速查询;

        唯一索引:与普通索引类似,不同的是:索引的列必须唯一,但可以为空值,如果是组合索引,则列值的组合必须唯一;

        主键索引:主键索引是特殊的唯一索引,一个表只能有一个主键,不许有空值;

        组合索引:组合索引指在多个字段上创建的索引,只有在查询条件中使用了创建索引时的第一个字段,索引才会被使用。使用组合索引时遵循最左前缀集合;

        全文索引:全文索引主要用来查找文本中的关键字,而不是直接与索引中的值相比较。

2、union和union all的区别

        union和union all 都是对于多个查询结果的并集进行操作,但:union会去重并排序,而union all会将所有结果显示出来,不去重也不排序。

3、索引的作用,和他的优缺点是什么?

        索引就一种特殊的查询表,数据库的搜索可以利用它加速对数据的检索。它很类似与现实生活中书的目录,不需要查询整本书内容就可以找到想要的数据。索引可以是唯一的,创建索引允许指定单个列或者是多个列。缺点是它减慢了数据录入的速度,同时也增加了数据库的尺寸大小。一般唯一、不为空、经常被查询的字段适合建索引。

4、MySQL哪些字段适合建立索引?

       数量超过300的表应该有索引;

        表的主键、外键必须有索引;

        经常与其他表进行连接的表,在连接字段上应该建立索引;

        经常出现在where语句中的字段,特别是大表的字段,应该建立索引;

        频繁进行数据操作的表,不要建立太多索引;

5、主键和外键的区别?

       主键是能确定一条记录的唯一标识,比如,一条记录包括身份证号、姓名、年龄。其中,身份证号是唯一能确定你这个人的,其他的都有可能重复,但身份证号不会,所以,身份证号是主键。

        外键用于与另一张表的关联。是能确定另一张表记录的字段,用于保持数据的一致性。比如,A表中的一个字段,是B表的主键,那他就可以是A表的外键。

6、order by 和 group by 的区别是什么?

       order by:order by的作用就是排序。asc:升序,desc:降序。order by后面跟多个字段时,排序按照就近原则;

        group by:聚合分组,值相等即为一组。聚合的意思就是聚合函数,例如sum()、avg()、count()、max()等;

注意:having只能用在group by之后,对分组后的结果进行筛选(即:要使用having,你必须先用group by分组);如果还要使用where,那么where要放在group by 之前where后的条件表达式里不允许使用聚合函数,但having可以

MySQL--二(删除)

MySQL通常通过 delete、truncate、drop 关键字进行删除;这三种都可以用来删除数据,但场景不同。

一、从执行速度上来说

drop>truncate>delete

二、从原理上讲

1、delete

        delete属于数据库DML操作语言,只删除数据不删除表的结构;

        在InnoDB中,delete其实不会真的把数据删除,mysql实际上只是给删除的数据打上了一个不可视的标签,标记为已删除,因此delete删除数据时,表文件在磁盘上所占空间大小不会变,存储空间不会释放。虽然未释放磁盘空间,但下次插入数据时仍然可以重用这一部分(重用  -->  覆盖);

        delete执行时,会先将删除数据缓存到rollback segement中,事务提交后生效;

        delete from table_name删除表的全部数据,对于MYISAM会释放磁盘空间,InnoDB不会释放磁盘空间;

        对于delete from table_name where ...带条件的删除,MYISAM和InnoDB都不会释放磁盘空间;

        delete操作后使用optimize table table_name(空间优化)会立刻释放磁盘空间,无论是MYISAM还是InnoDB;

        delete操作是一行一行执行删除的,且同时将该行的操作日志记录在表空间中方便回滚和重做操作,生成的大量日志会占用磁盘空间。

2、truncate

       truncate属于数据库DDL定义语言,不走事务;

        truncate from table table_name立刻释放磁盘空间,无论是MYISAM还是InnoDB。truncate table类似于drop table然后create;

        truncate能够快速清空一个表,并且重置auto_increme(自增索引)的值;

3、drop

       drop属于数据库DDL定义语言,同truncate;

        drop table table_name立刻释放磁盘空间;

可以这么理解,一本书,delete是把目录撕了,truncate是把书的内容撕下来烧了,drop是把书烧了!!!

MySQL--一(MYISAM和InnoDB)

聚簇索引和辅助索引

聚簇索引:数据是存放在叶子节点上。

辅助索引:叶子节点上是不存放真实数据的,而是存放聚簇索引的索引值。

        聚簇索引和辅助索引都是B+树的结构,区别就是叶子节点上是否存放真实的数据。那么为什么有这个区分呢。其实也很好理解,我们都知道,Mysql中的每一个索引都是一颗B+树来存储的,如果我每一颗B+树的叶子节点上面都存储数据的话,这个空间的要求是不是很大呢?当然,也可以所有的索引都不存储真实的数据,都存储指向真实数据的索引,这是MyISAM存储引擎的做法。

        在Innodb存储引擎中,DBA一般都会要求我们建立一个自增长的,为整数型的值为主键索引。如果没有唯一索引的话,Mysql会自己帮我们维护一个索引,就是会帮我们这张表建立一个隐藏列,用作聚簇索引的建立。而每一张表只有这一个聚簇索引,并且存储真实的数据。

        对比的来看,MyISAM存储引擎使用的都是辅助索引,即没有一棵B+树上存储了真实数据,都是指向真实数据的索引,这也是为什么当Mysql的表使用了MyISAM存储引擎的时候,会产生三个文件。一个表结构、一个就是真实数据、一个索引文件。而使用Innodb存储引擎的表,只有两个,一个表结构,另外一个包含了索引和真实数据。


MYISAM和InnoDB的区别

         1、InnoDB支持事务,MyISAM不支持,对于InnoDB每一条SQL语言都默认封装成事务,自动提交,这样会影响速度,所以最好把多条SQL语言放在begin和commit之间,组成一个事务;

        2、InnoDB支持外键,而MyISAM不支持。对一个包含外键的InnoDB表转为MYISAM会失败;

         3、InnoDB是聚集索引,使用B+Tree作为索引结构,数据文件是和(主键)索引绑在一起的(表数据文件本身就是按B+Tree组织的一个索引结构),必须要有主键,通过主键索引效率很高。但是辅助索引需要两次查询,先查询到主键,然后再通过主键查询到数据。因此,主键不应该过大,因为主键太大,其他索引也都会很大。MyISAM是非聚集索引,也是使用B+Tree作为索引结构,索引和数据文件是分离的,索引保存的是数据文件的指针。主键索引和辅助索引是独立的。

        也就是说:InnoDB的B+树主键索引的叶子节点就是数据文件,辅助索引的叶子节点是主键的值;而MyISAM的B+树主键索引和辅助索引的叶子节点都是数据文件的地址指针。

        4、InnoDB不保存表的具体行数,执行select count(*) from table时需要全表扫描。而MyISAM用一个变量保存了整个表的行数,执行上述语句时只需要读出该变量即可,速度很快。

        5、InnoDB表必须有唯一索引(如主键)(用户没有指定的话会自己找/生产一个隐藏列Row_id来充当默认主键),而Myisam可以没有。

        6、Innodb存储文件有frm、ibd,而Myisam是frm、MYD、MYI

        Innodb:frm是表定义文件,ibd是数据文件

        Myisam:frm是表定义文件,myd是数据文件,myi是索引文件



爬虫爬取数据保存到mysql

import pymysql
from pyquery import PyQuery as pq
import requests

def Get_HTML(url):
    headers = {'User-Agent': 'Mozilla/5.0'}
    try:
        r = requests.get(url, headers=headers)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        print("Error!")

def parse_page(html):
    doc=pq(html)
    title=doc('.li03 a').text().split(' ')  #名称
    actor=doc('.li04 span').text().split(' ')  #演员表
    index=doc('.li01 b').text().split(' ')     #序号
    href=[]  #链接
    for i in doc('.li03 a').items():  #遍历
        href.append(i.attr('href'))
    score=doc('.li05 span').text().split(' ')  #评分
#保存为字典
    Result={}
    for i in range(100):
        result={
            '序号':index[i],
            '名称':title[i],
            '链接':href[i],
            '演员':actor[i],
            '评分':score[i]
        }
        Result[index[i]]=result
    return Result

def write_to_mysql(dict):
    db=pymysql.connect(host='*******',user='root',password='******',passwd='3306',db='*******')
    cursor=db.cursor()
    table='movie'  #表名
    keys=','.join(dict.keys())
    values=','.join(['%s']*len(dict))
    sql='insert into {table}({keys}) values ({values})'.format(table=table,keys=keys,values=values)
    try:
        if cursor.execute(sql,tuple(dict.values())):
            print("successful")
            db.commit()
    except:
        print("failed")
        db.rollback()
    db.close()

#若主键存在,进行更新操作;否则进行插入数据
def update_data(dict):
    db = pymysql.connect(host='*******',user='root',password='******',passwd='3306',db='*******')
    cursor=db.cursor()
    table='movie'    #表名
    keys=','.join(dict.keys())
    values=','.join(['%s']*len(dict))
    sql='insert into {table}({keys}) values ({values}) ON DUPLICATE KEY UPDATE'.format(table=table,keys=keys,values=values)
    update=','.join([' {key}=%s'.format(key=key) for key in dict])
    sql+=update
    try:
        if cursor.execute(sql,tuple(dict.values())*2):
            print("successful")
            db.commit()
    except:
        print("failed")
        db.rollback()
    db.close()

#查询
def search():
    db = pymysql.connect(host='*******',user='root',password='******',passwd='3306',db='*******')
    cursor = db.cursor()
    sql = 'select * from movie'
    try:
        cursor.execute(sql)
        print(cursor.rowcount)
        row = cursor.fetchone()
        while row:
            print('Row:', row)
            row = cursor.fetchone()
    except:
        print("Error")
    db.close()

def main():
    url = 'https://www.1905.com/vod/top/lst/'
    html = Get_HTML(url)
    item=parse_page(html)
    for i in range(len(item)):
        write_to_mysql(item[str(i+1)])
main()