MySQL監控系統MySQL MTOP的搭建 , mysql 經典語句

MySQLMTOP是一個由Python+PHP開發的MySQL企業級監控系統。系統由Python實現多進程數據採集和告警,PHP實現WEB展示和管理。最重要是MySQL服務器無需安裝任何Agent,只需在監控WEB界面配置相關數據庫信息,功能非常強大:

可對上百臺MySQL數據庫的狀態、連接數、QTS、TPS、數據庫流量、複製、性能等進行時時監控

能在數據庫偏離設定的正常運行閥值(如連接異常,複製異常,複製延遲) 時發送告警郵件通知到DBA進行處理

對歷史數據歸檔,通過圖表展示出數據庫近期狀態,以便DBA和開發人員能對遇到的問題進行分析和診斷

系統主要由儀表盤、狀態監控、進程監控、複製監控、慢查詢分析、性能圖表、工具組件、告警事件、系統資源等子系統組成,每個子系統負責完成特定信息的採集和展示

 

一、系統安裝需求

MySQL MTOP由PHP和Python開發,所以監控機需要安裝PHP運行環境和Python環境。需要的核心包如下:

1.MySQL 5.0及以上(用來存儲監控系統採集的數據)

2.Apache 2.2及以上 (WEB服務器運行服務器)

3.PHP 5.3以上 (WEB界面)

4.Python2 (推薦2.7版本,其他版本未做測試,執行數據採集和報警任務)

5.MySQLdb for python (Python連接MySQl的接口)

二、 安裝必備的開發包

yum -y install ntp gcc gcc-c++ flex bison autoconf automake bzip2-devel ncurses-devel zlib-devel libjpeg-devel libpng-devel libtiff-devel freetype-devel libXpm-devel gettext-devel  pam-devel libtool libtool-ltdl openssl openssl-devel fontconfig-devel libxml2-devel curl-devel  libicu libicu-devel libmcrypt libmcrypt-devel libmhash libmhash-devel

三、同步系統時間:

vim /etc/ntp.conf  //添加下面三行內容

wKiom1WaJcvgDyDBAAEa6Alv6vs002.jpg

同步時間,重啓ntp服務

[root data]$ service ntpd stop
[root data]$ ntpdate  cn.pool.ntp.org                               
[root data]$ chkconfig ntpd on

四、進制apache安裝,版本要2.2及以上

[root src]$ wget http://archive.apache.org/dist/httpd/httpd-2.2.19.tar.gz
[root src]$ tar xvf httpd-2.2.19.tar.gz
[root src]$ cd httpd-2.2.19 
[root src]$ ./configure --prefix=/usr/local/apache --enable-so --enable-rewrite --enable-mods-shared=most --sysconfdir=/etc/httpd
[root httpd-2.2.19]$ make && make install
[root httpd-2.2.19]$ cp /usr/local/apache/bin/apachectl /etc/init.d/httpd                
[root httpd-2.2.19]$ service httpd start
[root httpd-2.2.19]$chkconfig --add httpd
[root httpd-2.2.19]$chkconfig httpd on
[root httpd-2.2.19]$  netstat -tnl |grep httpd
tcp        0      0 :::80              :::*                LISTEN      24810/httpd

五、進行MySQL安裝

#!/bin/bash
#-------------------------------
#this install mysql for test ues


#定義變量
soft_path=/usr/local/src
mysql_pack=mysql-5.5.40-linux2.6-x86_64.tar.gz
mysql_version=`echo "mysql-5.5.40-linux2.6-x86_64.tar.gz"|cut -d - -f1,2`
mysql_user=mysql
mysql_port=3306
mysql_passwd=123456
install_path=/usr/local
mysql_path=/usr/local/${mysql_version}
mysql_data_path=/data/${mysql_version}/data


#創建用戶、賦權、安裝
groupadd ${mysql_user}
if [ $? -ne 0 ]
then
  echo "this user ${mysql_user} is exist!!"
  exit 1
fi
useradd -r -g ${mysql_user} ${mysql_user}

cd ${soft_path}
if [ ! -e ${mysql_pack} ]
then
  echo "install pack is not exist!!"
  exit 1
fi
tar zxvf ${mysql_pack} -C ${install_path}
cd ${install_path} && mv ${mysql_version}-* ${mysql_version}
chown -R root:${mysql_user} ${mysql_path}
cd ${mysql_path} && cp support-files/my-large.cnf ${mysql_path}/my.cnf
mkdir -p /data/${mysql_version}
chown -R ${mysql_user}:${mysql_user} /data/${mysql_version}

#修改my.cnf
  sed -i "/3306/{x;s/^/./;/^.\{2\}$/{x;s/3306/${mysql_port}/;b};x}" ${mysql_path}/my.cnf
  sed -i "/socket/{x;s/^/./;/^.\{2\}$/{x;s#/tmp/mysql.sock#/data/${mysql_version}/mysql.sock#;b};x}" ${mysql_path}/my.cnf
  sed -i "/\/data\/${mysql_version}\/mysql.sock/a\datadir         = ${mysql_data_path}" ${mysql_path}/my.cnf
  sed -i "/datadir/a\basedir         = ${mysql_path}" ${mysql_path}/my.cnf
  sed -i "/basedir/a\user            = ${mysql_user}" ${mysql_path}/my.cnf
  sed -i "/innodb_buffer_pool_size/s/^#//" ${mysql_path}/my.cnf


#初始化
cd ${mysql_path} 
yum install libaio -y
scripts/mysql_install_db --user=${mysql_user} --defaults-file=${mysql_path}/my.cnf

if [ $? -ne 0 ]
then
  echo -e "\e[1;31m[MySQL install init failure...]\e[0m"
  exit 1
fi

#添加啓動關閉腳本
cat >>shutdown_mysql.sh<<EOF
#!/bin/bash

${mysql_path}/bin/mysqladmin --defaults-file=${mysql_path}/my.cnf -uroot -p${mysql_passwd} -S /data/${mysql_version}/mysql.sock shutdown
EOF

cat >>start_mysql.sh<<EOF
#! /bin/sh

nohup ${mysql_path}/bin/mysqld_safe --defaults-file=${mysql_path}/my.cnf >> ${mysql_path}/start_stop.log 2>&1 &
EOF

#啓動MySQL
chmod +x shutdown_mysql.sh start_mysql.sh && sh start_mysql.sh
sleep 50
ps -aux |grep -v grep |grep ${mysql_port} &> /dev/null
if [ $? -ne 0 ]
then
   echo -e "\e[1;31m[MySQL start failure...]\e[0m"
   exit 1
else
    echo -e "\e[1;32m[MySQL start secessful]\e[0m"
fi
#修改密碼
${mysql_path}/bin/mysqladmin -uroot password "${mysql_passwd}"  -S /data/${mysql_version}/mysql.sock

六、進行PHP安裝

[root src]$wget http://softlayer.dl.sourceforge.net/sourceforge/mcrypt/libmcrypt-2.5.8.tar.gz[root src]$ tar zxf libmcrypt-2.5.8.tar.gz 
[root src]$ cd libmcrypt-2.5.8
[root libmcrypt-2.5.8]$ ./configure --prefix=/usr/local && make && make install

下載PHP並安裝,版本要5.3以上,要注意的是,php安裝涉及了你安裝apache和mysql的路徑,這個要特別注意的:

[root src]$ wget http://cn2.php.net/distributions/php-5.5.19.tar.gz
[root src]$ tar zxf php-5.5.19.tar.gz
[root src]$ cd php-5.5.19
[root php-5.5.19]$./configure --prefix=/usr/local/php \
--mandir=/usr/local/share/man \
--infodir=/usr/local/share/info \
--with-apxs2=/usr/local/apache/bin/apxs \
--enable-cgi --with-mysql=/usr/local/mysql-5.6.10/ \
--with-config-file-path=/usr/local/php/etc \
--with-pdo-mysql=/usr/local/mysql-5.6.10 \
--with-mysqli=/usr/local/mysql-5.6.10/bin/mysql_config \
--enable-zip --enable-sqlite-utf8 -enable-sockets \
--enable-soap --enable-pcntl --enable-mbstring \
--enable-intl --enable-calendar --enable-bcmath \
--enable-exif --with-mcrypt --with-mhash --with-gd \
--with-png-dir --with-jpeg-dir --with-freetype-dir \
--with-libxml-dir --with-curl --with-curlwrappers \
--with-zlib   --with-openssl --with-kerberos=shared \
--with-gettext=shared --with-xmlrpc=shared
[root php-5.5.19]$ make && make install

拷貝配置文件:

[root php-5.5.19]$ cp php.ini-production /usr/local/php/etc/php.ini

修改apache的配置文件:

[root php-5.5.19]$ vim /usr/local/apache/conf/httpd.conf

添加以下內容:

查找AddType application/x-gzip .gz .tgz,在該行下面添加
AddType application/x-httpd-php .php
AddType application/x-httpd-php-source .phps
查找DirectoryIndex index.html 把該行修改成
DirectoryIndex index.html index.htm index.php

重啓apache服務,在/usr/local/apache/htdocs/下vim index.php,操作如下:

[root htdocs]$ service httpd restart
[root htdocs]$ pwd
/usr/local/apache/htdocs
[root htdocs]$ cat index.php 
<?php
phpinfo();
?>

在防火牆裏添加80端口,並重啓,然後請問index.php:
http://ip/index.php,如果得到下圖,意味着apache整合php成功了

wKioL1WaKguz871YAAGyLwbdB-g487.jpg

六、進行python安裝,推薦2.7版本,其他版本未做測試,執行數據採集和報警任務

[root src]$ wget http://www.python.org/ftp/python/2.7.2/Python-2.7.2.tar.bz2
[root src]$ tar jxf Python-2.7.2.tar.bz2
[root src]$ cd Python-2.7.2
[root Python-2.7.2]$ ./configure --prefix=/usr/local/Python2.7 --enable-shared make && make install
[root Python-2.7.2]$ mv /usr/bin/python /usr/bin/pythonbak
[root Python-2.7.2]$ ln -sf /usr/local/Python2.7/bin/python /usr/bin/python

查看Python版本,如果報少了庫文件,vim /etc/ld.so.conf添加/usr/local/Python2.7/lib,執行ldconfig刷新配置文件

[root Python-2.7.2]$ python -V           
python: error while loading shared libraries: libpython2.7.so.1.0: cannot open shared object file: No such file or directory
[root Python-2.7.2]$ cat /etc/ld.so.conf
include ld.so.conf.d/*.conf
/usr/local/Python2.7/lib
[root Python-2.7.2]$ ldconfig 
[root Python-2.7.2]$ python -V          
Python 2.7.2

如果python升級到2.7以後出現yum無法使用的情況,錯誤爲No module named yum,請按照如下步驟處理,將yum使用的python版本改爲舊版本,第一行修改爲如下即可:

[root htdocs]$ vim /usr/bin/yum 
#!/usr/bin/python2.6

七、安裝MySQLdb for python

[root src]$ wget [root src]$ unzip MySQLdb-python.zip
[root src]$ cd MySQLdb1-master
[root MySQLdb1-master]$ vim site.cfg

添加你安裝的mysql路徑下的mysql_config:

wKiom1WaKRejFVnzAAC2XY9IT9s114.jpg

添加完再執行python setup.py build可能報以下錯:

[root MySQLdb1-master]$ python setup.py build
error: command 'gcc' failed with exit status 1

解決方法:

[root MySQLdb1-master]$ yum install gcc python-devel

再執行安裝:

[root MySQLdb1-master]$ python setup.py build
[root MySQLdb1-master]$ python setup.py install

基本環境已經安裝OVER了,下面去官網下載開源的管理軟件包:http://www.lepus.cc/soft/index,要註冊賬號的

八、安裝MySQL MTOP系統

 監控機創建監控數據庫,並授予權限,導入SQL文件

mysql> create database mysqlmtop default character set utf8; 
Query OK, 1 row affected (0.07 sec)

mysql> grant select,insert,update,delete,create,drop on mysqlmtop.* to 'mtop_user'@'localhost' identified by 'password';
Query OK, 0 rows affected (0.04 sec)

mysql>  flush privileges;
Query OK, 0 rows affected (0.02 sec)
[root src]$ unzip MySQLMTOP.zip
[root src]$ cd  mysqlmtop2.2
[root sql]$ pwd/usr/local/src/mysqlmtop2.2/sql
[root sql]$ lsmysqlmtop_data.sql  mysqlmtop.sql

監控機(即MySQL MTOP server)創建監控數據庫,並授予權限,導入SQL文件夾裏的SQL文件(表結構和數據文件):

[root sql]$ mysql -uroot -p123456 -S /data/mysql-5.6.10/mysql.sock  mysqlmtop < ./mysqlmtop.sql 
[root sql]$ mysql -uroot -p123456 -S /data/mysql-5.6.10/mysql.sock  mysqlmtop < ./mysqlmtop_data.sql
[root sql]$ mv /usr/local/src/mysqlmtop2.2 /usr/local/mysqlmtop

對被監控的數據庫進行授權

在python採集數據的過程中,需要連接到需要監控的數據庫服務器採集數據,我們爲了安全考慮,在WEB管理裏面只要求錄入主機和端口,沒有錄入賬號和密碼。所有需要監控的數據庫請授予相同的用戶密碼記錄在配置文件中。授權如下所示:

grant select,super,process on *.* to 'monitor'@'ip' identified by 'monitor';

九、安裝數據採集和報警系統

修改監控系統配置文件,進到/usr/local/mysqlmtop/mysqlmtop/etc,修改config.ini

wKioL1WaLAWiqMNdAAHjIqyht24819.jpg

 授予可執行文件執行權限

[root mysqlmtop]$ pwd/usr/local/mysqlmtop/mysqlmtop
[root mysqlmtop]$ chmod +x *.py
[root mysqlmtop]$ chmod +x *.sh[root mysqlmtop]$ chmod +x mtopctl
[root mysqlmtop]$ ln -s /usr/local/mysqlmtop/mysqlmtop/mtopctl /usr/local/bin/

測試MySQL連接,報錯了

[root mysqlmtop]$ ./test_mysql.py 
Traceback (most recent call last):
  File "./test_mysql.py", line 6, in <module>
    import MySQLdb
  File "/usr/lib64/python2.6/site-packages/MySQL_python-1.2.4-py2.6-linux-x86_64.egg/MySQLdb/__init__.py", line 19, in <module>
    import _mysql
ImportError: libmysqlclient.so.18: cannot open shared object file: No such file or directory

解決方法:

如果是64系統則:
[root mysqlmtop]$ ln -s /usr/local/mysql-5.6.10/lib/libmysqlclient.so.18  /usr/lib64/libmysqlclient.so.18
如果是32位系統:
[root mysqlmtop]$ ln -s /usr/local/mysql-5.6.10/lib/libmysqlclient.so.18  /usr/lib/libmysqlclient.so.18

如果是通過socket文件連接MySQL的話 可能會報以下錯:

mysql_exceptions.OperationalError: (2002, "Can't connect to local MySQL server through socket '/tmp/mysql.sock' (111)")

添加一下鏈接:

[root mysqlmtop]$ ln -s /data/mysql-5.6.10/mysql.sock /tmp/mysql.sock

再執行測試腳本,看到OK就正常連接成功了:

[root mysqlmtop]$ ./test_mysql.py 
MySQLDB OK!

修改下啓動腳本mtopctl(注意路徑),再啓動監控系統(注意:只有監控進程運行時系統纔會進行監控和報警)

wKiom1WaKrrCVFgFAAHzs0uwGso377.jpg

啓動:

[root mysqlmtop]$ mtopctl  start
nohup: 把輸出追加到"nohup.out"
mysql mtop start success!

使用--help查看監控系統進程管理參數,分別有start、stop、status

[root mysqlmtop]$ mtopctl --help
mysql mtop help:
support-site:www.mtop.cc  www.ruzuojun.com
====================================================================
start        Start mysql mtop monitor server; Command: #mtopctl start
stop         Stop mysql mtop monitor server; Command: #mtopctl stop
status       Check mysql mtop monitor run status; Command: #mtopctl status

十、安裝WEB管理界面

把/usr/local/mysqlmtop/frontweb下的所有文件傳到apache的/usr/local/apache/htdocs/

[root frontweb]$ pwd
/usr/local/mysqlmtop/frontweb
[root frontweb]$ cp -a * /usr/local/apache/htdocs/

打開application/config/database.php文件,修改PHP連接監控服務器的數據庫信息

[root@localhost config]# pwd
/usr/local/apache/htdocs/application/config
root@localhost config]# vim database.php

修改username填剛剛在MySQL授權用戶,password也就是對應的密碼,mysqlmtop是對應的庫,修改這三個即可

wKioL1WaLTLzQI-rAAIDHtaZoCE730.jpg

可以通過瀏覽器去訪問了:http://ip

最好把默認的index.html刪除了,這樣才走index.php,默認管理員賬號密碼admin/admin 登錄後請修改密碼,增加普通賬號

wKioL1WaLXmThsK_AAHUDzsWq5k947.jpg

查看一下相關功能

wKiom1WaK_qAXF9jAAOMNDrRD2s929.jpg

總結:

      一、該系統是開源的系統,如果搭建在公網,一定要做好各種訪問控制,做好各方面的安全工作

      二、該系統功能比較多,可以幫助MySQL DBA或運維DBA對管理MySQL及查看其性能

      三、可能該系統存在一些小bug,例如發不出郵件啊,這些就要根據自己能力去完善了,如果會python,可以去掉沒用的,加上自己想要的功能

詳細參考資料 MySQLMTOP官網:http://www.mtop.cc/

http://www.cnblogs.com/xuanzhi201111/p/4172604.html 

http://www.ruzuojun.com/topic/967.html 

http://sofar.blog.51cto.com/353572/1384203 





mysql經典語句


一、基礎  

1、說明:創建數據庫
CREATE DATABASE database-name
 
2
、說明:刪除數據庫
drop database dbname

3、說明:備份sql server
--- 創建 備份數據的 device
USE master
EXEC sp_addumpdevice 'disk', 'testBack', 'c:\mssql7backup\MyNwind_1.dat'
--- 
開始 備份
BACKUP DATABASE pubs TO testBack
 
4、說明:創建新表
create table tabname(col1 type1 [not null] [primary key],col2 type2 [not null],..)

根據已有的表創建新表: 
Acreate table tab_new like tab_old (使用舊錶創建新表)
B
create table tab_new as select col1,col2… from tab_old definition only
5、說明:刪除新表
drop table tabname
 
6、說明:增加一個列
Alter table tabname add column col type

:列增加後將不能刪除。DB2中列加上後數據類型也不能改變,唯一能改變的是增加varchar類型的長度。
7、說明:添加主鍵: 
Alter table tabname add primary key(col) 
說明:刪除主鍵 Alter table tabname drop primary key(col) 
8、說明:創建索引create [unique] index idxname on tabname(col….) 
刪除索引drop index idxname
注:索引是不可更改的,想更改必須刪除重新建。
9
、說明:創建視圖create view viewname as select statement 
刪除視圖drop view viewname
10
、說明:幾個簡單的基本的sql語句
選擇:
select * from table1 where 範圍
插入:insert into table1(field1,field2) values(value1,value2)
刪除:delete from table1 where 範圍
更新
update table1 set field1=value1 where 範圍
查找select * from table1 where field1 like ’%value1%’ ---like的語法很精妙,查資料!
排序select * from table1 order by field1,field2 [desc]
總數select count as totalcount from table1
求和select sum(field1) as sumvalue from table1
平均select avg(field1) as avgvalue from table1
最大select max(field1) as maxvalue from table1
最小select min(field1) as minvalue from table1
11、說明:幾個高級查詢運算詞
A
: 
UNION 運算符
 
UNION 運算符通過組合其他兩個結果表(例如 TABLE1  TABLE2)並消去表中任何重複行而派生出一個結果表。當ALL  UNION 一起使用時(即 UNION ALL),不消除重複行。兩種情況下,派生表的每一行不是來自 TABLE1 就是來自 TABLE2 
B EXCEPT 運算符 
EXCEPT
 運算符通過包括所有在 TABLE1 中但不在 TABLE2 中的行並消除所有重複行而派生出一個結果表。當 ALL EXCEPT 一起使用時 (EXCEPT ALL),不消除重複行。 
C INTERSECT 運算符
INTERSECT
 運算符通過只包括 TABLE1  TABLE2 中都有的行並消除所有重複行而派生出一個結果表。當 ALL INTERSECT 一起使用時 (INTERSECT ALL),不消除重複行。 
注:使用運算詞的幾個查詢結果行必須是一致的 
12
、說明:使用外連接 
Aleft outer join 
外連接(左連接):結果集幾包括連接表的匹配行,也包括左連接表的所有行。 
SQL: select a.a, a.b, a.c, b.c, b.d, b.f from a LEFT OUT JOIN b ON a.a = b.c
Bright outer join: 
右外連接(右連接):結果集既包括連接表的匹配連接行,也包括右連接表的所有行。 
Cfull/cross outer join 
全外連接:不僅包括符號連接表的匹配行,還包括兩個連接表中的所有記錄。
12
、分組:Group by:
   
一張表,一旦分組 完成後,查詢後只能得到組相關的信息。
    
組相關的信息:(統計信息) count,sum,max,min,avg  分組的標準)
  
  SQLServer中分組時:不能以text,ntext,image類型的字段作爲分組依據
   
selecte統計函數中的字段,不能和普通的字段放在一起;

13、對數據庫進行操作:
   
分離數據庫
 sp_detach_db; 附加數據庫sp_attach_db 後接表明,附加需要完整的路徑名
14.
如何修改數據庫的名稱:

sp_renamedb 'old_name', 'new_name'

 

二、提升

1、說明:複製表(只複製結構,源表名:新表名:b) (Access可用)
法一:
select * into b from a where 1<>1僅用於SQlServer
法二:select top 0 * into b from a
2、說明:拷貝表(拷貝數據,源表名:目標表名:b) (Access可用)
insert into b(a, b, c) select d,e,f from b;

3、說明:跨數據庫之間表的拷貝(具體數據使用絕對路徑) (Access可用)
insert into b(a, b, c) select d,e,f from b in ‘具體數據庫’ where 條件
例子:..from b in '"&Server.MapPath(".")&"\data.mdb" &"' where..

4、說明:子查詢(表名1表名2b)
select a,b,c from a where a IN (select d from b ) 或者: select a,b,c from a where a IN (1,2,3)

5、說明:顯示文章、提交人和最後回覆時間
select a.title,a.username,b.adddate from table a,(select max(adddate) adddate from table where table.title=a.title) b

6、說明:外連接查詢(表名1表名2b)
select a.a, a.b, a.c, b.c, b.d, b.f from a LEFT OUT JOIN b ON a.a = b.c

7、說明:在線視圖查詢(表名1a )
select * from (SELECT a,b,c FROM a) T where t.a > 1;

8、說明:between的用法,between限制查詢數據範圍時包括了邊界值,not between不包括
select * from table1 where time between time1 and time2
select a,b,c, from table1 where a not between 
數值1 and 數值2

9、說明:in 的使用方法
select * from table1 where a [not] in (‘1’,’2’,’4’,’6’)

10、說明:兩張關聯表,刪除主表中已經在副表中沒有的信息 
delete from table1 where not exists ( select * from table2 where table1.field1=table2.field1 )

11、說明:四表聯查問題:
select * from a left inner join b on a.a=b.b right inner join c on a.a=c.c inner join d on a.a=d.d where .....

12、說明:日程安排提前五分鐘提醒 
SQL: select * from 日程安排 where datediff('minute',f開始時間,getdate())>5

13、說明:一條sql 語句搞定數據庫分頁
select top 10 b.* from (select top 20 主鍵字段,排序字段 from 表名 order by 排序字段 desc) a,表名 b where b.主鍵字段 = a.主鍵字段 order by a.排序字段
具體實現:
關於數據庫分頁:

  declare @start int,@end int

  @sql  nvarchar(600)

  set @sql=’select top’+str(@end-@start+1)+’+from T where rid not in(select top’+str(@str-1)+’Rid from T where Rid>-1)’

  exec sp_executesql @sql


注意:在top後不能直接跟一個變量,所以在實際應用中只有這樣的進行特殊的處理。Rid爲一個標識列,如果top後還有具體的字段,這樣做是非常有好處的。因爲這樣可以避免 top的字段如果是邏輯索引的,查詢的結果後實際表中的不一致(邏輯索引中的數據有可能和數據表中的不一致,而查詢時如果處在索引則首先查詢索引

14、說明:前10條記錄
select top 10 * form table1 where 範圍

15、說明:選擇在每一組b值相同的數據中對應的a最大的記錄的所有信息(類似這樣的用法可以用於論壇每月排行榜,每月熱銷產品分析,按科目成績排名,等等.)
select a,b,c from tablename ta where a=(select max(a) from tablename tb where tb.b=ta.b)

16、說明:包括所有在 TableA 中但不在 TableBTableC 中的行並消除所有重複行而派生出一個結果表
(select a from tableA ) except (select a from tableB) except (select a from tableC)

17、說明:隨機取出10條數據
select top 10 * from tablename order by newid()

18、說明:隨機選擇記錄
select newid()

19、說明:刪除重複記錄
1),
delete from tablename where id not in (select max(id) from tablename group by col1,col2,...)
2),select distinct * into temp from tablename
  delete from 
tablename
  insert into 
tablename select * from temp
評價: 這種操作牽連大量的數據的移動,這種做法不適合大容量但數據操作
3),例如:在一個外部表中導入數據,由於某些原因第一次只導入了一部分,但很難判斷具體位置,這樣只有在下一次全部導入,這樣也就產生好多重複的字段,怎樣刪除重複字段

alter table tablename
--添加一個自增列
add  column_b int identity(1,1)
 delete from 
tablename where column_b not in(
select 
max(column_b)  from tablename group by column1,column2,...)
alter table 
tablename drop column column_b

20、說明:列出數據庫裏所有的表名
select name from sysobjects where type='U' // U代表用戶

21、說明:列出表裏的所有的列名
select name from syscolumns where id=object_id('TableName')

22、說明:列示typevenderpcs字段,以type字段排列,case可以方便地實現多重選擇,類似select 中的case
select type,sum(case vender when 'A' then pcs else 0 end),sum(case vender when 'C' then pcs else 0 end),sum(case vender when 'B' then pcs else 0 end) FROM tablename group by type
顯示結果:
type vender pcs
電腦 A 1
電腦 A 1
光盤 B 2
光盤 A 2
手機 B 3
手機 C 3

23、說明:初始化表table1

TRUNCATE TABLE table1

24、說明:選擇從1015的記錄
select top 5 * from (select top 15 * from table order by id asc) table_別名 order by id desc

三、技巧

11=11=2的使用,在SQL語句組合時用的較多

“where 1=1” 是表示選擇全部    “where 1=2”全部不選,
如:
if @strWhere !='' 
begin
set @strSQL = 'select count(*) as Total from [' + @tblName + '] where ' + @strWhere 
end
else 
begin
set @strSQL = 'select count(*) as Total from [' + @tblName + ']' 
end

我們可以直接寫成

錯誤!未找到目錄項。
set @strSQL = 'select count(*) as Total from [' + @tblName + '] where 1=1 
安定 '+ @strWhere 2、收縮數據庫
--重建索引
DBCC REINDEX
DBCC INDEXDEFRAG
--
收縮數據和日誌
DBCC SHRINKDB
DBCC SHRINKFILE

3、壓縮數據庫
dbcc shrinkdatabase(dbname)

4、轉移數據庫給新用戶以已存在用戶權限
exec sp_change_users_login 'update_one','newname','oldname'
go

5、檢查備份集
RESTORE VERIFYONLY from disk='E:\dvbbs.bak'

6、修復數據庫
ALTER DATABASE [dvbbs] SET SINGLE_USER
GO
DBCC CHECKDB('dvbbs',repair_allow_data_loss) WITH TABLOCK
GO
ALTER DATABASE [dvbbs] SET MULTI_USER
GO

7、日誌清除
SET NOCOUNT ON
DECLARE @LogicalFileName sysname,
 @MaxMinutes INT,
 @NewSize INT


USE tablename -- 
要操作的數據庫名
SELECT  @LogicalFileName = 'tablename_log', -- 
日誌文件名
@MaxMinutes = 10, -- Limit on time allowed to wrap log.
 @NewSize = 1  -- 
你想設定的日誌文件的大小(M)

Setup / initialize
DECLARE @OriginalSize int
SELECT @OriginalSize = size 
 FROM sysfiles
 WHERE name = @LogicalFileName
SELECT 'Original Size of ' + db_name() + ' LOG is ' + 
 CONVERT(VARCHAR(30),@OriginalSize) + ' 8K pages or ' + 
 CONVERT(VARCHAR(30),(@OriginalSize*8/1024)) + 'MB'
 FROM sysfiles
 WHERE name = @LogicalFileName
CREATE TABLE DummyTrans
 (DummyColumn char (8000) not null)


DECLARE @Counter    INT,
 @StartTime DATETIME,
 @TruncLog   VARCHAR(255)
SELECT @StartTime = GETDATE(),
 @TruncLog = 'BACKUP LOG ' + db_name() + ' WITH TRUNCATE_ONLY'

DBCC SHRINKFILE (@LogicalFileName, @NewSize)
EXEC (@TruncLog)
-- Wrap the log if necessary.
WHILE @MaxMinutes > DATEDIFF (mi, @StartTime, GETDATE()) -- time has not expired
 AND @OriginalSize = (SELECT size FROM sysfiles WHERE name = @LogicalFileName)  
 AND (@OriginalSize * 8 /1024) > @NewSize  
 BEGIN -- Outer loop.
SELECT @Counter = 0
 WHILE   ((@Counter < @OriginalSize / 16) AND (@Counter < 50000))
 BEGIN -- update
 INSERT DummyTrans VALUES ('Fill Log') DELETE DummyTrans
 SELECT @Counter = @Counter + 1
 END
 EXEC (@TruncLog)  
 END
SELECT 'Final Size of ' + db_name() + ' LOG is ' +
 CONVERT(VARCHAR(30),size) + ' 8K pages or ' + 
 CONVERT(VARCHAR(30),(size*8/1024)) + 'MB'
 FROM sysfiles 
 WHERE name = @LogicalFileName
DROP TABLE DummyTrans
SET NOCOUNT OFF

8、說明:更改某個表
exec sp_changeobjectowner 'tablename','dbo'

9、存儲更改全部表

CREATE PROCEDURE dbo.User_ChangeObjectOwnerBatch
@OldOwner as NVARCHAR(128),
@NewOwner as NVARCHAR(128)
AS

DECLARE @Name    as NVARCHAR(128)
DECLARE @Owner   as NVARCHAR(128)
DECLARE @OwnerName   as NVARCHAR(128)

DECLARE curObject CURSOR FOR 
select 'Name'    = name,
   'Owner'    = user_name(uid)
from sysobjects
where user_name(uid)=@OldOwner
order by name

OPEN   curObject
FETCH NEXT FROM curObject INTO @Name, @Owner
WHILE(@@FETCH_STATUS=0)
BEGIN     
if @Owner=@OldOwner 
begin
   set @OwnerName = @OldOwner + '.' + rtrim(@Name)
   exec sp_changeobjectowner @OwnerName, @NewOwner
end
-- select @name,@NewOwner,@OldOwner

FETCH NEXT FROM curObject INTO @Name, @Owner
END

close curObject
deallocate curObject
GO


10SQL SERVER中直接循環寫入數據
declare @i int
set @i=1
while @i<30
begin
    insert into test (userid) values(@i)
    set @i=@i+1
end
案例
有如下表,要求就裱中所有沒有及格的成績,在每次增長0.1的基礎上,使他們剛好及格:

    Name     score

    Zhangshan   80

    Lishi       59

    Wangwu      50

    Songquan    69

while((select min(score) from tb_table)<60)

begin

update tb_table set score =score*1.01

where score<60

if  (select min(score) from tb_table)>60

  break

 else

    continue

end

 

數據開發-經典


1.按姓氏筆畫排序:
Select * From TableName Order By CustomerName Collate Chinese_PRC_Stroke_ci_as //
從少到多

2.數據庫加密:
select encrypt('原始密碼')
select pwdencrypt('
原始密碼')
select pwdcompare('
原始密碼','加密後密碼') = 1--相同;否則不相同 encrypt('原始密碼')
select pwdencrypt('
原始密碼')
select pwdcompare('
原始密碼','加密後密碼') = 1--相同;否則不相同

3.取回表中字段:
declare @list varchar(1000),
@sql nvarchar(1000) 
select @list=@list+
','+b.name from sysobjects a,syscolumns b where a.id=b.id and a.name='A'
set @sql='select '+right(@list,len(@list)-1)+' from A
exec (@sql)

4.查看硬盤分區:
EXEC master..xp_fixeddrives

5.比較A,B表是否相等:
if (select checksum_agg(binary_checksum(*)) from A)
     =
    (select checksum_agg(binary_checksum(*)) from B)
print '
相等'
else
print '
不相等'

6.殺掉所有的事件探察器進程:
DECLARE hcforeach CURSOR GLOBAL FOR SELECT 'kill '+RTRIM(spid) FROM master.dbo.sysprocesses
WHERE program_name IN('SQL profiler',N'SQL 
事件探查器')
EXEC sp_msforeach_worker '?
'

7.記錄搜索:
開頭到N條記錄
Select Top N * From 
-------------------------------
NM條記錄(要有主索引ID)
Select Top M-N * From  Where ID in (Select Top M ID From ) Order by ID   Desc
----------------------------------
N
到結尾記錄
Select Top N * From  Order by ID Desc
案例
例如1:一張表有一萬多條記錄,表的第一個字段 RecID 是自增長字段, 寫一個SQL語句, 找出表的第31到第40個記錄。

 select top 10 recid from A where recid not  in(select top 30 recid from A)

分析:如果這樣寫會產生某些問題,如果recid在表中存在邏輯索引。

    select top 10 recid from A where……是從索引中查找,而後面的select top 30 recid from A則在數據表中查找,這樣由於索引中的順序有可能和數據表中的不一致,這樣就導致查詢到的不是本來的欲得到的數據。

解決方案

1, order by select top 30 recid from A order by ricid 如果該字段不是自增長,就會出現問題

2, 在那個子查詢中也加條件:select top 30 recid from A where recid>-1

2:查詢表中的最後以條記錄,並不知道這個表共有多少數據,以及表結構。
set @s = 'select top 1 * from T   where pid not in (select top ' + str(@count-1) + ' pid  from T)'

print @s      exec  sp_executesql  @s

9:獲取當前數據庫中的所有用戶表
select Name from sysobjects where xtype='u' and status>=0

10:獲取某一個表的所有字段
select name from syscolumns where id=object_id('表名')

select name from syscolumns where id in (select id from sysobjects where type = 'u' and name = '表名')

兩種方式的效果相同

11:查看與某一個表相關的視圖、存儲過程、函數
select a.* from sysobjects a, syscomments b where a.id = b.id and b.text like '%表名%'

12:查看當前數據庫中所有存儲過程
select name as 存儲過程名稱 from sysobjects where xtype='P'

13:查詢用戶創建的所有數據庫
select * from master..sysdatabases D where sid not in(select sid from master..syslogins where name='sa')
或者
select dbid, name AS DB_NAME from master..s
ysdatabases where sid <> 0x01

14:查詢某一個表的字段和數據類型
select column_name,data_type from information_schema.columns
where table_name = '
表名'

15:不同服務器數據庫之間的數據操作

--創建鏈接服務器

exec sp_addlinkedserver   'ITSV ', ' ', 'SQLOLEDB ', '遠程服務器名或ip地址 '

exec sp_addlinkedsrvlogin  'ITSV ', 'false ',null, '用戶名 ', '密碼 '

--查詢示例

select * from ITSV.數據庫名.dbo.表名

--導入示例

select * into  from ITSV.數據庫名.dbo.表名

--以後不再使用時刪除鏈接服務器

exec sp_dropserver  'ITSV ', 'droplogins '

 

--連接遠程/局域網數據(openrowset/openquery/opendatasource)

--1openrowset

--查詢示例

select * from openrowset( 'SQLOLEDB ', 'sql服務器名 '; '用戶名 '; '密碼 ',數據庫名.dbo.表名)

--生成本地表

select * into  from openrowset( 'SQLOLEDB ', 'sql服務器名 '; '用戶名 '; '密碼 ',數據庫名.dbo.表名)

 

--把本地表導入遠程表

insert openrowset( 'SQLOLEDB ', 'sql服務器名 '; '用戶名 '; '密碼 ',數據庫名.dbo.表名)

select *from 本地表

--更新本地表

update b

set b.A=a.A

 from openrowset( 'SQLOLEDB ', 'sql服務器名 '; '用戶名 '; '密碼 ',數據庫名.dbo.表名)as a inner join本地表 b

on a.column1=b.column1

--openquery用法需要創建一個連接

--首先創建一個連接創建鏈接服務器

exec sp_addlinkedserver   'ITSV ', ' ', 'SQLOLEDB ', '遠程服務器名或ip地址 '

--查詢

select *

FROM openquery(ITSV,  'SELECT *  FROM 數據庫.dbo.表名 ')

--把本地表導入遠程表

insert openquery(ITSV,  'SELECT *  FROM 數據庫.dbo.表名 ')

select * from 本地表

--更新本地表

update b

set b.B=a.B

FROM openquery(ITSV,  'SELECT * FROM 數據庫.dbo.表名 ') as a 

inner join 本地表 b on a.A=b.A

 

--3opendatasource/openrowset

SELECT   *

FROM   opendatasource( 'SQLOLEDB ',  'Data Source=ip/ServerName;User ID=登陸名;Password=密碼 ' ).test.dbo.roy_ta

--把本地表導入遠程表

insert opendatasource( 'SQLOLEDB ',  'Data Source=ip/ServerName;User ID=登陸名;Password=密碼 ').數據庫.dbo.表名

select * from 本地表 

http://linux521.blog.51cto.com/4099846/767662 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章