linux mysql 数据库自动备份

 

 

说明:我这里要把MySql数据库存放目录/var/lib/mysql下面的data数据库备份到/home/mysql_data里面
并且保存为mysqldata_bak_2012_12_19.tar.gz的压缩文件格式(2012_12_19是指备份执行时当天的日期)
然后只保留最近7天的备份
再把备份文件通过ftp服务器上传到指定空间,只保留最近7天的数据

实现步骤:

1、创建保存备份文件的路径:/home/mysql_data
cd /home
mkdir mysql_data
2、创建备份脚本文件:/home/mysql_data/mysql_databak.sh
cd /home
cd  mysql_data
touch mysql_databak.sh
vim  mysql_databak.sh
输入以下内容:
#############################################################

#!/bin/sh
DUMP=/usr/bin/mysqldump    #mysqldump备份文件执行路径
OUT_DIR=/home/mysql_data   #备份存放路径
LINUX_USER=root            #系统用户名
DB_NAME=data               #要备份的数据库名字
DB_USER=root               #数据库账号 注意:非root用户要用备份参数 –skip-lock-tables,否则可能会报错
DB_PASS=123456             #数据库密码
DAYS=7                     #DAYS=7代表删除7天前的备份,即只保留最近7天的备份
cd $OUT_DIR                #进入备份存放目录
DATE=`date +%Y_%m_%d`      #获取当前系统时间
OUT_SQL=”$DATE.sql”        #备份数据库的文件名
TAR_SQL=”mysqldata_bak_$DATE.tar.gz” #最终保存的数据库备份文件名
$DUMP -u$DB_USER -p$DB_PASS $DB_NAME –default-character-set=utf8 –opt -Q -R –skip-lock-tables> $OUT_SQL #备份
tar -czf $TAR_SQL ./$OUT_SQL  #压缩为.tar.gz格式
rm $OUT_SQL   #删除.sql格式的备份文件
chown  $LINUX_USER:$LINUX_USER $OUT_DIR/$TAR_SQL  #更改备份数据库文件的所有者
find $OUT_DIR -name “mysqldata_bak_*” -type f -mtime +$DAYS -exec rm {} ;  #删除7天前的备份文件

deldate=` date -d -7day +%Y_%m_%d `   #获取7天前的时间
ftp -n<<!
open 192.168.1.1  21 #打开ftp服务器。21为ftp端口
user admin 123456  #用户名、密码
binary  #设置二进制传输
cd mysqlbak  #进入ftp目录(这个目录必须为ftp空间真实存在的目录)
lcd /home/mysql_data  #列出本地目录
prompt
put mysqldata_bak_$DATE.tar.gz   mysqldata_bak_$DATE.tar.gz   #上传目录中的文件
delete mysqldata_bak_$deldate.tar.gz  mysqldata_bak_$deldate.tar.gz  #删除ftp空间7天前的备份
close
bye !

##############################################################

 

3、修改文件属性,使其可执行

chmod +x /home/mysql_data/mysql_databak.sh

4、修改/etc/crontab
vi /etc/crontab
在下面添加

30 1 * * * root  /home/mysql_data/mysql_databak.sh
表示每天凌晨1:30分执行备份

5、重新启动crond使设置生效
/etc/rc.d/init.d/crond restart
chkconfig crond on #设为开机启动
service crond start #启动

每天你在/home/mysql_data目录下面可以看到类似mysqldata_bak_2012_12_19.tar.gz这样的压缩文件
如果需要恢复文件的时候,只需要把这个文件解压即可
解压缩tar -zxvf  mysqldata_bak_2012_12_19.tar.gz

至此,我们完成了Linux中Mysql数据库自动备份并上传到远程FTP服务器的部署。

win7 64位wamp加载curl出错 Unable to load dynamic library php_curl.dll 解决方案

 

Unable to load dynamic library php_curl.dll

这个在国外的网站看到的解决方案,需要重新下载个新的curl替换了就ok

访问http://www.anindya.com/php-5-4-3-and-php-5-3-13-x64-64-bit-for-windows/ 

ctrl+F   curl   对准你的版本  我的是5.4.3

php_curl-5.4.3-VC9-x64.zip 的链接;

结果悲剧发生了,下载链接被墙了

好吧,那就开个goagent 这个可以谷哥

我下下了就在百度网盘共享了,这个真的可以下

 

http://pan.baidu.com/share/link?shareid=435821&uk=353717702

 

感谢Google  感谢度娘

@王一丁-_-0

[转]面试:大数据量专题

1. 给你A,B两个文件,各存放50亿条URL,每条URL占用64字节,内存限制是4G,让你找出A,B文件共同的URL。

2. 有10个文件,每个文件1G, 每个文件的每一行都存放的是用户的query,每个文件的query都可能重复。要你按照query的频度排序

3. 有一个1G大小的一个文件,里面每一行是一个词,词的大小不超过16个字节,内存限制大小是1M。返回频数最高的100个词

4.海量日志数据,提取出某日访问百度次数最多的那个IP。

5.2.5亿个整数中找出不重复的整数,内存空间不足以容纳这2.5亿个整数。

6.海量数据分布在100台电脑中,想个办法高效统计出这批数据的TOP10。

7.怎么在海量数据中找出重复次数最多的一个

8.上千万or亿数据(有重复),统计其中出现次数最多的前N个数据。

统计可以用hash,二叉数,trie树。对统计结果用堆求出现的前n大数据。增加点限制可以提高效率,比如 出现次数>数据总数/N的一定是在前N个之内

9.1000万字符串,其中有些是相同的(重复),需要把重复的全部去掉,保留没有重复的字符串。请问怎么设计和实现?

10.一个文本文件,大约有一万行,每行一个词,要求统计出其中最频繁出现的前十个词。请给出思想,给时间复杂度分析。

11.一个文本文件,也是找出前十个最经常出现的词,但这次文件比较长,说是上亿行或者十亿行,总之无法一次读入内存,问最优解。

12.有10个文件,每个文件1G, 每个文件的每一行都存放的是用户的query,每个文件的query都可能重复要按照query的频度排序

13.100w个数中找最大的前100个数

14.寻找热门查询:
搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来,每个查询串的长度为1-255字节。假设目前有一千万个记录,
这些查询串的重复度比较高,虽然总数是1千万,但如果除去重复后,不超过3百万个。一个查询串的重复度越高,说明查询它的用户越多,
也就是越热门。请你统计最热门的10个查询串,要求使用的内存不能超过1G。
(1)请描述你解决这个问题的思路;
(2)请给出主要的处理流程,算法,以及算法的复杂度。

15.一共有N个机器,每个机器上有N个数。每个机器最多存O(N)个数并对它们操作。
如何找到N^2个数的中数(median)?

大数据量,海量数据 处理方法总结

算法与acm 2009-11-26 16:05 阅读22 评论0

字号: 大 大 中 中 小 小

大数据量的问题是很多面试笔试中经常出现的问题,比如baidu google 腾讯 这样的一些涉及到海量数据的公司经常会问到。

下面的方法是我对海量数据的处理方法进行了一个一般性的总结,当然这些方法可能并不能完全覆盖所有的问题,但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目,方法不一定最优,如果你有更好的处理方法,欢迎与我讨论。

1.Bloom filter

适用范围:可以用来实现数据字典,进行数据的判重,或者集合求交集

基本原理及要点:

对于原理来说很简单,位数组+k个独立hash函数。将 hash函数对应的值的位数组置1,查找时如果发现所有hash函数对应位都是1说明存在,很明显这个过程并不保证查找的结果是100%正确的。同时也不 支持删除一个已经插入的关键字,因为该关键字对应的位会牵动到其他的关键字。所以一个简单的改进就是 counting Bloom filter,用一个counter数组代替位数组,就可以支持删除了。

还有一个比较重要的问题,如何根据输入元素个数n,确定位数 组m的大小及hash函数个数。当hash函数个数k=(ln2)*(m/n)时错误率最小。在错误率不大于E的情况下,m至少要等于n*lg(1/E) 才能表示任意n个元素的集合。但m还应该更大些,因为还要保证bit数组里至少一半为0,则m应该>=nlg(1/E)*lge 大概就是nlg(1/E)1.44倍(lg表示以2为底的对数)。

举个例子我们假设错误率为0.01,则此时m应大概是n的13倍。这样k大概是8个。

注意这里m与n的单位不同,m是bit为单位,而n则是以元素个数为单位(准确的说是不同元素的个数)。通常单个元素的长度都是有很多bit的。所以使用bloom filter内存上通常都是节省的。

扩展:

Bloom filter将集合中的元素映射到位数组中,用k(k为哈希函数个数)个映射位是否全1表示元素在不在这个集合中。Counting bloom filter(CBF)将位数组中的每一位扩展为一个counter,从而支持了元素的删除操作。Spectral Bloom Filter(SBF)将其与集合元素的出现次数关联。SBF采用counter中的最小值来近似表示元素的出现频率。

问题实例:给你A,B两个文件,各存放50亿条URL,每条URL占用64字节,内存限制是4G,让你找出A,B文件共同的URL。如果是三个乃至n个文件呢?

根据这个问题我们来计算下内存的占用,4G=2^32大概是 40亿*8大概是340亿,n=50亿,如果按出错率0.01算需要的大概是650亿个bit。现在可用的是340亿,相差并不多,这样可能会使出错率上 升些。另外如果这些urlip是一一对应的,就可以转换成ip,则大大简单了。

2.Hashing

适用范围:快速查找,删除的基本数据结构,通常需要总数据量可以放入内存

基本原理及要点:

hash函数选择,针对字符串,整数,排列,具体相应的hash方法。

碰撞处理,一种是open hashing,也称为拉链法;另一种就是closed hashing,也称开地址法,opened addressing。

扩展:

d-left hashing中的d是多个的意思,我们先简化这个问题,看一看2-left hashing。2-left hashing指的是将一个哈希表分成长度相等的两半,分别叫做T1和T2,给T1和T2分别配备一个哈希函数,h1和h2。在存储一个新的key时,同 时用两个哈希函数进行计算,得出两个地址h1[key]和h2[key]。这时需要检查T1中的h1[key]位置和T2中的h2[key]位置,哪一个 位置已经存储的(有碰撞的)key比较多,然后将新key存储在负载少的位置。如果两边一样多,比如两个位置都为空或者都存储了一个key,就把新key 存储在左边的T1子表中,2-left也由此而来。在查找一个key时,必须进行两次hash,同时查找两个位置。

问题实例:

1).海量日志数据,提取出某日访问百度次数最多的那个IP。

IP的数目还是有限的,最多2^32个,所以可以考虑使用hash将ip直接存入内存,然后进行统计。

3.bit-map

适用范围:可进行数据的快速查找,判重,删除,一般来说数据范围是int的10倍以下

基本原理及要点:使用bit数组来表示某些元素是否存在,比如8位电话号码

扩展:bloom filter可以看做是对bit-map的扩展

问题实例:

1)已知某个文件内包含一些电话号码,每个号码为8位数字,统计不同号码的个数。

8位最多99 999 999,大概需要99m个bit,大概10几m字节的内存即可。

2)2.5亿个整数中找出不重复的整数的个数,内存空间不足以容纳这2.5亿个整数。

将bit-map扩展一下,用2bit表示一个数即可,0表示未出现,1表示出现一次,2表示出现2次及以上。或者我们不用2bit来进行表示,我们用两个bit-map即可模拟实现这个2bit-map。

4.堆

适用范围:海量数据前n大,并且n比较小,堆可以放入内存

基本原理及要点:最大堆求前n小,最小堆求前n大。方法,比 如求前n小,我们比较当前元素与最大堆里的最大元素,如果它小于最大元素,则应该替换那个最大元素。这样最后得到的n个元素就是最小的n个。适合大数据 量,求前n小,n的大小比较小的情况,这样可以扫描一遍即可得到所有的前n元素,效率很高。

扩展:双堆,一个最大堆与一个最小堆结合,可以用来维护中位数。

问题实例:

1)100w个数中找最大的前100个数。

用一个100个元素大小的最小堆即可。

5.双层桶划分

适用范围:第k大,中位数,不重复或重复的数字

基本原理及要点:因为元素范围很大,不能利用直接寻址表,所以通过多次划分,逐步确定范围,然后最后在一个可以接受的范围内进行。可以通过多次缩小,双层只是一个例子。

扩展:

问题实例:

1).2.5亿个整数中找出不重复的整数的个数,内存空间不足以容纳这2.5亿个整数。

有点像鸽巢原理,整数个数为2^32,也就是,我们可以将这2^32个数,划分为2^8个区域(比如用单个文件代表一个区域),然后将数据分离到不同的区域,然后不同的区域在利用bitmap就可以直接解决了。也就是说只要有足够的磁盘空间,就可以很方便的解决。

2).5亿个int找它们的中位数。

这个例子比上面那个更明显。首先我们将int划分为2^16个区域,然后读取数据统计落到各个区域里的数的个数,之后我们根据统计结果就可以判断中位数落到那个区域,同时知道这个区域中的第几大数刚好是中位数。然后第二次扫描我们只统计落在这个区域中的那些数就可以了。

实际上,如果不是int是int64,我们可以经过3次这样 的划分即可降低到可以接受的程度。即可以先将int64分成2^24个区域,然后确定区域的第几大数,在将该区域分成2^20个子区域,然后确定是子区域 的第几大数,然后子区域里的数的个数只有2^20,就可以直接利用direct addr table进行统计了。

6.数据库索引

适用范围:大数据量的增删改查

基本原理及要点:利用数据的设计实现方法,对海量数据的增删改查进行处理。

扩展:

问题实例:

7.倒排索引(Inverted index)

适用范围:搜索引擎,关键字查询

基本原理及要点:为何叫倒排索引?一种索引方法,被用来存储在全文搜索下某个单词在一个文档或者一组文档中的存储位置的映射。

以英文为例,下面是要被索引的文本:

T0 = “it is what it is”

T1 = “what is it”

T2 = “it is a banana”

我们就能得到下面的反向文件索引:

“a”: {2}

“banana”: {2}

“is”: {0, 1, 2}

“it”: {0, 1, 2}

“what”: {0, 1}

检索的条件”what”, “is” 和 “it” 将对应集合的交集。

正向索引开发出来用来存储每个文档的单词的列表。正向索引的 查询往往满足每个文档有序频繁的全文查询和每个单词在校验文档中的验证这样的查询。在正向索引中,文档占据了中心的位置,每个文档指向了一个它所包含的索 引项的序列。也就是说文档指向了它包含的那些单词,而反向索引则是单词指向了包含它的文档,很容易看到这个反向的关系。

扩展:

问题实例:文档检索系统,查询那些文件包含了某单词,比如常见的学术论文的关键字搜索。

8.外排序

适用范围:大数据的排序,去重

基本原理及要点:外排序的归并方法,置换选择 败者树原理,最优归并树

扩展:

问题实例:

1).有一个1G大小的一个文件,里面每一行是一个词,词的大小不超过16个字节,内存限制大小是1M。返回频数最高的100个词。

这个数据具有很明显的特点,词的大小为16个字节,但是内存只有1m做hash有些不够,所以可以用来排序。内存可以当输入缓冲区使用。

9.trie树

适用范围:数据量大,重复多,但是数据种类小可以放入内存

基本原理及要点:实现方式,节点孩子的表示方式

扩展:压缩实现。

问题实例:

1).有10个文件,每个文件1G, 每个文件的每一行都存放的是用户的query,每个文件的query都可能重复。要你按照query的频度排序 。

2).1000万字符串,其中有些是相同的(重复),需要把重复的全部去掉,保留没有重复的字符串。请问怎么设计和实现?

3).寻找热门查询:查询串的重复度比较高,虽然总数是1千万,但如果除去重复后,不超过3百万个,每个不超过255字节。

10.分布式处理 mapreduce

适用范围:数据量大,但是数据种类小可以放入内存

基本原理及要点:将数据交给不同的机器去处理,数据划分,结果归约。

扩展:

问题实例:

1).The canonical example application of MapReduce is a process to count the appearances of

each different word in a set of documents:

void map(String name, String document):

// name: document name

// document: document contents

for each word w in document:

EmitIntermediate(w, 1);

void reduce(String word, Iterator partialCounts):

// key: a word

// values: a list of aggregated partial counts

int result = 0;

for each v in partialCounts:

result += ParseInt(v);

Emit(result);

Here, each document is split in words, and each word is counted initially with a “1” value by

the Map function, using the word as the result key. The framework puts together all the pairs

with the same key and feeds them to the same call to Reduce, thus this function just needs to

sum all of its input values to find the total appearances of that word.

2).海量数据分布在100台电脑中,想个办法高效统计出这批数据的TOP10。

3).一共有N个机器,每个机器上有N个数。每个机器最多存O(N)个数并对它们操作。如何找到N^2个数的中数(median)?

经典问题分析

上千万or亿数据(有重复),统计其中出现次数最多的前N个数据,分两种情况:可一次读入内存,不可一次读入。

可用思路:trie树+堆,数据库索引,划分子集分别统计,hash,分布式计算,近似统计,外排序

所谓的是否能一次读入内存,实际上应该指去除重复后的数据 量。如果去重后数据可以放入内存,我们可以为数据建立字典,比如通过 map,hashmap,trie,然后直接进行统计即可。当然在更新每条数据的出现次数的时候,我们可以利用一个堆来维护出现次数最多的前N个数据,当 然这样导致维护次数增加,不如完全统计后在求前N大效率高。

如果数据无法放入内存。一方面我们可以考虑上面的字典方法能否被改进以适应这种情形,可以做的改变就是将字典存放到硬盘上,而不是内存,这可以参考数据库的存储方法。

当然还有更好的方法,就是可以采用分布式计算,基本上就是 map-reduce过程,首先可以根据数据值或者把数据hash(md5)后的值,将数据按照范围划分到不同的机子,最好可以让数据划分后可以一次读入 内存,这样不同的机子负责处理各种的数值范围,实际上就是map。得到结果后,各个机子只需拿出各自的出现次数最多的前N个数据,然后汇总,选出所有的数 据中出现次数最多的前N个数据,这实际上就是reduce过程。

实际上可能想直接将数据均分到不同的机子上进行处理,这样是 无法得到正确的解的。因为一个数据可能被均分到不同的机子上,而另一个则可能完全聚集到一个机子上,同时还可能存在具有相同数目的数据。比如我们要找出现 次数最多的前100个,我们将1000万的数据分布到10台机器上,找到每台出现次数最多的前 100个,归并之后这样不能保证找到真正的第100个,因为比如出现次数最多的第100个可能有1万个,但是它被分到了10台机子,这样在每台上只有1千 个,假设这些机子排名在1000个之前的那些都是单独分布在一台机子上的,比如有1001个,这样本来具有1万个的这个就会被淘汰,即使我们让每台机子选 出出现次数最多的1000个再归并,仍然会出错,因为可能存在大量个数为1001个的发生聚集。因此不能将数据随便均分到不同机子上,而是要根据hash 后的值将它们映射到不同的机子上处理,让不同的机器处理一个数值范围。

而外排序的方法会消耗大量的IO,效率不会很高。而上面的分布式方法,也可以用于单机版本,也就是将总的数据根据值的范围,划分成多个不同的子文件,然后逐个处理。处理完毕之后再对这些单词的及其出现频率进行一个归并。实际上就可以利用一个外排序的归并过程。

另外还可以考虑近似计算,也就是我们可以通过结合自然语言属性,只将那些真正实际中出现最多的那些词作为一个字典,使得这个规模可以放入内存。

转载请注明出处:http://duanple.blog.163.com/blog/static/7097176720091026458369/

作者phylips@bmy

参考文献:

http://blog.csdn.net/jiaomeng/archive/2007/03/08/1523940.aspx d-Left Hashing

http://blog.csdn.net/jiaomeng/archive/2007/01/27/1495500.aspx

http://en.wikipedia.org/wiki/Bloom_filter

http://hi.baidu.com/xdzhang_china/blog/item/2847777e83fb020229388a15.html 应用Bloom Filter的几个小技巧

http://zh.wikipedia.org/wiki/%E5%80%92%E6%8E%92%E7%B4%A2%E5%BC%95

mysql启动不了,mysql.scok找不到->硬盘被log装满了->解决方法

 

df -lh 查看磁盘使用情况

最后真满了,那就看看哪些文件最大了

du -sh * | sort -nr | head 查看当前文件夹下的最大文件前10以M

ps:注意要  cd /

删除些大的东西,发现是log文件的问题,下面是引用的一个博文。。。

清除error.log、access.log并限制Apache日志文件大小的方法

清除error.log、access.log并限制Apache日志文件大小的方法
Apache下的access.log和error.log文件从安装服务器到现在没有动过,今天突然discuz 的MYSQL数据库连接错误,提示2003 错误,检查发现原来是error.log、access.log爆满,文件达到30个G,奶奶的,立马搜索,得把这两个小子干掉。

下面是在网上搜索到的方法,立马见效,顶一个!

在 Windows 下的设置例子如下:
第一步:删除 Apache2/logs/目录下的 error.log、access.log文件

第二步:打开 Apache 的 httpd.conf配置文件并找到下面两条配置

ErrorLog logs/error.log
CustomLog logs/access.log common

直接注释掉,换成下面的配置文件。
# 限制错误日志文件为 1M
ErrorLog “|bin/rotatelogs.exe -l logs/error-%Y-%m-%d.log 1M”

# 每天生成一个错误日志文件
#ErrorLog “|bin/rotatelogs.exe -l logs/error-%Y-%m-%d.log 86400″

# 限制访问日志文件为 1M
CustomLog “|bin/rotatelogs.exe -l logs/access-%Y-%m-%d.log 1M” common

# 每天生成一个访问日志文件
#CustomLog “|bin/rotatelogs.exe -l logs/access-%Y-%m-%d.log 86400″ common

参考:
Apache下的access.log和error.log文件处理方法

这几天有会员和我说到网站访问速度越来越慢。我查了一下,看到Apache2下面有两个日志文件非常大了,加起来有800多M了。
分别是access.log和error.log。

于是在网上找找了给access.log和error.log减肥的方法,这个方法可让这两个文件按每天日期生成。这样你可以选择
把前面的旧文件删除了。

在Apache下的httpd.conf配置文件下找到下面两句:

ErrorLog logs/error.log

CustomLog logs/access.log common

然后把这两句分别改为如下:

CustomLog “|D:/apache2/bin/rotatelogs.exe D:/apache2/logs/access_%Y_%m_%d.log 86400 480″ common

ErrorLog “|D:/apache2/bin/rotatelogs.exe D:/apache2/logs/error_%Y_%m_%d.log 86400 480″

一切就这么简单,这样这两个日志文件每天都会起一个新文件,就不至于单个文件太大,打不开,而无法看到日志信息了.
你还可以把前面的日志文件删除。

access.log,件在 WEB 服务器运行一段时间之后会达到几十兆甚至上百兆,如果Apache运行有错误,error.log也会增大到几十兆,我们知道系统读写一个大的文本文件是非常耗内存的,因此限定日志文件大小十分必要。
日志文件大小的配置指令,通过参考http://httpd.apache.org/docs/2.0/programs /rotatelogs.html,可以用apache 自己的程序 rotatelogs.exe(位于 {$apache}/bin/目录下),来限制日志文件的大小。
Usage: rotatelogs [-l] [offset minutes from UTC] or
Add this:
TransferLog “|rotatelogs /some/where 86400″
or
TransferLog “|rotatelogs /some/where 5M”
to httpd.conf. The generated name will be /some/where.nnnn where nnnn is the system time at which the log nominally starts (N.B. if using a rotation time, the time will always be a multiple of the rotation time, so you can synchronizecron scripts with it). At the end of each rotation time or when the file size is reached a new log is started.
在 Windows 下的设置例子如下:
# 限制错误日志文件为 1M
ErrorLog “|bin/rotatelogs.exe -l logs/error-%Y-%m-%d.log 1M”
# 每天生成一个错误日志文件
#ErrorLog “|bin/rotatelogs.exe -l logs/error-%Y-%m-%d.log 86400″
# 限制访问日志文件为 1M
CustomLog “|bin/rotatelogs.exe -l logs/access-%Y-%m-%d.log 1M” common
# 每天生成一个访问日志文件
#CustomLog “|bin/rotatelogs.exe -l logs/access-%Y-%m-%d.log 86400″ common
linux/Unix下 应该类似。
清除apache的access.log方法

有个客户服务器是用apache搭建的,最近总是感觉站很慢,服务器很慢很卡,有时候甚至网站都打不开,后来经过排查分析原来是里面的access.log和error.log这两个文件要经常上去看,和清理,如果时间忙,忘记看和清理了,过不了多久,这两个文件就膨胀的非常的大,打都打不开了。 下面就跟你说下 清理access.log和error.log这两个日志文件的方法希望对大家有些帮助。也怀疑怀疑是有其他的爬虫,明天都在爬我的几个网站。
优化access.log和error.log的方法如下 :
CustomLog “|D:/thridparty-system/java/apache2/bin/rotatelogs.exe D:/thridparty-system/java/apache2/logs/access_%Y_%m_%d.log 86400 480″ common
ErrorLog “|D:/thridparty-system/java/apache2/bin/rotatelogs.exe D:/thridparty-system/java/apache2/logs/error_%Y_%m_%d.log 86400 480″
一切就这么简单,这样这两个日志文件每天都会起一个新文件,就不至于单个文件太大,打不开,而无法看到日志信息了.

解决Apache日志文件ACCESS.LOG日益膨胀的一个办法

将httpd.conf中customlog logs/access.log common 改成

customlog “|c:/apache/bin/rotatelogs c:/apache/logs/%y_%m_%d.access.log 86400 480″ common

重启apache

其中c:/apache/是你安装apache的路径
这样每一天生成一个日志文件

解决Apache日志文件ACCESS.LOG日益膨胀的一个办法

引用自:http://raines8231.blog.163.com/blog/static/13623310720116155165620/

其实apache还是比较重要的  lamp嘛  fight!!

php mysql div css js jquery 工作小经验

 

 

 

2013年4月9日

  • navicat ssh连接 启动ssh 常规的还是 localhsot
  • $(window).height() 不带引号
  • 刷新dns缓存 ipconfig/flushdns
  • 样式的问题  —>前端架构
  • 以及代码的重构—》一直想做 但一直没有做

 

2013年4月27日

写log文件的时候需要对txt写入回车

注:

   基于 Unix 的系统使用 "n" 作为行结束字符,基于 Windows 的系统使用 "rn" 作为行结束字符,基于 Macintosh 的系统使用 "r" 作为行结束字符。

$s = file_get_contents(‘s.txt’);
$s = $s.”Z注意是双引号rn”;
file_put_contents(‘s.txt’,$s);

 

希望lz能持续更新罢了

我的那些收藏–2013年4月6日

Bookmarks

 

书签栏

 

cs

 

MySQL DBA必读的书籍 | P.Linux Laboratory
UCD
CSDN
w3school
腾讯CDC
Xaprb
给开发的MySQL培训PPT | P.Linux Laboratory
PHP10086博客网
PHPChina PHP技术交流论坛
我要自学网-视频教程|免费教程|自学电脑|3D教程|平面教程|影视动画教程|办公教程|机械设计教程|网站设计教程-我要自学网
高性能MySQL(第二版)中文PDF版下载 – MySQL – 大家论坛
PHPChina
V2EX
PHPe.net · All About PHP
人自明 » 安装redis和phpredis模块
淘宝数据库技术团队
数据库热门博客列表 – ITeye博客频道 – ITeye.com
FirePHP – PHP调试插件 – 开源中国
w3ctech
东西网
有关SESSION跨域完美解析_EImlewc_新浪博客
站长工具-站长查询-百度排名-百度权重查询-SEO工具-爱站网
中文手册 | WordPress啦!
IBM developerWorks 中国 : IBM’s resource for developers and IT professionals
开放课程 – 开放论坛 – Powered by Discuz!
正则表达式 – 维基百科,自由的百科全书
简明现代魔法 —— 专注于互联网主流的各种技术
威客-猪八戒网,中国最大的威客网站
康盛创想 Linux(基于CentOS的LNMP) 服务器部署标准 白丁简明版 – 环境搭建 – Discuz! 官方站 – Powered by Discuz!

 

php

 

大鹏的博客(rocing’s blog) – 关注LAMP与互联网的IT技术博客 – Powered by Sablog-X
风雪之隅-Laruence的博客
数据库技术 – 张宴的博客 – Web系统架构与底层研发
CodeIgniter 中国 – PHP 框架 CodeIgniter 中国社区
PHP之道
PHP的性能测试全过程分享_百度经验
sdjl的想法
阿里云 – 用户中心
康盛创想 Linux(基于CentOS 5.x 64bit的LAMP) 服务器部署标准 白丁简明版 – 帮助文档 – Discuz! 官方站 – Powered by Discuz!
Yii Framework 开发教程: 总结 – 二德子 – 博客园
织梦dedeCMS二次开发文档手册,文件详解以及数据库结构字 – wmkill – 博客园
PHP面向对象程序设计的61条黄金法则 – y0umer – 博客园
推荐博客 – 博客园
博客园 – 程序员的网上家园

 

api

 

新浪微博API
Sina App Engine Documentation
Seymour Dev
豆瓣开发者服务
人人网 – 开放平台
Google Bookmark API(Google书签接口) – 子弹头 – ITeye技术网站
Startup News
书签 – 请访问我们的新网站:https://crxdoc-zh.appspot.com/

 

花瓣
豆瓣
思方網
开源中国
PHP100
alert

搜索推荐

 

The Anatomy of a Search Engine
百度搜索_Mahout

 

摘录到微刊
首页

推荐网

 

新浪轻博客_Qing_精选标签,流行趋势: 记录生活 分享兴趣
疯狂的蚂蚁的博客
CSS Menu Maker
推荐 | 传送之门

 

ci

 

CI中如何设置virtualhost? – CodeIgniter 新手区 – CodeIgniter 中国开发者社区
CodeIgniter 用户指南 – CodeIgniter 中文手册|用户手册|用户指南|Wiki文档
CodeIgniter(CI)框架加载流程及结构分析

 

优米网

技术

 

JavaScript

 

Highcharts – Interactive JavaScript charts for your webpage
5个运用jQuery的css3技
Javascript获取屏幕大小信息
canvasdemos
Canvas教程
HTML 5 canvas
Twitter Bootstrap框架
Timeline插件
jQuery制作Facebook Timeline
HTML5中File对象初探
图片相关js
jQuery入门:jquery表单验证实例
图片拖拽上传详解
史上最全的jQuery框架书籍整理
AjaxML
Lazy Load Plugin for jQuery
Json Parser Online
jQuery页面滚动图片等元素动态加载实现
Professor Cloud
SeaJS – A Module Loader for the Web
jQuery 参考手册 – 选择器
jquery在子窗口中获取父窗口控件的值和给父窗口控件赋值-Js教程-技术教程-asp编程网
jquery操作iframe的方法:父页面和子页面相互操作的方法-Js教程-技术教程-asp编程网
10+jQuery图表库
大前端-记录前端的那些事儿!
JavaScript中创建对象的几种方式
解决IE中img.onload和load失效的方法 – _Smileヾ淡莣 – 博客频道 – CSDN.NET
微博@功能
Recreating the Nikebetterworld.com Parallax Effect
《jquery视差滚动专题》使用jQuery创建的垂直视差背景 – 58分享 – 博客园
Stellar.js
jquery视差推荐:nikebetterworld视差平滑滚动效果 – 58分享 – 博客园
JSLint
前端知识架构

 

CSS

 

Layout Gala各种页面布局方案
Grids Layout Demo各种页面布局
CSS渐进增强式布局探讨
响应式网页设计
CSS——LESS
BootStrap.less
BootStrap.less教程
LESS
通过 CSS @media 制作感知屏幕尺寸的表格
RGB颜色转换
CSS渐变之CSS3 gradient在Firefox3.6下使用
CSS3样式生成器-Css3演示
Metro JS – Metro Live Tiles and More for jQuery – Drew Greenwell – Professional Developer
metro.js: recreating Windows 8 UI as a web interface – jQuery – Snipplr Social Snippet Repository
Metro UI
13个jQuery滚动条插件
Ultimate CSS Gradient Generator – ColorZilla.com
WrapBootstrap
Loading CSS spinners and bars generator for AJAX & JQuery
CSS图形
大小不固定的图片和多行文字的垂直水平居中
CSS 图片拼合生成器 | Project Fondue
CSS3 UI Lib

 

android

 

Android SDK | Android Developers
Android 2.2中文文档
名称Android2.2快速入门
java作用域public ,private ,protected 及不写时的区别
Java中访问修饰符public、private、protect、default的意义讲解
Android可视化开发工具
Android开发网
App Inventor for Android
Augmented Reality | Qualcomm Developer Network
Android定制Home Screen
Android自由选择TextView的文字
Android UI事件处理[isInTouchMode()]
Android 中文论坛 机锋网|安致|Android软件市场|Android ROM|刷机工具 – Powered by Discuz!
Adult applications – Android UK
酷安网
AR SDK | Qualcomm Augmented Reality
AppsGeyser
取得android ROOT权限
自动打开GPS
mytracks – MyTracks for Android – Google Project Hosting
gmaps-samples-v3.googlecode.com/svn/trunk/draggable-directions/draggable-directions.html
AllJoyn – Proximity-based peer-to-peer technology
android wifi开发流程和关键点分析–华清远见android培训视频教程 – 视频 – 优酷视频 – 在线观看
android-application-plug-ins-frame-work – 安卓应用程序插件化开发框架 -AAP Framework – Google Project Hosting
Android应用的自动升级、更新模块的实现完整方案+参考程序代 – Android 代码仓库 – eoe·Android开发者门户 – Powered by Discuz!
Android中LocationManager的简单使用,获取GPS当前位置 – Android(Google) – 13COM.NET
Android Map Api 使用和开发(1) 添加地图和界面 – 被企鹅咬了一下 – CSDN博客
MapController
Augmented Reality
Code4App – iOS代码实例搜索 – iOS特效示例 – iOS代码例子下载 – Code4App.com
Android UI事件处理[isInTouchMode()]
android-application-plug-ins-frame-work – 安卓应用程序插件化开发框架 -AAP Framework – Google Project Hosting
Android UI事件处理[isInTouchMode()]

 

wifi定位

 

wifi定位技术 – NewMap的专栏 – CSDN博客
Skyhook: > Home
一种基于WiFi的室内定位系统设计与实现 – docin.com豆丁网
室内定位技术简介
学位论文-基于WiFi的定位系统的设计和实现 – docin.com豆丁网
Ekahau – Wi-Fi Tracking Systems, RTLS and WLAN Site Survey
PlaceEngine
www.cce.mcu.edu.tw/2006conferencr/papers/SB2/cce03-WiFi定位技術於室內自動導覽系統之研究.pdf
用于WLAN指纹匹配定位的室内接收信号强度特性研究_百度文库
Qubulus

 

二维码

 

二维码手机识别软件 « 冰古blog
[Js]利用 Google Chart API 來產生 QRCode « 男丁格爾’s 脫殼玩
API 範例程式說明
利用Javascript建立Web应用
MOIN网站论坛
QR图生成器 v0.2

 

翻墙

 

Google和各种网站的IPv6服务hosts列表 – Google 文档
goagent教程详细版|猫理会
Android手机使用GoAgent翻墙教程

 

Node.js

 

学习服务器端的Node.js
Node.js简单介绍并实现一个简单的Web MVC框架
InfoQ: Node.js与Rails如何选择?
Node入门 » 一本全面的Node.js教程
Cloud9 IDE – Heroku
云端开发,云端部署
rrestjs高性能node.js框架-首页
Pomelo – 网易游戏服务器开发框架 – 开源中国
Dashboard – Cloud9

 

HTML5

 

什么是html5

 

ror

 

RailsInstaller

 

wordpress

 

apache friends – xampp 的 windows 版
WordPress教程 | 帕兰映像
爱主题 – wordpress主题,wordpress模板,wordpress主题下载

 

开发人员中心 – Windows 应用商店应用

 

Vimeo
智联

前端

 

阿里巴巴(中国站)用户体验设计部博客
有一点: 设计火花 目录
Web前端热门博客列表 – ITeye博客频道 – ITeye.com
当前前端-专注于分享-前端技术
HTML5论坛_HTML5中国
W3CPlus | css3教程-css3实例-css3动画 | 记述前端那些事——引领Web前沿
SimpleUI 组件库-jQuery 组件库
css探索之旅-飘零雾雨的庄园
WEB前端开发
TaoBaoUED | 做地球上最好的UED
前端手记
前端设计_页面重构 – Jessica
JX – 腾讯 Web 前端开发框架 – AlloyTeam
前端开发窝
W3Cshare前端分享-分享的不仅仅是前端!
知更鸟 | 崇尚专注 追求极致
CSS简写指南 | CSS | 前端观察
Web前端研发工程师编程能力飞升之路(1) – 51CTO.COM
如何利用一个周末时间成为前端工程师的(1) – 51CTO.COM
关于前端开发 | 七月、前端攻城师王子墨
Upload & Share PowerPoint presentations and documents
前端观察 | 专注于网站前端设计与前端开发
优设-UISDC: 优秀网页设计联盟-SDC-网页设计师交流平台-听讲座,聊设计,找素材,尽在优设网
8个实用的firebug扩展 | ria之家–RIA三部曲:jquery、ext、flex
ie7下的z-index – Google 搜索
视觉中国
Twitter Bootstrap中文版
CSS参考手册v4.0.1_web前端开发参考手册系列
智能社www.zhinengshe.com | 前端培训专家

 

虎扑
鲜果
图库
新浪微博分享
jQuery的:“少写,做的更多,JavaScript库

资源

 

淘宝前端技术巡礼
RunJS – 在线编辑、展示、分享、交流你的 JavaScript 代码

 

爱范儿
36氪
飘花
悦读FM

reader

 

政见 CNPolitics.org – 发掘海内外研究中国政治的智慧成果,引进思想资源
财新网-原创财经新媒体-CAIXIN.COM
凡是你排斥的,就是你所要学习的
科学松鼠会

 

找字网-找字网,字体下载,字体在线预览后下载字体,免费中文字体下载,英文字体下载,电脑字体库下载,个性字体下载,实时字库预览
CICIstudy
PHP – IT文章资讯 – IT学习者
维基百科,自由的百科全书
2012NBA总决赛专题_腾讯视频_腾讯网
北邮人论坛
teambition

购物

 

1号店网上超市
杂良集™ Okjee
【新品】云朵工厂原创帽子 009号死神-淘宝网
iPad – 購買 Wi-Fi 或 Wi-Fi + 4G的全新 iPad – 白色或黑色 – Apple Store (HongKong)
首页-CZ皮革制品工作室//独立设计师原创品牌//包袋&皮革小物– 淘宝网
哇噻网-创意礼品,手工制作,礼品定制,手工艺品在线市集
首页-gamester-淘宝网
首页-蛇皮美工的爱疯世界-淘宝网
首页-Design360X生活– 淘宝网

 

产品

 

E-learning

 

在线教育的下一座金矿
互联网产品设计及研发团队的工作流程(转)
多贝网
粉笔网
传课网 – 传播知识改变命运
在线教育如何变现?Coursera 又出新招 | 36 氪
马上着手开发 iOS 应用程序:介绍
UEditor – 首页
ACE – The High Performance Code Editor for the Web
译言网 | 我姐和我女友这样学编程
在线学编程,视频类、互动式编程网站推荐 | 爱玩C
Online Programming Courses | Learn Programming Online – Learnstreet
imgAreaSelect jQuery plugin – Examples – odyniec.net
performance geeks

 

O2O

 

O2O的不靠谱
万亿美元的新模式O2O:GroupOn只是沧海一粟 | 36氪
传微信正与U联生活洽谈合作,将在微信会员卡内实现“将优惠放到银联卡”,实现闭环O2O | 36氪
微信内测“自定义接口”,可对接商家CRM系统,向类似app store的平台转变 | 36氪
前24券COO 彭雷:谈“O2O的前世今生” | 36氪
O2O 模式重点详解:必须包含“线下商户的发现或推荐”、“在线支付”、“营销效果的监测” | 36氪

 

【原创】如何把控产品 — 产品管理全流程解析 | 产品撞地球- 用心改变世界
基于Axure的PRD写作思考 | 产品撞地球- 用心改变世界
产品文档与敏捷开发 | 产品撞地球- 用心改变世界
写在创业的路上:如何从无到有的打造一个产品
互联网/移动互联网小团队如何白手起家创业_知识库_博客园
huawang.china_新浪博客
创业公司CEO每天应该做的13件事 » @36氪
互联网产品经理常用软件及工作平台 | 网易用户体验设计中心
打造成功的产品团队
Scrum 实施经验
PC现实手机屏幕
正确的写产品需求文档(PRD) | 产品撞地球- 用心改变世界
Scrum中文网
Semp活动 敏捷之用户故事研讨会(一)
软件开发团队主管易犯的十个错误 | 36氪
坏脾气的小肥 – 纯银 – 网易博客
如果让你开始着手设计一个新的互联网产品,你的第一、二、三步分别是什么?推荐一些有关方面网站和书? – 知乎
对相册产品的思考,以及网易影像隧道的上线 | 马平凡 – Ray ma
(教学文):打造你的人生电影,Facebook Timeline Movie Maker | 天赐良苑
2011年下半年国内优秀初创企业汇总 | 互联网的那点事
Be For Web | 为网而生 – 原创译文博客 – 关注移动及互联网产品、用户体验设计、前端开发

设计

 

用户体验与交互设计
QQ阳光牧场3D 设计分享 | 互联网的那点事
请谨慎对待程序的图标和名称
Android应用设计指南:图标设计
iOS App体验设计 | 36氪
演化教育 让天赋自由
UCD大社区
QR Code 最创意应用案例5则,不好玩你找我! | 36氪
简单快速的可用性测试
支付宝 UED 官方网站
移动应用:洞察一款优秀的应用成功的原因
Use it or Lose it,一款帮你整理照片分享的应用
怎样让用户来帮助你做产品?
Android颜色表
RGB颜色对照表
蓝色系配色方案 – BOBO的日志 – 网易博客
Service design
Android Asset Studio
最近在学习人机交互和用户体验方面,各有什么中文书籍推荐吗? – 知乎
用户为中心的设计的6种方法
设计矛盾说 | 互联网的那点事
连续性的设计——改善产品的体验 | 互联网的那点事
LOVEUI
影像基因
Dribbble
Awwwards: Website Awards – Best websites around the World
IconPng
图标搜索下载
我们的UED设计流程及方法 | 彩程团队BLOG
Persona——Web人物角色介绍 | 网易用户体验设计中心
GLYPHICONS – library of precisely prepared monochromatic icons and symbols.
响应式网站的产品需求和设计流程详解
Piccsy Pitchdeck
The Main Tap › PatternTap
通过TeamCola浅谈互联网产品前期设计方法
Photoshop制作漂亮的网页-960网格系统
960 Grid System

 

投资

 

【投资界学堂】60秒内抓住投资者_投资界学堂_投资界
查立:创业者应该问投资人的10个问题_查立的专栏_查立_投资界
醍醐灌顶:作为创业者,如何熬过第一年 | 36氪
怎样用5张幻灯片,在1年内,为2个创业公司,融资3轮,筹得1000万美元? » @36氪
知乎上关于创业团队、创业融资、股权结构、法律、经验分享等精彩系列问答有哪些? – 知乎
在接触投资人前需要把网站原型弄好么?
如何开始创业(催生全美最大孵化器YC的文章) | 雷锋网
查立:创业者应该问投资人的10个问题_查立的专栏_查立_投资界
查立:创业公司如何分配股份与期权
创业者说… 而其实他说的是… | 36氪
网秦
组建创业公司中融资、法律、股权期权、营销、运营等关键问题集锦- docin.com豆丁网
查立:创业者应该问投资人的10个问题_查立的专栏_查立_投资界
Aaltoes.com – Aalto Entrepreneurship Society

 

移动Web开发

 

三大移动Web开发框架哪个适合你?
jQuery Mobile基础入门教程
跨平台移动web中间件PhoneGap开发入门
为什么 Dreamweaver 这类所见即所得的编辑器会生成很多垃圾代码? – 知乎
2012年Web设计和开发的15个趋势
Code Year
Learn Web Design, Web Development, and iOS Development – Treehouse
naghsheh.info/Pivot/Pivot.htm
API测试工具
iOS中为网站添加图标到主屏幕以及增加启动画面,主屏幕快捷方式,iOS,Safari,标签,添加到主屏幕
PhoneGap开发不可或缺的五件装备_HTML5研究小组_HTML5教程_HTML5资源_HTML5游戏

 

首页 – 知乎
BUPT战网
北京邮电大学iptv
山寨工场
点睛_新浪博客
美味书签 – 发现精彩!
win7简单命令让PC变身无线热点 共享M9上网 – 使用技巧 – 宝典 – 魅族迷
点名时间
认知盈余
在线课堂 – eoe开发者社区
主妇微信运营
爵士纯音乐
500px is Photography
网易摄影_爱摄影,和你一样!
职友街精选职位
Casting Networks Inc. – Home
CMU Sphinx – Speech Recognition Toolkit
Apache Solr vs ElasticSearch – the Feature Smackdown!
www.chinakdd.com/userfiles/file/bc2a9e4e-59d6-44ab-a459-1b13fbb8b423.pdf

Google API

 

Google APIs Console

 

Quora
❍ IcoMoon
高清电影

阅读推荐

 

o3oeye.com第三只眼——给希望一同成长的你 – Home
正谈· All Things Political
博客大全 – 独立博客大全
卢松松博客–关注站长和搜索引擎的IT博客
牛博国际
网站架构 – 开源搜索 – 开源中国 OSChina.NET

 

LOFTER精选|LOFTER
虎嗅网
最新电影下载,最新电视剧下载,高清电影下载,免费电影下载-6v电影下载网(旧版66影视)
中国互联网流量大盘 CNZZ数据中心 最好的互联网数据平台
乐知 – #比你更懂你#
博客导航 — 共学习 共进步!
首页 — IT技术博客大学习 — 共学习 共进步! — 收录IT领域的优秀技术博客,在这里你可以找到Web开发、系统架构、数据库、前端技术、用户体验等领域的前沿文章

 

译言精选
域名

js特效

 

Adaptor :: jQuery content slider
GBin1.com – 分享前端及其web开发相关技术HTML5|CSS3|JS|jQuery|jQuery插件|UI|Mobile|Demo
imgareaselect 插-Javascript – EasyTools – WEB前端开发
Jcrop » Tutorials » API Demo
查水表是什么意思 查水表什么意思 – 深圳本地宝

 

42qu . 记事本
过于开放的办公场所真的能提高沟通效率,增强信息透明吗? – 知乎
末日脱光计划:技术宅教你一千秒搞定师妹!_在线视频观看_土豆网视频 光棍节 脱光计划 师兄帮帮忙 大学生脱光
隋唐演义-腾讯视频全网独播_腾讯视频
lunzi

mysql

 

MySQL OPS
DBA Notes | 闲思录 – 创业感悟 网站架构 性能优化 技术评论

 

ITeye Java编程 Spring框架 Ajax技术 agile敏捷软件开发 ruby on rails实践 – ITeye做最棒的软件开发交流社区
4399游戏公司手游项目部—策划、开发、美术等岗位等你来-游戏人才招聘-GameRes游资网
Wopus中文博客平台 – WordPress
Kill IE6 – NeoEase
四步完成win7 ubuntu双系统安装(硬盘,无需光驱) – i飞扬
本来生活网-百楼
All commands | commandlinefu.com
V电影[vmovier.com]的网站排名、流量、访问量、页面浏览量查询|中文网站排名查询服务由中国站长站免费提供
概述 – 权威指南 – 迅搜(xunsearch) – 开源免费中文全文搜索引擎
阿里巴巴全球速卖通在线交易平台
你用过的最让你震惊的网站有哪些?为什么? – 知乎
PHP程序员的10个有用的技巧和教程-PHP开发-WEB开发家园
打开新的标签页
The Tengine Web Server
Wufoo · Online Form Builder!
Pakey’s BLog – Powered By PTcms

欢迎使用 WordPress for SAE

 

欢迎使用 WordPress for SAE。如果您看到这篇文章,表示您的Blog已经在SAE安装成功。您可以编辑或者删除它,然后开始您的博客!

WordPress for SAE 技术支持博客:http://wp4sae.org。请关注此博客,以及时获取最新信息。
如果您在使用WordPress for SAE的过程中,有任何疑问、意见或建议,请到技术支持博客提出,我们将会尽快为您解答。

WordPress for SAE 具有以下特性:

  1. 数据库主从分离,提升性能,节省云豆消耗
  2. 轻量的Memcache缓存模块,加快网页显示速度的同时减少资源消耗,为您节省云豆。
  3. 已内置urlrewrite规则,用户设置固定链接时只需要在控制板中设置一下即可,无需再修改appconfig(.htaccess)配置
  4. 附件直接上传到Storage,支持图片附件的缩略图生成。

WordPress for SAE 的限制:
由于SAE不支持本地代码目录写入,故无法支持在线安装主题、插件,在线编辑主题、插件功能。