python multiprocessing多进程出现MemoryError的问题与解决方法

python multiprocessing多进程出现MemoryError的问题与解决方法
环境:nginx+python+bottle+uwsgi 在代码中使用多进程multiprocessing时对数据进行计算时,个别进程报错并中断,错误信息大概是memory error() 这个问题,是部署的uwsgis配置文件对内存限制过小,出错时的内存限制是1G,现在改成2G后,问题解决. <limit-as>2048</limit-as> 单个进程,因为数据过大,所以计算的过程中超过了1G

运维开发:使用ansible setup模块获取服务器硬件、软件信息

运维开发:使用ansible setup模块获取服务器硬件、软件信息
开发CMDB,除了要记录服务器的帐号密码之外,还需要记录服务器硬件和软件的一些信息,如果使用人工记录,如果服务器量大的话,那工作量就比较大了,所以,我需要能自动获取这些信息的方法,我采用了ansible来获取,ansible自带了setup模块,可以获取到服务器的这些信息,然后再从这些信息里筛选出我需要的信息,入库即可。 我大概需要以下几个信息: 物理内存容量 虚拟内容容量 CPU型号 CPU核心数 操作系统...

运维开发:ansible结合CMDB动态获取inventory脚本

运维开发:ansible结合CMDB动态获取inventory脚本
在运维工具中,选择了用ansible api来与服务器进行交互,用ansible的目的主要是使用简单,而且客户端不需要安装agent,服务端安装完ansbile后,便可对新机器进行管理。 为了结合资产管理系统(CMDB),所以要使用到动态获取inventory的方法,这样可以省去配置ansible服务端的hosts,所有的客户端IP,帐号,密码,端口都可以从CMDB中获取到。   动态inventory脚本必须支如下两个命令行参数: --host  ...

postgresql 连接池pgbouncer的安装教程

postgresql 连接池pgbouncer的安装教程
PgBouncer安装教程   postgresql   说明 在安装pgbouncer之前,已安装了postgres   软件下载: wget https://github.com/downloads/libevent/libevent/libevent-2.0.21-stable.tar.gz wget http://pgfoundry.org/frs/download.php/3393/pgbouncer-1.5.4.tar.gz   编译安装libevent tar zxf libevent-2.0.21-stable.tar.gz cd libevent-2.0.21-stable ./configure --prefix=/usr/local/libevent...

postgresql 9.4 在linux环境的安装

postgresql 9.4 在linux环境的安装
postgresql 9.4.1 安装部署教程   postgresql   环境说明 系统:centos 6.4 64位 软件:postgresql 9.4.1     软件下载 cd /usr/local/src/ wget https://ftp.postgresql.org/pub/source/v9.4.1/postgresql-9.4.1.tar.gz   安装依赖包 yum install -y perl-ExtUtils-Embed readline-devel zlib-devel pam-devel libxml2-devel libxslt-devel openldap-devel python-devel gcc-c...

运维开发:结合阿里云API实现CDN文件的刷新

运维开发:结合阿里云API实现CDN文件的刷新
页面功能: 运维开发:刷新阿里云CDN   相关的后端代码: #!/usr/bin/evn python #coding=utf-8 __author__ = '戴儒锋' import json from bottle import get,post from bottle import template from controller.core import reMsg,checkArgs #导入阿里云API和阿里云KEY、SECRET import aliyun.api from conf import setting ali_key = setting.ali_key ali_secret = setting.ali_secret aliy...

python bottle 框架实战教程:任务(工单)系统简介

python bottle 框架实战教程:任务(工单)系统简介
此次编写的任务系统,主要是用于发布任务管理,其功能包含任务列表,发布任务,我接收的任务,我发布的任务,涉及到的其它功能有用户管理,权限管理,项目管理。模板采用Bootstrap 3.x样式(其实模板是花钱买的,自己只是拿来套用而已),数据库采用mysql(我的是5.1.62版本),python版本是2.6.6。 此次开发教程,都是从简开发,不涉及复杂的问题。 刚才(2015-05-27)写了一点代码,整体框架大概就是下图...

nginx模块:ngx_headers_more,去除多余的头部信息减小数据传输量

nginx模块:ngx_headers_more,去除多余的头部信息减小数据传输量
使用这个模块的主要是为了实现通过api获取数据时,去除无用的信息,减少数据传输量 一般APP应用,都是数据传输量越小越好,要不然用户会反感你的产品太占流量 ,除了头部信息要减小外,在WEB服务器中,对数据也要进行压缩   下载地址:https://github.com/openresty/headers-more-nginx-module/tags 进入原nginx安装目录 cd /usr/local/src/nginx-1.6.2 tar xf headers-more-nginx-module-0.26.tar....

内测服更新系统交给开发人员使用后,回馈还是挺不错的

内测服更新系统交给开发人员使用后,回馈还是挺不错的
这套系统在我们测试了2个月后,前二天正式交给了相关的开发人员使用,从他们回馈来看,还挺满意的,这是间接对我工作的肯定啊 我们游戏经常在晚上更新内测服务(开发经常通宵赶版本,而内测服权限只有我们运维才有),所以总要抽一个人运维来值班(即他们更新的时候,打值班运维电话起来更),现在系统交付给开发人员后,就再也不需要值班运维了,如果他们遇到什么问题工具搞不定的,再打我们运维电话。 &n...

python+django开发的运维工具——游戏内测服更新系统

python+django开发的运维工具——游戏内测服更新系统
这套系统,是学了python和django来,第一个正式开发好的小项目、小工具,只不过是,这套系统,需要优化的东西还很多,但目前也用的OK。年后回来,准备把新吸收的技术,开发正式服更新系统。 在这里,先感谢下老男孩运维培训机构,我的linux运维和python运维开发是从这里起步的,现在又准备报名他的mysql dba课程了。另外得感谢下刘天斯大神哈,从他出版的《Python自动化运维:技术与最佳实践》书上学了不少...

ansible shell模块:shell命令中带元字符、通配符的解决方法

ansible shell模块:shell命令中带元字符、通配符的解决方法
环境: 在B服务器/root/中,创建aa目录,在aa目录下再创建a1和a2目录,每个目录下面创建1.log文件,结构如下: [root@drfdai2 ~]# tree /root/aa /root/aa ├── a1 │   └── 1.log └── a2     └── 1.log 用ansible服务端主机(A服务器)去机找/root/aa/a1/1.log,执行如下: root@drfdai:~# ansible 192.168.0.41 -m shell  -a " ls /root/aa/a1/1.log" 192.168.0.41 | success | rc=0 >> /roo...

jQuery Confirm插件给django运维工具页面做弹窗提示

jQuery Confirm插件给django运维工具页面做弹窗提示
插件名称:jQuery Confirm 插件官方地址:http://tutorialzine.com/2010/12/better-confirm-box-jquery-css3/ 整合好的效果图: jQuery Confirm Replacement jQuery Confirm Replacement   使用方法,可以看官方文档上的说明,这里大概说下我使用的过程: 首先,把下载好的样式(包括图片,js,css等)放到django app下面定义好的静态目录/static/中,命名为jqconfirm,我的具体路径如下:/python...

Django分页功能(二)

Django分页功能(二)
django结合Bootstrap样式做的,先看效果图: django分页 在django的views中,写了一个django分页的类,以便各个需要分页的地方调用, 以下是分页类的代码: class paging():     '''     此为文章分页功能,需要往里传递三个参数,分别如下:     tablename:表名     id:页码号,即第几页,这个一般从URL的GET中得到     pagenum:每页显示多少条记录     '''     def __init__(self,tablename,id,pagen...

ansible python api 解决中文乱码

ansible python api 解决中文乱码
运维工具是用python + django +ansible写的,当用ansible调用远程机器上的脚本时,会造成中文显示乱码,原开始以为是系统编码问题,所以把系统编码都设置成了LANG=zh_CN.UTF-8,结果还是乱码,在被调用的脚本中,也添加了这个LANG=zh_CN.UTF-8,还是乱码。其实要解决这个问题,只有在ansible的python api那设置环境变量即可,environment = {'LANG':'zh_CN.UTF-8','LC_CTYPE':'zh_CN.UTF-8'} 我的代码如下...
Copyright © linux系统运维 保留所有权利.   Theme  Ality 粤ICP备13023035号-1

用户登录

分享到: