ITeye博客

天道酬勤

ssxxjjii · 共 423 篇文章

系统吞吐量、TPS(QPS)、用户并发量、性能测试概念和公式

PS:下面是性能测试的主要概念和计算公式,记录下: 一.系统吞度量要素: 一个系统的吞度量(承压能力)与request对CPU的消耗、外部接口、IO等等紧密关联。单个reqeust 对CPU消耗越高,外部系统接口、IO影响速度越慢,系统吞吐能力越低,反之越高。 系统吞吐量几个重要参数:QPS(TPS)、并发数、响应时间 QPS(TPS):每秒钟request/事务 数量 并发数: 系统同时处理的request/事务数 响应时间: 一般取平均响应时间 (很多人经常会把并发数和TPS理解混淆) 理解了上面三个要素的意义之后,就能推算出它们之间的关系: QPS(TPS)= 并发数/平均响应时间 或…

2016-05-18 11:19 · 网站性能优化及工具 · 架构 · 并发编程 · 评论(0)

数据库相关规范建议

核心 (1)不在数据库做运算cpu计算务必移至业务层 (2)控制单表数据量:单表记录控制在1000w (3)控制列数量:字段数控制在20以内 (4)平衡范式与冗余:为提高效率牺牲范式设计,冗余数据 (5)拒绝3B:拒绝大sql,大事物,大批量 字段类 (1)用好数值类型 tinyint(1Byte) smallint(2Byte) mediumint(3Byte) int(4Byte) bigint(8Byte) bad case:int(1)/int(11) (2)字符转化为数字 用int而不是char(15)存储ip (3)优先使用enum或set 例如:`sex` enum (‘F’,…

2015-09-28 17:14 · 评论(0)

tomcat_access配置

server.xml中配置http请求方法access日志 <Valve className="org.apache.catalina.valves.AccessLogValve" directory="/home/webadmin/logs" prefix="ip.access.log." suffix="" buffered="false" pattern="%{X-Forwarded-For}i %{CLIENT_IP}i %l %u %t %T %r %s %b '%{Referer}i' %{User-Agent}i" />

2015-09-15 20:02 · 日志统计分析 · 评论(0)

指尖上的电商---(6)solrconfig.xml配置详解

http://blog.csdn.net/zx13525079024/article/details/25310781 solrconfig.xml配置文件主要定义了SOLR的一些处理规则,包括索引数据的存放位置,更新,删除,查询的一些规则配置。 可以在tomcat的安装路径下找到这个文件C:\Program Files\Apache Software Foundation\Tomcat 8.0\solr\collection1\conf 1.datadir节点 1. <dataDir> ${solr.data.dir:d:/Server/Solr/data}</dataDir>定义了索引数…

2015-08-24 20:40 · solr · 评论(0)

solr安装-tomcat+solrCloud构建稳健solr集群

http://blog.csdn.net/xyls12345/article/details/27504965 solrCloud的搭建可以有两种方式:使用solr内嵌的jetty来搭建;使用外部web容器tomcat来搭建。对于使用jett来搭建参考solr官方的手册照着做肯定ok,下面我主要讲的是如何使用tomcat来搭建solrCloud。 废话不多说,开始我们的工作! 1.搭建tomcat单机版solr 见我的上一篇博文 solr安装-tomcat单机版 2.安装配置zookeeper 具体下载,安装,配置不详细说了,很简单。只列出我的关键配置项,如下: clientPort=418…

2015-08-24 17:13 · solr · 评论(0)

solrCloud 4.9 分布式集群部署及注意事项

http://www.cnblogs.com/huangfox/p/3920315.html 环境搭建 一.zookeeper 参考:http://blog.chinaunix.net/uid-25135004-id-4214399.html 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 …

2015-08-22 23:17 · solr · 评论(0)

SOLR使用手册之操作collection

一.Collections API 参考:https://cwiki.apache.org/confluence/display/solr/Collections+API 因为API比较多,我就不一一列举,只列出比较重要的几个 1.创建collection 官方示例:/admin/collections?action=CREATE&name=name&numShards=number&replicationFactor=number&maxShardsPerNode=number&createNodeSet=nodelist&collection.configName=configname …

2015-08-22 23:00 · solr · 评论(0)

solr4.8之solrcloud的使用与日常问题解决

http://blog.sina.com.cn/s/blog_a2f090ae0102v4fx.html 将对应的java代码打包成jar上传到服务器上启动后台运行代码:(进入到:/home/solr/solr-script/lib) nohup java cn.people.solr.index.Indexer -d article -c hdfs -n article_no_conpyfield -p hdfs://10.38.11.1:9000/data_center/article/year=2014/month=08/000000_0 & nohup java cn.people.…

2015-08-21 13:26 · solr · 评论(0)

5分钟搞定solr索引主从同步

solr配置主从同步非常简单,比mysql/redis 要简单的多,5分钟搞定 solr索引同步的是core对core,以core为基本同步单元 一个solr instance可以装载多个core,每个core拥有不同的schema,core与实例的关系等同于mysql中table和database的关系 不支持直接同步实例 假设我们已经在 192.168.1.10和192.168.1.20 两台服务器上 部署了solr服务 ,192.168.1.10作为master,192.168.1.20作为slave,两台实例上的core叫做weibo。solr索引同步步骤如下 编辑master 节点…

2015-08-21 13:25 · solr · 评论(0)

通过Http管理Solr Core,实现索引的分类

使用的版本为Solr 4.9 http://my.oschina.net/cloudcoder/blog/305033 查看所有core的状态 使用样例 http://172.168.63.233:8983/solr/admin/cores?action=STATUS 查看某一个core的状态 http://172.168.63.233:8983/solr/admin/cores?action=STATUS&core=collection3 创建core 需要提供coreName、实例路径、Config配置、schema文件及数据目录 , 其中instanceDir必须要. config, …

2015-08-21 13:24 · solr · 评论(0)

使用httpclient必须知道的参数设置及代码写法、存在的风险

http://jinnianshilongnian.iteye.com/blog/2089792 结论: 如果使用httpclient 3.1并发量比较大的项目,最好升级到httpclient4.2.3上,保证并发量大时能抗住。httpclient 4.3.3,目前还有一些bug;还是用4.2.x稳定版本吧。 以库存项目为例: httpclient一天并发量在1500w左右,峰值一秒7万。 在之前使用过程中,一直存在大量的 org.apache.http.conn.ConnectionPoolTimeoutException : Timeout waiting for connection …

2015-07-15 17:15 · httpclient · 评论(0)

ScheduledThreadPoolExecutor的scheduleAtFixedRate方法探究

http://www.cnblogs.com/sunxucool/archive/2013/06/21/3148141.html ScheduledThreadPoolExecutor除了具有ThreadPoolExecutor的所有功能外,还可以延迟执行任务或者周期性的执 行某个任务。scheduleWithFixedDelay和scheduleAtFixedRate就是用来完成这个功能的。平常使用 scheduleAtFixedRate这个方法时并没有多想,但是这几天在实现一个功能的时候,需要考虑scheduleAtFixedRate所执行 的task是否会影响任务的周期性,比如sche…

2015-07-15 17:14 · 并发编程 · 评论(0)

zookeeper 大量连接断开重连原因排查

问题现象 最后发现线上的zookeeper的日志zookeeper.out 文件居然有6G,后来设置下日志为滚动输出,参考: http://blog.csdn.net/hengyunabc/article/details/19006911 但是改了之后,发现一天的日志量就是100多M,滚动日志一天就被冲掉了,这个不科学。 再仔细查看下日志里的内容,发现有很多连接建立好,马上又断开: [java] view plain copy 2014-11-24 15:38:33,348 [myid:3] - INFO [NIOServerCxn.Factory:0.0.0.0/0.0.0.0:2181:…

2015-07-08 22:06 · solr · 评论(0)

Solr,Lucene 优化有哪些相关经验

你的索引文件30G!这可是个非常大的数目了。 1. 从schema入手: 1> 你的数据是都需要store的么, 比如一些字段只需要提供结果搜索而不作为结果返回, 那么需要将store设置为false从而减少数据量。 2> 你的所有字段都需要highlight么, 如果不需要highlight则可以将term vector关掉。 3> 确认你在schema没保存太多无用的信息(即不用来搜索也不用来返回)。 4> 你的分词算法是否合理, 如果你使用的是ngram的分词方法, 可以通过设置最大和最小分词长度来限制分词数据。 5> 你的业务上是否有明显的条目信息, 比如你索引的东西是一本书, 很多…

2015-07-08 20:13 · solr · 评论(0)

jstack, jstat, jmap, jinfo, 教你如何在背后偷窥你的进程^^

jps 查看 所有的 jvm进程 ,包括进程ID,进程启动的路径等等。 我自己也用PS,即:ps -ef | grep java jstack 观察jvm中当前所有 线程的运行情况 和线程当前状态。 **系统崩溃了?**如果java程序崩溃生成core文件,jstack工具可以用来获得core文件的java stack和native stack的信息,从而可以轻松地知道java程序是如何崩溃和在程序何处发生问题。 **系统hung住了?**jstack工具还可以附属到正在运行的java程序中,看到当时运行的java程序的java stack和native stack的信息, 如果现在运行的j…

2014-12-04 13:33 · jvm调优 · 评论(0)