ITeye博客

杨尚川的博客

yangshangchuan · 共 174 篇文章

微服务管理平台如何防止开发人员的本地环境污染注册中心

微服务的代码由两部分构成,一部分是根据模型定义自动生成的,这部分代码不可修改,另外一部分代码是留给开发人员实现业务逻辑的,可以修改。 防止开发人员的本地环境污染注册中心最开始的解决方法是,在自动生成的代码中,强制指定了微服务运行的IP,模板文件applicationProperties.ftl中的相关片段如下: eureka.instance.prefer-ip-address=true eureka.instance.ip-address=${serviceDeployServerIp} 当服务开发完毕,需要部署到测试环境的时候,需要执行一个发布服务审核流程,发布服务的操作会给服务打一个版…

2018-09-12T23:06:34Z · 互联网 · 评论(0)

微服务日志之实时日志

在微服务架构中,一般会有几百甚至几千个服务,这些服务可能会被自动部署到集群中的任何一台机器上,因此,开发人员在开发的时候,要想实时查看日志输出就很不方便了,首先需要查询出服务被部署到哪一台机器上了,其次要向管理员申请目标机器的访问权限,接着要用SSH登录到目标服务器上,使用tail -f来查看实时日志,而tail -f的功能很有限,使用起来也很不方便。这个开源项目就是为了解决微服务架构下日志的实时查看问题,使开发人员无需服务器权限就能获得强大灵活方便的查看实时日志的能力。 指定项目名称、服务名称和日志级别,打开实时日志页面后浏览器自动和服务器建立WebSocket连接,当有新的日志输出的时候…

2018-07-01T14:42:26Z · 互联网 · 评论(0)

数据生成器

data-generator 是一个Java实现的数据生成器开源项目。 如果你在从事大数据BI的工作,想对比一下MySQL、GreenPlum、Elasticsearch、Hive、Presto、Impala、Drill、HAWQ、Druid、Pinot、Kylin、ClickHouse等不同实现方案之间的表现,那你就需要一份标准的数据进行测试,这个开源项目就是为了生成这样的标准数据。 数据模型:src/main/resources/数据模型.png 一、编译程序: mvn assembly:assembly 二、在MySQL中创建一个数据库,然后执行 src/main/resources/…

2018-04-29T23:02:21Z · 大数据 · 评论(0)

Serverless架构:有明云PaaS

今天大多数公司无论是在开发应用程序的时候还是将其部署到服务器的时候,无论是选择公有云还是私有云,都需要提前估算究竟需要多少台服务器,都需要部署运行应用程序和依赖的各种各样的软件到服务器上。如果我们不想在这些与业务无关的繁琐的细节上耗费精力,是否有一种简单的架构能够满足我们的需求呢?答案是Serverless(无服务器)架构。 Serverless架构,或者称为无服务器架构,是最近几年兴起的一种架构风格。这究竟是一种什么样的架构?无服务器,难道真的没有服务器了吗?难道真的不需要服务器了吗?其实不是的,对于Serverless来说,只是用户不用更多地去考虑服务器的相关内容了,无需再去考虑服务器的…

2018-02-10T13:46:19Z · 互联网 · 评论(0)

一种解决HTTP抓取网页超时设置无效的方法

今天发现 superword 在获取单词定义的时候,对于不常见单词,网页打开很慢,超过10秒,经检查,发现是利用Jsoup来抓取单词定义的时候,设置的超时3秒无效,_getContent方法的执行时间超过10秒,代码如下: public static String getContent(String url) { String html = _getContent(url); int times = 0; while(StringUtils.isNotBlank(html) && html.contains("非常抱歉,来自您ip的请求异常频繁")){ //使用新的IP地址 ProxyIp.…

2017-06-17T20:26:20Z · superword · 评论(0)

最频繁访问驻留缓存算法

在搜索系统中,如何缓存搜索最频繁的1000个搜索结果? 自定制的精准短文本搜索服务项目代码 本文利用了ConcurrentHashMap和AtomicLong实现了线程安全且支持高并发的最频繁访问驻留缓存算法,除了缓存功能,还提供了缓存状态查询接口,非常实用。 比如,在搜索管理界面可看到如下缓存状态: 缓存状态 最大缓存数量: 1000 当前缓存数量: 11 驱逐缓存次数: 0 命中缓存次数: 6 未命中缓存次数: 11 缓存命中比例: 35.294117 % 搜索缓存命中情况(11) 序号 搜索关键词 缓存命中次数 1 L 3 2 LYB 2 3 LY 1 4 LANGYB 0 5 X 0…

2017-01-26T15:39:45Z · short-text-search · 评论(0)

保障服务的持续高可用、高性能及负载均衡

保障服务的持续高可用、高性能及负载均衡 项目主页 高可用: 服务多副本 高性能: 超时限制 负载均衡: 环形队列 已经实现的功能: 1. HTTP调用方式的搜索服务 2. REDIS访问 一句话说明白这个项目的原理: 后端有多个一模一样的搜索,还有多个一模一样的REDIS,中间层的业务逻辑不直接调用搜索和REDIS,而是通过这个组件来调用 在WEB项目中的使用方法 1. 编译依赖: git clone https://github.com/ysc/high-availability.git cd high-availability mvn install 2. 在 pom.xml 中指定以下…

2017-01-24T22:42:12Z · high-availability · 评论(2)

自定制的精准短文本搜索服务

自定制的精准短文本搜索服务 项目主页 自定制的精准短文本搜索服务 以公司名称搜索来驱动短文本搜索, 这里做了简化, 实际中会涉及更多的属性, 如公司类型, 所属区域等等, 自定制就有很大的灵活性 使用方法 git clone https://github.com/ysc/short-text-search.git cd short-text-search unix类操作系统执行: chmod +x startup.sh & ./startup.sh windows类操作系统执行: ./startup.bat 打开浏览器访问: http://localhost:8080/index.jsp J…

2017-01-18T14:30:54Z · short-text-search · 评论(0)

分布式环境下的原子计数器和API每天调用次数限制

利用Zookeeper来实现分布式环境下的原子计数器和API每天调用次数限制 项目主页 分布式环境下的原子计数器和API每天调用次数限制 利用Zookeeper来实现分布式环境下的原子计数器和API每天调用次数限制 如何设置和获取API调用次数限额 String apiType = "1"; 指定新的限制值: CountLimit.setLimit(apiType, 1000000); 获取现有限制值: CountLimit.getLimit(apiType); 如何获取API调用次数 String apiType = "1"; // 调用API没有响应的情况 AtomicCounter.g…

2017-01-18T14:26:36Z · counter · 评论(0)

superword中一次精彩的重构

我们先来看看需要重构的功能是一个下拉选择框,可任意选择11部词典中的一部,访问地址: http://123.56.99.179/select/dictionary-select.jsp?dict=RANDOMHOUSE ,在HTML中的效果如下图所示: HTML代码如下: ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 <select name="dict" id="dict" onchange="update();"> <option value="ICIBA">iCIBA</option> <option value="YOUDAO">Youdao</opti…

2016-04-21T21:58:01Z · superword · 评论(0)

superword中的模板抽取实践

superword这个项目,全使用JAVA8新特性: https://github.com/ysc/superword ,一开始只是我的一个英语单词分析工具,用于生成HTML片段然后发到博客中,后来功能越来越强于是我就做成一个项目了,再后来有人跟我说自己不是计算机专业的不会用这个软件,于是我就改造成了一个WEB项目,这个项目现在有点需要改进的地方,就是 把JAVA代码生成HTML的这个逻辑改成使用FREEMARKER的方式 。 我们首先来看在org.apdplat.superword.system.AntiRobotFilter类中的原来的JAVA代码生成HTML的逻辑: ? 1 2 3 4…

2016-04-03T00:08:22Z · superword · 评论(0)

互联网时代下的合作治理机制及其应用:以开源软件项目为例

互联网时代下的合作治理机制及其应用:以开源软件项目为例 陈晓红 伴随着国家战略层面的推动,互联网在2015年成为了全国瞩目的焦点。“互联网+”开放数据、分享经济、大众创业万众创新,所有改革都寄托于互联网作为一种技术工具、组织模式、文化理念在改造传统产业方面的积极作用。互联网模式由此成为最受人关注的概念之一。但究竟什么才是互联网模式的内涵?谁又代表了互联网模式的潜在生产力?对此问题的答案却不甚清晰。值得注意的是,以“平台”形式出现的互联网公司(尤其是互联网巨头)在当前改革中正占据着越来越重要的地位,且因存在压制草根创新之趋势而受质疑。但这是否就是互联网模式呢,或者说这是否就是互联网模式的全部…

2016-03-23T02:29:21Z · 评论(0)

ES中如何使用逗号来分词

使用软件版本:elasticsearch-2.2.0 1. setting: ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 curl -XPOST 'http://localhost:9200/data' -d '{ "settings": { "analysis": { "analyzer": { "comma": { "type": "pattern", "pattern":"," } } } } } } ' return: ? 1 {"acknowledged":true} 2. view index: ? 1 curl -XGET 'http://localh…

2016-03-04T22:49:56Z · 搜索 · 评论(1)

一种使用随机抽样梯度下降算法来预估词汇量的方法

我们经常可以看到各种各样的英语词汇量测试功能,你测试过吗?你觉得准吗? 我使用过有道词典的词汇量测试功能,我认为它最大的问题是,不管是谁不管测多少次,每次测的词都是固定不变的,这就好像高考,全国各地年复一年都考同一套题。 当然,它是怎么来评估词汇量,使用什么算法,那就更不知道了。 本文提出了一种使用随机抽样梯度下降算法来预估词汇量的方法,经大量用户反映,很准,你是不是心动了,想马上试一试呢?立马测试一下吧, 使用中文定义 或 使用英文定义 。 测完词汇量,我们就来看看如何使用随机抽样梯度下降算法来预估词汇量: 1、将词汇分成9个级别,难度是先递增然后平稳然后稍微有一点下降。 2、从这9个级别…

2015-12-21T02:09:33Z · superword · 评论(0)

superword开源项目中的定义相似规则

两个词之间的关系有同义、反义、近义(有多近?)、相关(有多相关?)等等。我们如何来判断两个词之间的关系呢?利用计算机能自动找出这种关系吗?当然可以,不仅能找出来,而且还能量化出有多近和有多相关。 本文描述了 superword 开源项目中的 定义相似规则 ,利用词的定义计算词和词之间的相似性。词的定义使用的是韦氏词典,同时也支持牛津词典。相似性算法使用的是 word分词 提供的10大相似性算法。 定义相似规则 主要包括以下6步: 1、获取要计算的词的定义: String wordDefinition = MySQLUtils.getWordDefinition(word, WordLinke…

2015-12-07T18:49:06Z · superword · 评论(0)