阿里云 Linux 服务器创建 Swap 分区

服务器有时候会突发需要大量内存(譬如我们有运行一个自动构建工具,当代码某个分支发布新版本,会触发编译打包),若内存不够会导致有些进程被杀掉,严重的时候甚至整个服务器瘫掉。因此,适当设置 swap 分区还是很有必要的。

下面的命令主要是在 CentOS 上创建 4G 大小的 Swap 分区:

sudo dd if=/dev/zero of=/swapfile bs=512 count=8388616
sudo chmod 600 /swapfile && sudo mkswap /swapfile && sudo swapon /swapfile
sudo echo "/swapfile swap swap defaults 0 0" >>/etc/fstab
sudo swapon -s sudo sysctl vm.swappiness=10 && sysctl vm.vfs_cache_pressure=80 sudo vi /etc/sysctl.conf

最后那一行,是指如果希望 vm.swappiness 和 vm.vfs_cache_pressure 的设置永久生效,可以修改 /etc/sysctl.conf 文件设置。

以上可参考阿里云的相关文章,如:https://developer.aliyun.com/article/52098

将 Angular 6 项目升级到 Angular 10

Angular 项目的升级说起来也简单,也复杂,也有踩坑的地方。

简单的方面就是,官方提供了升级的指导,访问 https://update.angular.io/ 选择项目的当前版本号和想要升级的版本号,就会出来相关的步骤作为指导。

复杂的地方就是,ng update 工具其实只能完成一部分工作,通常我们升级的过程中,会需要手工处理不少冲突与不兼容的地方,踩坑的地方也主要就在这里。

具体来说,有如下经验供参考:

1,不建议一次性从6 升级到 10,而建议逐个版本依次升级。因为每个版本迭代都可能有很多地方调整修改,涉及对应的依赖包版本的调整或者应用代码的修改。若一次跨多个版本升级,对于遇到问题时候的定位会造成困难。

有一点小细节需要注意:执行 ng update 升级成功并不代表代码一定能正常编译运行。因此,建议对于每个版本升级,都把代码启动起来测试,以验证升级是否成功。

2,注意各个依赖包的版本兼容问题

基本上每次升级,都伴随着对应的很多依赖库需要相应升级。ng update 能自动升级一部分,但不是全部。尤其是当你用了很多三方包的时候。一般 ng update 失败的话,常见的原因就是提示某某库依赖于另外某个库的某个版本,而你将要安装又是某个版本。这时候就需要对相关的包进行升级。

主要注意点是,对于版本的选择并非是最新版就最好,譬如当我们从 Angular 6 升级到 7 的时候,其实应选择的是最兼容当时 Angular 版本的包版本。譬如 Angular 7 发布于 2018年10月,而 Angular 8 发布于2019年6月,那么就可以在 npm 官方站查找所要升级的依赖包的版本历史,选择发布时间介于 2018年10月和2019年6月的则基本就可以。若仍然提示版本问题,则可以尝试其它版本。

3,Angular 8 升级到 Angular 9 遇到 typings.d.ts 中的类型定义未生效的问题,这个主要是在 Angular 9 中有了 tsconfig.app.json 文件,在 ng update 的过程中,该文件的对应配置错误导致,一般应修改如下内容:

{
  "extends": "../tsconfig.json",
  "compilerOptions": {
  "outDir": "../out-tsc/app",
  "baseUrl": "./",
  "types": []
  },
  "files": [
    "main.ts",
    "polyfills.ts"
  ],
  "include": [
    "**/*.d.ts",
    "typings.d.ts"
  ]
}

上面代码中最后那一项就是我们项目中丢失的,添加上去后,类型定义找不到的问题就解决了。

4,注意看官方提示,有些已经修改过的用法或者已经启用的用法就果断修改。这里主要涉及到两方面,一方面是 Angular 的变化,另一方面是 TypeScript 的变化。前者譬如 Angular 7  之后,废除了 @angular/http 而一律改用 @angular/common/http。又譬如 Angular 9 中,Module 定义中就去除了 entryComponent 的配置,所以删掉对应的语句即可。

5,有些三方库的写法发生了变化,有可能需要修改对应的代码。譬如我们项目中用到了 SweetAlert2 这个库。在升级到 Angular 10的时候,我们也将该库升级到了最新版本。这时候 ng update 升级整个项目虽然没遇到关于这个库的错误,但当运行项目的时候就遇到SweetAlert.fire()这个方法报错,具体来说,我们在这个方法的第一个参数里,有用 title 关键字来指定对话框的标题,但在新版本中,这个关键字改为了 icon。这是通过查找  SweetAlertOptions 的类型定义而知道的。所以依次修改掉即可。

总结下来,整个过程一要参考官方指导,二要认真研究出错信息,找到对应出处,其实问题都不难解决。

整个升级前后跨越了五天左右的时间,头三天花的时间较多,主要是各种踩坑及各种试错。由于有洁癖,后两天再花了一点点时间,用摸索出来的最合理的办法,将升级过程重新做了一遍。

最后,看一下漂亮的提交历史:(其实每个版本的升级都开了分支,每个升级其实并不止一次 commit,为了整洁,在 merge 回来的时候加了 –squash 参数)

再次迁移Gitlab服务器

团队一直在用基于docker的gitlab。去年迁移过一次服务器,参见这篇文章

今年因为某个原因再次迁移。但按照之前的办法,却一直不成功,服务起不起来,报错信息既有跟文件权限有关的,也有跟SSL证书有关的。最后没时间折腾,就换了种方式,使用备份gitlab数据,再进行恢复的方式解决。

在确保新、旧服务器上 Gitlab 版本一致的情况下,先在旧服务器上备份数据:

sudo docker exec -it gitlab /bin/bash进入旧服务器 gitlab容器的命令行,执行如下备份命令

gitlab-rake gitlab:backup:create RAILS_ENV=production

此操作备份所有gitlab数据,在 backups文件夹下生成了1523788820_2018_04_15_10.6.3_gitlab_backup.tar文件。

然后使用SFTP或SCP,将备份数据拷贝到新服务器上同名文件夹下,然后进入 gitlab 容器的命令行执行恢复命令:

gitlab-rake gitlab:backup:restore RAILS_ENV=production BACKUP=1523788820_2018_04_15_10.6.3

此过程中,有几个要点要注意:

1,注意新旧gitlab版本要一致,对于使用docker技术来说,可以通过指定版本号来确保;

2,注意文件路径要正确;

3,注意备份文件复制到新服务器后,可能存在权限问题。因为 gitlab默认使用git用户来对文件进行读写,可以使用 sudo chown git:git 1523788820_2018_04_15_10.6.3_gitlab_backup 命令来修改文件owner

换用腾讯云的免费SSL

之前曾用过沃通的免费SSL,结果几个月前备谷歌宣布不再信任该机构。也曾用过starSSL,似乎也有相似问题。

后来曾用Let’s Encrypt,挺好用,但有两个缺点:

1,证书有效期太短,才半年,感觉眼睛一眨就得要去renew了;

2,在复杂配置的centos上面自动化很麻烦,我们站点设置了80端口自动转https,但certbot(Let’s Encrypt客户端)要工作必须先要能访问验证域名,需要放置验证文件能在80端口下访问。这也意味着每次我们renew证书还需要修改站点配置。自动化Renew反正是没用上。

近期正好看到腾讯有免费ssl,就去申请了一下。很方便,验证方式也比较容易。有效期一年,比Let’s Encrypt长。既然自动化不了,暂时就用他家的方案了。

使用JPA的级联更新问题

假设A对象与B对象是一对多的关系,B的集合作为A的属性children而存在。

class A{
……
@OneToMany(mappedBy=”parent”, cascade={CascadeType.ALL})
private Set<B> children;
……
}

使用CascadeType.ALL能够实现级联保存、级联删除。但是级联更新的时候遇到如下问题:

A.children.remove(child1);
A.children.add(child2);

这时候child2确实被添加到数据库了,但child1却并没有被删除。

其实只要加上orphanRemoval=true 就可以了

class A{
……
@OneToMany(mappedBy=”parent”, cascade={CascadeType.ALL},orphanRemoval=true)
private Set<B> children;
……
}

Angularjs项目中文件上传

项目后端为Java,基于Spring Boot框架,前端为AngularJS。

前端有两个主要的组件可以用,一个是ng-file-upload,一个是angular-file-upload。

尝试使用ng-file-upload,却不能成功。主要是因为前端使用了Pace,有一些不兼容问题。报错如下:
Failed to execute ‘setRequestHeader’ on ‘XMLHttpRequest’
具体可以参见:https://github.com/danialfarid/ng-file-upload/issues/98

网上有人尝试解决这个问题,但在我的案例里面不适用,也没花时间多研究解决。

使用angular-file-upload则非常顺利,事实上从文档和示例来说,感觉angular-file-upload更加友好易用一些。

新服务器的Apache Rewrite问题

新装了一台服务器(CentOS 7.3, Apache 2.4.6, PHP 7.1.6),迁移网站应用到上面,网站文件都放在 /var/www/目录下。访问时候发现如下问题:

采用ThinkPHP开发的A应用,可以通过 http://www.a.com/index.php/Home/Abc/def 来访问

但不能通过 http://www.a.com/Home/Abc/def 来访问

也就是访问地址中没法省略掉index.php。一开始把PathInfo 和Rewrite搞混淆了,以为是前者的问题。

后来发现其实这明显是 Rewrite的问题,因为虽然ThinkPHP代码根目录下面默认有.htaccess文件,但服务器的配置有可能禁止站点自行配置。从以上症状来看正是Rewrite规则根本没起作用。

最后找到开关其实在这里:

找到apache配置文件:/etc/httpd/conf/httpd.conf

找到 对应目录的配置处,修改 AllowOverride All:

<Directory “/var/www”>
AllowOverride All
</Directory>

JHipster项目集成Gitlab CI自动测试遇到的错误

使用 JHipster 生成的项目用 gitlab CI 做自动测试、发布。根据jhipster官方文档进行了操作,在项目根目录下生成了.gitlab-ci.yml文件,同时根据 Gitlab 文档,在一台 Windows Server 2008 环境下安装了Runner。安装过程中配置了私有Gitlab地址,runner的token,也配置了Executor为shell。安装好Runner后发现runner已经能够自动去运行了,不过gitlab中看到build遇到了个错误,maven build 报错,具体为执行.gitlab-ci.yml中这一句:export MAVEN_USER_HOME=`pwd`/.maven的时候,报错,输出信息是乱码,状态码是9009。研究后解决了,发现官方文档少了个提示,runner如果跑在windows 平台,且executor选 shell 的话,应在gitlab-runner根目录下的config.toml 中设置 shell=’powershell’,不然会报错。应该是 export MAVEN_USER_HOME=`pwd`/.maven 的时候,取不到 `pwd` 的值的问题。可以参考有人遇到过类似问题:http://www.cnblogs.com/xishuai/p/gitlab-ci.html

解决Gulp构建的AngularJS项目中的footable依赖不能自动注入的问题

项目是基于Angular 1.5,构建工具为Gulp。项目文件结构来源于某前端模板的种子项目,与多数AngularJS 的Gulp版本的种子项目大同小异。Gulp的inject任务中已经有了将项目所依赖包的js、css文件自动添加到index.html中的脚本。

现在某页面需要用到footable,于是添加footable依赖:
bower install –save footable

安装后检查,看起来插件已经存在于项目的bower_components目录下了,并且项目的bower.json文件中,也已经自动添加了对footable的依赖,当前版本是3.1.4。

但是运行gulp serve 或者gulp build,均未能在index.html中看到footable的踪影。

小小了解了一下才知道原因:gulp的依赖注入,是调用了wiredep(项目地址:https://github.com/taptapship/wiredep)
而wiredep的工作原理,是根据项目的bower.json文件中所列的依赖,一一处理这些依赖项,处理的时候,会分析该依赖包本身的bower.json文件,根据该文件中的”main”的值来决定要将哪个文件添加到index.html中去。而footable的bower.json文件中,缺失了这一项。

根据wiredep的官方文档,只要在自己项目的bower.json文件中override就可以了。代码如下:

"overrides": {
  "footable": {
    "main": [
      "compiled/footable.js",
      "compiled/footable.bootstrap.css"
    ]
  }
}

初次使用 JHipster

安装不难,Yarn,Yeoman 等都装上,按官方文档都装好。

然后运行 yo jhipster 来根据向导生成程序。用的是git shell,不知为什么,互动的过程键盘方向键输入异常,而且界面上字符显示还出现了叠加,所以一路回车,大致按照默认值生成了程序。

(此处特别友情提醒,后来经测试查明,jHipster的生成向导在Git Shell下运作不正常,无法进行菜单选择,在Windows Power Shell下显示正常,其它类型的终端暂未测试)

然后,运行yarn start启动前端,界面能正常显示。运行mnvw启动服务器端的时候出现了问题:

1,一开始是解压缩maven压缩文件的报错,网上搜了一下,说把对应的user/.m2/下面的相关文件夹删除,果然好了;

2,然后看报错信息,mysql连不上,应该是向导生成的默认配置跟实际服务器不一致,这个需要修改一下配置,修改src\main\resources\config\application-dev.yml里面的对应节点即可;

3,报zookeeper连不上,下载zookeeper了之后,在本机安装,按照官方文档,新建了zoo.cfg文件,然后运行bin\zkServer.cmd start启动,结果报错:

2017-04-30 20:48:44,016 [myid:] - WARN  [main:QuorumPeerMain@113] - Either no config or no quorum defined in config, running  in standalone mode
2017-04-30 20:48:44,135 [myid:] - ERROR [main:ZooKeeperServerMain@55] - Invalid arguments, exiting abnormally
java.lang.NumberFormatException: For input string: "C:\zookeeper-3.4.10\bin\..\conf\zoo.cfg"
        at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
        at java.lang.Integer.parseInt(Integer.java:580)
        at java.lang.Integer.parseInt(Integer.java:615)
        at org.apache.zookeeper.server.ServerConfig.parse(ServerConfig.java:59)
        at org.apache.zookeeper.server.ZooKeeperServerMain.initializeAndRun(ZooKeeperServerMain.java:84)
        at org.apache.zookeeper.server.ZooKeeperServerMain.main(ZooKeeperServerMain.java:53)
        at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:116)
        at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:78)

花了半小时才搞清楚,原来Windows下,用zkServer.cmd启动服务,不需要加start参数就可以了。。。

然后。。。zookeeper是运行起来了,但是启动jhipster服务器还是报错,如下:

org.springframework.context.ApplicationContextException: Failed to start bean 'outputBindingLifecycle'; nested exception is org.I0Itec.zkclient.exception.ZkNoNodeException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /brokers/ids

夜深了,留下问题暂未解决。

第二天重新创建了程序,在生成向导中先没有选择服务注册和发现,这样避开使用zookeeper的问题。先把jhipster跑起来,以后再慢慢解决连接zookeeper报错的问题。