tomcat – HYL Studio – 个人学习笔记

apache反向代理tomcat获取用户真实IP

校内CAS单点登录的审计日志中，用户的IP地址一直是服务器地址。这个问题拖了好久，今天终于解决了。
通过追查日志的来源，发现是自己实现了一个appender配置在了log4j中。
从这个类入手开始追查代码，最终发现IP的来源是通过request.getRemoteAddr这个方法来获得的。
而这个方法是来源于tomcat自身的servlet-api提供，返回的向tomcat发起请求的客户端IP。

但是一般情况下tomcat都会用nginx或apache代理tomcat，所以这个方法得到的IP就是服务器自身的IP而不是真实的远程IP了
而我又不想更改CAS的源码重新部署，所以只能想办法更改tomcat，让tomcat得到真实的IP。
根据apache文档所述，proxy模块会自动添加这三个header。
但是还差两个header没有添加，于是引入header模块使用下面的指令设置剩下的信息。
RequestHeader set x-forwarded-by “IP”
RequestHeader set x-forwarded-proto “https”
由于我的服务器是https协议，所以写了https。

根据tomcat文档所述，在tomcat端的server.xml中
Engine级别下添加Value节点。


      <Valve className="org.apache.catalina.valves.RemoteIpValve" 
             internalProxies="IP_REGEX"
             remoteIpHeader="x-forwarded-for" 
             proxiesHeader="x-forwarded-by"  
             protocolHeader="x-forwarded-proto" />

<Valve className="org.apache.catalina.valves.RemoteIpValve"

internalProxies="IP_REGEX"

remoteIpHeader="x-forwarded-for"

proxiesHeader="x-forwarded-by"

protocolHeader="x-forwarded-proto" />

文档写的很清楚internalProxies指定的正则所匹配的地址不会在x-forwarded-by中出现，而trustedProxied正则匹配的地址会出现在x-forwarded-by中。
我想要的结果是真实IP为用户IP，同时添加校内服务器的ip地址进入x-forwarded-by中，所以理论上我值需要把服务器IP地址段的正则写入trustedProxied即可。但是实际测试结果依然不对。
getRemoteAddr方法返回的依然是服务器的IP而不是真实IP。

而如果我在internalProxies服务器IP地址段正则的话，getRemoteAddr返回的结果就是正常的，但是x-forwarded-by字段就看不见代理服务器的IP了。

同时更改tomcat日志的格式如下。


        <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="localhost_access_log" suffix=".txt"
           +    pattern="%{X-FORWARDED-FOR}i %l %u %t &quot;%r&quot; %s %b" />
           -    pattern="%h %l %u %t &quot;%r&quot; %s %b" />

<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"

prefix="localhost_access_log" suffix=".txt"

+ pattern="%{X-FORWARDED-FOR}i %l %u %t "%r" %s %b" />

- pattern="%h %l %u %t "%r" %s %b" />

HTTPS证书制作和配置示例

今天在校内尝试从git.bistu.edu.cn克隆代码，使用https协议时候发现clone失败，于是开始实验，使用curl连接cas.bistu.edu.cn、x.bistu.edu.cn、chat.bistu.edu.cn、community.bistu.edu.cn、site.bistu.edu.cn
发现只有cas和site正常，其他的都报错了，但是浏览器访问并未发现错误。
联想之前ZFZ的safari访问git报错而我电脑的浏览器却没事，瞬间意识到之前配置的HTTPS可能很多都有问题。
经过一翻折腾，发现之前的补链不全导致有些浏览器无法识别完整的信任链，最终通过补链解决。
当Apache、IIS、Nginx都不报错之后，只有Tomcat还有问题。
Tomcat之前的jks使用的是http://www.agentbob.info/agentbob/79-AB.html这篇文章的工具生成的，说明这个工具有问题。
继续搜索发现可以使用
openssl s_client -msg -connect cas.bistu.edu.cn:8443
这个命令来调试详细的ssl连接过程
和正常的过程对比发现Tomcat的信任链依然不一样。遂放弃这个工具。
最终在文末的文章中找到了解决方案。
废话说完了，下面是完整操作记录。
—————————————————————–
拿到手的有bistu.crt证书一张、bistu.key私钥一个。
实际需要开启HTTPS的服务器若干，服务器种类为Tomcat、Nginx、Apache、IIS。
到证书签发机构官网下载root根证书和中间证书，在windows上另存为Base64PEM格式
分别为root.crt和intermediate.crt
拷贝到Linux下开始制作


    cat bistu.crt >> bistu.chained.crt
    cat intermediate.crt >> bistu.chained.crt
    cat root.crt >> bistu.chained.crt

cat bistu.crt >> bistu.chained.crt

cat intermediate.crt >> bistu.chained.crt

cat root.crt >> bistu.chained.crt

补链后证书为bistu.chained.crt


    cat intermediate.crt >> combined.crt
    cat root.crt >> combined.crt
    openssl pkcs12 -export -in bistu.crt -inkey bistu.key -out bistu.p12 -name tomcat -CAfile combined.crt -caname root -chain
    keytool -importkeystore -srckeystore bistu.p12 -srcstoretype pkcs12 -destkeystore bistu.jks -deststoretype jks

cat intermediate.crt >> combined.crt

cat root.crt >> combined.crt

openssl pkcs12 -export -in bistu.crt -inkey bistu.key -out bistu.p12 -name tomcat -CAfile combined.crt -caname root -chain

keytool -importkeystore -srckeystore bistu.p12 -srcstoretype pkcs12 -destkeystore bistu.jks -deststoretype jks

生成bistu.jks为tomcat所需格式

openssl pkcs12 -export -out bistu.pfx -inkey bistu.key -in bistu.crt

生成bistu.pfx为IIS所需格式

至此所有文件如下
1.bistu.crt #原始证书
2.bistu.key #私钥
3.root.crt #根证书
4.intermediate.crt #中间证书
5.bistu.chained.crt #补链后证书
6.combined.crt #中间链+根证书
7.bistu.p12 #p12格式的证书库
8.bistu.jks #jks格式的证书库
9.bistu.pfx #pfx格式的证书库

Apache需要的：1、2、5
Nginx需要的：2、5
Tomcat需要的：8
IIS需要的：2、9

配置示例

Apache


    <VirtualHost *:80>
    	ServerAdmin webmaster@localhost
    	ServerName example.bistu.edu.cn
    	DocumentRoot /var/www/html

    	ErrorLog ${APACHE_LOG_DIR}/error.log
    	CustomLog ${APACHE_LOG_DIR}/access.log combined
      RewriteEngine on
      RewriteCond %{SERVER_NAME}=example.bistu.edu.cn
      RewriteRule ^ https://%{SERVER_NAME}%{REQUEST_URI} [L,QSA,R=permanent]
    </VirtualHost>

    <IfModule mod_ssl.c>
    	<VirtualHost *:443>
    		ServerAdmin webmaster@localhost
    		ServerName example.bistu.edu.cn
    		DocumentRoot /var/lib/tomcat8/webapps/ROOT
    		ErrorLog ${APACHE_LOG_DIR}/ssl_error.log
    		CustomLog ${APACHE_LOG_DIR}/ssl_access.log combined
    		SSLEngine on
       		SSLCertificateFile  /path/to/bistu.crt
      		SSLCertificateKeyFile /path/to/bistu.key
    		SSLCertificateChainFile /path/to/bistu.chained.crt

    		<FilesMatch "\.(cgi|shtml|phtml|php)$">
    				SSLOptions +StdEnvVars
    		</FilesMatch>

    		<Directory /usr/lib/cgi-bin>
    				SSLOptions +StdEnvVars
    		</Directory>
    	</VirtualHost>
    </IfModule>

ServerAdmin webmaster@localhost

ServerName example.bistu.edu.cn

DocumentRoot /var/www/html

ErrorLog ${APACHE_LOG_DIR}/error.log

CustomLog ${APACHE_LOG_DIR}/access.log combined

RewriteEngine on

RewriteCond %{SERVER_NAME}=example.bistu.edu.cn

RewriteRule ^ https://%{SERVER_NAME}%{REQUEST_URI} [L,QSA,R=permanent]

</VirtualHost>

ServerAdmin webmaster@localhost

ServerName example.bistu.edu.cn

DocumentRoot /var/lib/tomcat8/webapps/ROOT

ErrorLog ${APACHE_LOG_DIR}/ssl_error.log

CustomLog ${APACHE_LOG_DIR}/ssl_access.log combined

SSLEngine on

SSLCertificateFile /path/to/bistu.crt

SSLCertificateKeyFile /path/to/bistu.key

SSLCertificateChainFile /path/to/bistu.chained.crt

SSLOptions +StdEnvVars

</FilesMatch>

SSLOptions +StdEnvVars

</Directory>

</VirtualHost>

</IfModule>

Nginx配置示例


    server {
    	listen 80 default_server;
    	server_name example.bistu.edu.cn;
    	rewrite ^(.*)$  https://$host$1 permanent;
    }
    # HTTPS Server
    server {
        listen 443;
        server_name example.bistu.edu.cn;

        error_log /path/to/ssl.access.log;

        ssl on;
        ssl_certificate /path/to/bistu.crt;
        ssl_certificate_key /path/to/bistu.key;
        ssl_protocols TLSv1 TLSv1.1 TLSv1.2; # don’t use SSLv3 ref: POODLE
        # other config
    }

server {

listen 80 default_server;

server_name example.bistu.edu.cn;

rewrite ^(.*)$ https://$host$1 permanent;

}

# HTTPS Server

server {

listen 443;

server_name example.bistu.edu.cn;

error_log /path/to/ssl.access.log;

ssl on;

ssl_certificate /path/to/bistu.crt;

ssl_certificate_key /path/to/bistu.key;

ssl_protocols TLSv1 TLSv1.1 TLSv1.2; # don’t use SSLv3 ref: POODLE

# other config

}

Tomcat配置示例


     <!--无代理-->
        <Connector port="8080" protocol="HTTP/1.1"
                   connectionTimeout="20000"
                   URIEncoding="UTF-8"
                   redirectPort="8443"/>
                   
        <Connector port="8443" protocol="HTTP/1.1" SSLEnabled="true"
                   maxThreads="150" scheme="https" secure="true"
                   clientAuth="want" sslProtocol="TLS"
                   keystoreFile="/path/to/bistu.jks" 
                   keystorePass="PASSWORD"
                   /> 
     <!--有代理-->
        <Connector port="8080" protocol="HTTP/1.1"
                   connectionTimeout="20000"
                   URIEncoding="UTF-8"
                   redirectPort="8443" proxyPort="80"/>

        <Connector port="8443" protocol="HTTP/1.1" SSLEnabled="true"
                   maxThreads="150" scheme="https" secure="true"
                   clientAuth="want" sslProtocol="TLS" proxyPort="443"
                   keystoreFile="/path/to/bistu.jks" 
                   keystorePass="PASSWORD"
                   />

<Connector port="8080" protocol="HTTP/1.1"

connectionTimeout="20000"

URIEncoding="UTF-8"

redirectPort="8443"/>

<Connector port="8443" protocol="HTTP/1.1" SSLEnabled="true"

maxThreads="150" scheme="https" secure="true"

clientAuth="want" sslProtocol="TLS"

keystoreFile="/path/to/bistu.jks"

keystorePass="PASSWORD"

<Connector port="8080" protocol="HTTP/1.1"

connectionTimeout="20000"

URIEncoding="UTF-8"

redirectPort="8443" proxyPort="80"/>

<Connector port="8443" protocol="HTTP/1.1" SSLEnabled="true"

maxThreads="150" scheme="https" secure="true"

clientAuth="want" sslProtocol="TLS" proxyPort="443"

keystoreFile="/path/to/bistu.jks"

keystorePass="PASSWORD"

参考：
http://blog.csdn.net/jun55xiu/article/details/8980812
http://www.fourproc.com/2010/06/23/create-a-ssl-keystore-for-a-tomcat-server-using-openssl-.html
https://blogs.oracle.com/blogbypuneeth/entry/steps_to_create_a_jks

Apache+Tomcat8的HTTPS配置+反向代理

http://tomcat.apache.org/tomcat-7.0-doc/ssl-howto.html

1.生成tomcat自签名证书
keytool -genkey -alias tomcat -keyalg RSA -keystore self.jks

Enter keystore password: 设置keystore密码
Re-enter new password: 设置keystore密码
What is your first and last name?
[Unknown]: localhost 输入localhost
What is the name of your organizational unit?
[Unknown]:
What is the name of your organization?
[Unknown]:
What is the name of your City or Locality?
[Unknown]:
What is the name of your State or Province?
[Unknown]:
What is the two-letter country code for this unit?
[Unknown]:
Is CN=localhost, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=Unknown correct?
[no]: yes

Enter key password for
(RETURN if same as keystore password): 直接回车

直接生成了self.jks

2.让系统信任这个证书
keytool -exportcert -alias tomcat -keystore self.jks -file self.cer
sz self.cer
传到windows上打开self.cer，点击详细信息->复制到文件->Base64编码X.509->另存为self.crt
rz
回传self.crt
sudo mkdir -p /usr/share/ca-certificates/tomcat
sudo cp self.crt /usr/share/ca-certificates/tomcat
sudo dpkg-reconfigure ca-certificates
第一步选yes，然后按空格选中self.crt，回车。

3.tomcat开启SSL
打开/etc/tomcat8/server.xml，修改这段如下


    <Connector port="8443" protocol="HTTP/1.1" SSLEnabled="true"
               maxThreads="150" scheme="https" secure="true"
               clientAuth="want" sslProtocol="TLS" proxyPort="443"
	       keystoreFile="/path/to/self.jks" 
               keystorePass="keystore密码"
               />

<Connector port="8443" protocol="HTTP/1.1" SSLEnabled="true"

maxThreads="150" scheme="https" secure="true"

clientAuth="want" sslProtocol="TLS" proxyPort="443"

keystoreFile="/path/to/self.jks"

keystorePass="keystore密码"

4.apache开启SSL模块和proxy模块
cd /etc/apache2/mods-enabled
sudo ln -s ../mods-available/proxy.load .
sudo ln -s ../mods-available/proxy_http.load .
sudo ln -s ../mods-available/ssl.load .

5.Apache反向代理配置


<IfModule mod_ssl.c>
	<VirtualHost *:443>
		ServerAdmin webmaster@localhost
		ServerName www.example.com
		DocumentRoot /var/www/html
		ErrorLog ${APACHE_LOG_DIR}/ssl_error.log
		CustomLog ${APACHE_LOG_DIR}/ssl_access.log combined

		SSLEngine on
                SSLCertificateFile     /path/to/https/cert/证书.crt
                SSLCertificateKeyFile /path//to/https/cert/证书.key
		SSLCertificateChainFile /path/to/https/cert/chained.crt
		
		<FilesMatch "\.(cgi|shtml|phtml|php)$">
				SSLOptions +StdEnvVars
		</FilesMatch>
		<Directory /usr/lib/cgi-bin>
				SSLOptions +StdEnvVars
		</Directory>

		SSLProxyEngine on
                #ProxyPass /not/proxy/sub/path !
                ProxyPass / https://localhost:8443/
                ProxyPassReverse / https://localhost:8443/
	</VirtualHost>
</IfModule>

# vim: syntax=apache ts=4 sw=4 sts=4 sr noet

ServerAdmin webmaster@localhost

ServerName www.example.com

DocumentRoot /var/www/html

ErrorLog ${APACHE_LOG_DIR}/ssl_error.log

CustomLog ${APACHE_LOG_DIR}/ssl_access.log combined

SSLEngine on

SSLCertificateFile /path/to/https/cert/证书.crt

SSLCertificateKeyFile /path//to/https/cert/证书.key

SSLCertificateChainFile /path/to/https/cert/chained.crt

SSLOptions +StdEnvVars

</FilesMatch>

SSLOptions +StdEnvVars

</Directory>

SSLProxyEngine on

#ProxyPass /not/proxy/sub/path !

ProxyPass / https://localhost:8443/

ProxyPassReverse / https://localhost:8443/

</VirtualHost>

</IfModule>

# vim: syntax=apache ts=4 sw=4 sts=4 sr noet

重启apache和tomcat即可