atom.xml

<?xml version="1.0" encoding="utf-8"?>
<feed xmlns="http://www.w3.org/2005/Atom">
  <title>Busihacker</title>
  <subtitle>inner peace</subtitle>
  <link href="/atom.xml" rel="self"/>
  
  <link href="check_hexo_config_url/"/>
  <updated>2016-12-22T03:38:55.000Z</updated>
  <id>check_hexo_config_url/</id>
  
  <author>
    <name>Nora Chan</name>
    
  </author>
  
  <generator uri="http://hexo.io/">Hexo</generator>
  
  <entry>
    <title>test_draft_publish_without_layout_variable</title>
    <link href="check_hexo_config_url/2016/12/22/test-draft-publish-without-layout-variable/"/>
    <id>check_hexo_config_url/2016/12/22/test-draft-publish-without-layout-variable/</id>
    <published>2016-12-22T03:38:42.000Z</published>
    <updated>2016-12-22T03:38:55.000Z</updated>
    
    <summary type="html">
    
    </summary>
    
    
  </entry>
  
  <entry>
    <title>test_draft_publish</title>
    <link href="check_hexo_config_url/2016/12/22/test-draft-publish-1/"/>
    <id>check_hexo_config_url/2016/12/22/test-draft-publish-1/</id>
    <published>2016-12-22T03:21:36.000Z</published>
    <updated>2016-12-22T03:26:19.000Z</updated>
    
    <summary type="html">
    
    </summary>
    
    
  </entry>
  
  <entry>
    <title>在python里通过myql访问远程服务器数据库配置memo</title>
    <link href="check_hexo_config_url/2016/12/21/%E5%9C%A8python%E9%87%8C%E9%80%9A%E8%BF%87myql%E8%AE%BF%E9%97%AE%E8%BF%9C%E7%A8%8B%E6%9C%8D%E5%8A%A1%E5%99%A8%E6%95%B0%E6%8D%AE%E5%BA%93%E9%85%8D%E7%BD%AEmemo/"/>
    <id>check_hexo_config_url/2016/12/21/在python里通过myql访问远程服务器数据库配置memo/</id>
    <published>2016-12-21T13:35:51.000Z</published>
    <updated>2016-12-23T02:06:44.000Z</updated>
    
    <content type="html"><![CDATA[<h1 id="mac安装mysql"><a href="#mac安装mysql" class="headerlink" title="mac安装mysql"></a>mac安装mysql</h1><p>mac:<code>brew install mysql</code></p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div><div class="line">5</div><div class="line">6</div><div class="line">7</div><div class="line">8</div><div class="line">9</div><div class="line">10</div><div class="line">11</div><div class="line">12</div><div class="line">13</div></pre></td><td class="code"><pre><div class="line">==&gt; Caveats</div><div class="line">We&apos;ve installed your MySQL database without a root password. To secure it run:</div><div class="line">    mysql_secure_installation</div><div class="line"></div><div class="line">To connect run:</div><div class="line">    mysql -uroot</div><div class="line"></div><div class="line">To have launchd start mysql now and restart at login:</div><div class="line">  brew services start mysql</div><div class="line">Or, if you don&apos;t want/need a background service you can just run:</div><div class="line">  mysql.server start</div><div class="line">==&gt; Summary</div><div class="line">🍺  /usr/local/Cellar/mysql/5.7.13: 13,344 files, 445.0M</div></pre></td></tr></table></figure>
<p>ubuntu:sudo apt-get-install mysql-server mysql-client<br>sudo apt-get-install libmysqlclient-dev#  为了支持python，有依赖</p>
<p><a href="http://stackoverflow.com/questions/1857861/libmysqlclient15-dev-on-macs" target="_blank" rel="external">#reference-How to get the MySQL C API libraries on OS X</a><br><a href="http://bbs.csdn.net/topics/310117511" target="_blank" rel="external">mysql-server与mysql-client有什么区别？</a></p>
<p><a href="http://blog.neten.de/posts/2014/01/27/install-mysql-using-homebrew/" target="_blank" rel="external">在 Mac 下用 Homebrew 安装 MySQL</a></p>
<h1 id="python支持"><a href="#python支持" class="headerlink" title="python支持"></a>python支持</h1><p>mac:<code>pip install mysqlclient</code>/<code>easy_install mysql-python</code><br>ubuntu:<code>pip install mysqlclient</code></p>
<p><a href="http://blog.csdn.net/a657941877/article/details/8944683" target="_blank" rel="external">#reference-MySQL database connector for Python</a><br><a href="https://www.zhihu.com/question/19869186/answer/98805967" target="_blank" rel="external">#reference-有哪些比较好的在 Python 中访问 MySQL 的类库？</a></p>
<h2 id="使用"><a href="#使用" class="headerlink" title="使用"></a>使用</h2><p>import mysqldb</p>
<h1 id="可能遇见的问题"><a href="#可能遇见的问题" class="headerlink" title="可能遇见的问题"></a>可能遇见的问题</h1><h2 id="连接远程服务器返回ERROR-2003-HY000-Can-39-t-connect-to-MySQL-server"><a href="#连接远程服务器返回ERROR-2003-HY000-Can-39-t-connect-to-MySQL-server" class="headerlink" title="连接远程服务器返回ERROR 2003 (HY000): Can&#39;t connect to MySQL server"></a>连接远程服务器返回<code>ERROR 2003 (HY000): Can&#39;t connect to MySQL server</code></h2><p>原因就是Mysql数据库的默认配置文件my.cnf（linux下）中的bind-address默认为127.0.0.1，即只允许本机访问，需要取消该限制。</p>
<p>ubuntu下使用<code>locate my.cnf</code>获取文件地址，如果返回<code>locate: can not stat ()</code>/var/lib/mlocate/mlocate.db’:<code>，执行</code>updatedb<code>解决。
[locate: can not stat ()</code>/var/lib/mlocate/mlocate.db’: No such file or directory](<a href="http://blog.csdn.net/w13770269691/article/details/6987384" target="_blank" rel="external">http://blog.csdn.net/w13770269691/article/details/6987384</a>)<br><figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div><div class="line">5</div></pre></td><td class="code"><pre><div class="line">root@localhost:~# locate my.cnf</div><div class="line">/etc/alternatives/my.cnf</div><div class="line">/etc/mysql/my.cnf</div><div class="line">/etc/mysql/my.cnf.fallback</div><div class="line">/var/lib/dpkg/alternatives/my.cnf</div></pre></td></tr></table></figure></p>
<p>my.cnf一般在/etc/mysql下面，网络绝大部分资源都显示直接修改该文件。<br>root@localhost:~# cat /etc/alternatives/my.cnf<br><figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div><div class="line">5</div><div class="line">6</div><div class="line">7</div><div class="line">8</div><div class="line">9</div><div class="line">10</div><div class="line">11</div><div class="line">12</div><div class="line">13</div><div class="line">14</div><div class="line">15</div><div class="line">16</div><div class="line">17</div><div class="line">18</div><div class="line">19</div><div class="line">20</div><div class="line">21</div></pre></td><td class="code"><pre><div class="line">#</div><div class="line"># The MySQL database server configuration file.</div><div class="line">#</div><div class="line"># You can copy this to one of:</div><div class="line"># - &quot;/etc/mysql/my.cnf&quot; to set global options,</div><div class="line"># - &quot;~/.my.cnf&quot; to set user-specific options.</div><div class="line"># </div><div class="line"># One can use all long options that the program supports.</div><div class="line"># Run program with --help to get a list of available options and with</div><div class="line"># --print-defaults to see which it would actually understand and use.</div><div class="line">#</div><div class="line"># For explanations see</div><div class="line"># http://dev.mysql.com/doc/mysql/en/server-system-variables.html</div><div class="line"></div><div class="line">#</div><div class="line"># * IMPORTANT: Additional settings that can override those from this file!</div><div class="line">#   The files must end with &apos;.cnf&apos;, otherwise they&apos;ll be ignored.</div><div class="line">#</div><div class="line"></div><div class="line">!includedir /etc/mysql/conf.d/</div><div class="line">!includedir /etc/mysql/mysql.conf.d/</div></pre></td></tr></table></figure></p>
<p>根据<a href="http://askubuntu.com/questions/699903/why-etc-mysql-my-cnf-is-empty" target="_blank" rel="external">Why /etc/mysql/my.cnf is EMPTY</a>，配置文件（.cnf文件，一般是mysqld.cnf）locate在<br><code>/etc/mysql/conf.d/</code>和<code>/etc/mysql/mysql.conf.d/</code>中，我的mysqld.cnf地址是：<code>/etc/mysql/mysql.conf.d/mysqld.cnf</code></p>
<p>这才开始修改我的配置（mysqld.cnf）<br>修改前的配置文件为：<br><figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div></pre></td><td class="code"><pre><div class="line">#  </div><div class="line"># Instead of skip-networking the default is now to listen only on  </div><div class="line"># localhost which is more compatible and is not less secure.  </div><div class="line">bind-address           = 127.0.0.1</div></pre></td></tr></table></figure></p>
<p>修改后：<br><figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div></pre></td><td class="code"><pre><div class="line">#  </div><div class="line"># Instead of skip-networking the default is now to listen only on  </div><div class="line"># localhost which is more compatible and is not less secure.  </div><div class="line"># bind-address           = 127.0.0.1</div></pre></td></tr></table></figure></p>
<p>修改后并未立即生效，需要重启生效（可以找办法restart该服务，我是直接reboot）</p>
<p><a href="http://tk-zhang.iteye.com/blog/735467" target="_blank" rel="external">#reference-远程连接Mysql数据库问题(ERROR 2003 (HY000)</a><br><a href="http://www.jianshu.com/p/d501af0f127c" target="_blank" rel="external">#reference-MySQL数据库无法远程连接的解决办法</a><br><a href="http://www.2cto.com/database/201204/127400.html" target="_blank" rel="external">MySQL远程连接ERROR 2003 (HY000):Can’t connect to MySQL server on’XXXXX’的问题</a><br><a href="https://ihower.tw/rails/advanced-installation.html" target="_blank" rel="external">mac/ubuntu环境安装</a></p>
<h2 id="连接远程服务器返回ERROR-1130-HY000-is-not-allowed-to-connect-to-this-MySQL-server"><a href="#连接远程服务器返回ERROR-1130-HY000-is-not-allowed-to-connect-to-this-MySQL-server" class="headerlink" title="连接远程服务器返回ERROR 1130 (HY000): is not allowed to connect to this MySQL server"></a>连接远程服务器返回<code>ERROR 1130 (HY000): is not allowed to connect to this MySQL server</code></h2><p>服务器连接上mysql后， 授权myuser使用mypassword从任何主机连接到mysql服务器<br><code>GRANT ALL PRIVILEGES ON *.* TO &#39;myuser&#39;@&#39;192.168.1.3&#39; IDENTIFIED BY &#39;mypassword&#39; WITH GRANT OPTION;</code></p>
<p><a href="http://www.cnblogs.com/chutianyao/archive/2011/12/28/2304332.html" target="_blank" rel="external">mysql远程连接解决办法</a><br><a href="http://blog.csdn.net/rongjch/article/details/607124" target="_blank" rel="external">无法远程登入MySQL Server解决</a></p>
<h2 id="ERROR-1045-28000-Access-denied-for-user"><a href="#ERROR-1045-28000-Access-denied-for-user" class="headerlink" title="ERROR 1045 (28000): Access denied for user"></a>ERROR 1045 (28000): Access denied for user</h2><p>尝试从本地连接服务器：<br><code>!mysql -h&#39;104.128.92.224&#39; -u&lt;%username&gt; -p&lt;%password&gt;</code><br>反馈<code>mysql: [Warning] Using a password on the command line interface can be insecure.</code><br>所以执行<code>mysql -h&#39;104.128.92.224&#39; -uroot</code><br>但返回<code>ERROR 1045 (28000): Access denied for user</code>，属于粗心，正确的执行方式为：<code>`mysql -h&#39;104.128.92.224&#39; -u&lt;%username&gt; -p</code>再输入密码即可。</p>
<p><a href="http://blog.csdn.net/zzq900503/article/details/14163769" target="_blank" rel="external">遇到问题—mysql账户密码以及权限的问题</a><br><a href="http://blog.csdn.net/nel0511/article/details/13091163" target="_blank" rel="external">完整过程解决 ERROR 1045 (28000)</a><br><a href="https://segmentfault.com/a/1190000002514402" target="_blank" rel="external">Ubuntu服务器常用配置－mysql数据库的安装</a></p>
<h2 id="log问题"><a href="#log问题" class="headerlink" title="log问题"></a>log问题</h2><p><a href="http://www.cnblogs.com/jackluo/archive/2013/03/04/2942500.html" target="_blank" rel="external">mysql错误日志分析</a><br><a href="http://blog.csdn.net/lxpbs8851/article/details/7892256" target="_blank" rel="external">IP address could not be resolved: Temporary failure in name resolution</a></p>
<h2 id="mysql连接到远程服务器的思考"><a href="#mysql连接到远程服务器的思考" class="headerlink" title="mysql连接到远程服务器的思考"></a>mysql连接到远程服务器的思考</h2><p>mysql-client连接到mysql-server，通过什么协议发起请求？是否安全？看起来不是https 的<br><a href="http://stackoverflow.com/questions/21386005/python-and-connecting-to-mysql-over-ssh" target="_blank" rel="external">Python and Connecting to MySQL over SSH</a><br><a href="http://stackoverflow.com/questions/12972867/connect-on-remote-mysql-database-through-python" target="_blank" rel="external">Connect on remote MySQL database through Python</a><br><a href="http://python.jobbole.com/87088/" target="_blank" rel="external">python模块paramiko与ssh</a></p>
<p>#<br><a href="http://dev.mysql.com/doc/" target="_blank" rel="external">Standard Mysql Documentation</a><br><a href="http://mysql-python.sourceforge.net/MySQLdb.html" target="_blank" rel="external">MySQLdb User’s Guide</a><br><a href="https://www.python.org/dev/peps/pep-0249/" target="_blank" rel="external">Python Database API Specification v2.0</a></p>
]]></content>
    
    <summary type="html">
    
      &lt;h1 id=&quot;mac安装mysql&quot;&gt;&lt;a href=&quot;#mac安装mysql&quot; class=&quot;headerlink&quot; title=&quot;mac安装mysql&quot;&gt;&lt;/a&gt;mac安装mysql&lt;/h1&gt;&lt;p&gt;mac:&lt;code&gt;brew install mysql&lt;/code&gt;&lt;/p
    
    </summary>
    
    
      <category term="mysql" scheme="check_hexo_config_url/tags/mysql/"/>
    
      <category term="python" scheme="check_hexo_config_url/tags/python/"/>
    
      <category term="ubuntu" scheme="check_hexo_config_url/tags/ubuntu/"/>
    
      <category term="mac" scheme="check_hexo_config_url/tags/mac/"/>
    
  </entry>
  
  <entry>
    <title>数据科学笔记</title>
    <link href="check_hexo_config_url/2016/12/19/%E6%95%B0%E6%8D%AE%E7%A7%91%E5%AD%A6%E7%AC%94%E8%AE%B0/"/>
    <id>check_hexo_config_url/2016/12/19/数据科学笔记/</id>
    <published>2016-12-19T12:59:46.000Z</published>
    <updated>2016-12-20T03:38:01.000Z</updated>
    
    <content type="html"><![CDATA[<p><a href="http://pandas.pydata.org/pandas-docs/stable/10min.html" target="_blank" rel="external">10 Minutes to pandas</a><br><a href="https://docs.scipy.org/doc/numpy-dev/user/quickstart.html" target="_blank" rel="external">Quickstart tutorial</a><br><strong>STANDARD</strong><br><a href="https://docs.python.org/2/library/array.html" target="_blank" rel="external">array — Efficient arrays of numeric values¶</a><br><a href="https://www.douban.com/group/topic/92144802/" target="_blank" rel="external">Python 中常用的数据类型</a></p>
<p>#了解scikit-learn<br><a href="http://scikit-learn.org/stable/auto_examples/index.html" target="_blank" rel="external">General examples</a><br><a href="http://scikit-learn.org/stable/tutorial/basic/tutorial.html" target="_blank" rel="external">An introduction to machine learning with scikit-learn</a></p>
]]></content>
    
    <summary type="html">
    
      &lt;p&gt;&lt;a href=&quot;http://pandas.pydata.org/pandas-docs/stable/10min.html&quot; target=&quot;_blank&quot; rel=&quot;external&quot;&gt;10 Minutes to pandas&lt;/a&gt;&lt;br&gt;&lt;a href=&quot;http
    
    </summary>
    
    
  </entry>
  
  <entry>
    <title>docker初探</title>
    <link href="check_hexo_config_url/2016/12/18/docker%E5%88%9D%E6%8E%A2/"/>
    <id>check_hexo_config_url/2016/12/18/docker初探/</id>
    <published>2016-12-18T13:22:56.000Z</published>
    <updated>2016-12-18T13:32:20.000Z</updated>
    
    <content type="html"><![CDATA[<h1 id="主机的概念"><a href="#主机的概念" class="headerlink" title="主机的概念"></a>主机的概念</h1><h1 id="集群的概念"><a href="#集群的概念" class="headerlink" title="集群的概念"></a>集群的概念</h1><h1 id="利用daocloud管理独立主机-kvm架构vps-amp-docker的加速器dao命令"><a href="#利用daocloud管理独立主机-kvm架构vps-amp-docker的加速器dao命令" class="headerlink" title="利用daocloud管理独立主机/kvm架构vps&amp;docker的加速器dao命令"></a>利用daocloud管理独立主机/kvm架构vps&amp;docker的加速器dao命令</h1><p><a href="http://docs.daocloud.io/cluster-mgmt/advanced-cluster-node-mgmt#-3" target="_blank" rel="external">集群和主机的管理及注意事项</a><br><a href="http://docs.daocloud.io/cluster-mgmt/add-node-by-script" target="_blank" rel="external">使用脚本命令手动添加主机</a><br><a href="http://www.ruanyifeng.com/blog/2016/03/systemd-tutorial-commands.html" target="_blank" rel="external">Systemd 入门教程：命令篇</a><br><a href="https://www.google.com.hk/search?ie=utf-8&amp;oe=UTF-8&amp;hl=zh-CN&amp;q=Failed+to+start+Docker+Application+Container+Engine.&amp;gws_rd=ssl" target="_blank" rel="external">Failed to start Docker Application Container Engine.</a></p>
<p><a href="http://phonzia.github.io/2016/09/Docker%E4%BD%BF%E7%94%A8%E5%AE%98%E6%96%B9mysql%E9%95%9C%E5%83%8F0" target="_blank" rel="external">Docker使用官方mysql镜像</a></p>
]]></content>
    
    <summary type="html">
    
      &lt;h1 id=&quot;主机的概念&quot;&gt;&lt;a href=&quot;#主机的概念&quot; class=&quot;headerlink&quot; title=&quot;主机的概念&quot;&gt;&lt;/a&gt;主机的概念&lt;/h1&gt;&lt;h1 id=&quot;集群的概念&quot;&gt;&lt;a href=&quot;#集群的概念&quot; class=&quot;headerlink&quot; title=&quot;集群的
    
    </summary>
    
    
      <category term="docker" scheme="check_hexo_config_url/tags/docker/"/>
    
      <category term="daocloud.io" scheme="check_hexo_config_url/tags/daocloud-io/"/>
    
  </entry>
  
  <entry>
    <title>test_draft_layout</title>
    <link href="check_hexo_config_url/2016/12/07/test-draft-layout/"/>
    <id>check_hexo_config_url/2016/12/07/test-draft-layout/</id>
    <published>2016-12-07T13:13:47.000Z</published>
    <updated>2016-12-07T13:13:47.000Z</updated>
    
    <summary type="html">
    
    </summary>
    
    
  </entry>
  
  <entry>
    <title>photoe_test</title>
    <link href="check_hexo_config_url/2016/12/06/photoe-test/"/>
    <id>check_hexo_config_url/2016/12/06/photoe-test/</id>
    <published>2016-12-06T03:22:45.000Z</published>
    <updated>2016-12-08T01:23:39.000Z</updated>
    
    <summary type="html">
    
    </summary>
    
    
  </entry>
  
  <entry>
    <title>draft_test</title>
    <link href="check_hexo_config_url/2016/12/05/draft-test/"/>
    <id>check_hexo_config_url/2016/12/05/draft-test/</id>
    <published>2016-12-05T03:36:06.000Z</published>
    <updated>2016-12-05T03:36:07.000Z</updated>
    
    <summary type="html">
    
    </summary>
    
    
  </entry>
  
  <entry>
    <title>Hexo Blog Setup以及常见配置</title>
    <link href="check_hexo_config_url/2016/11/24/Hexo-Blog-Setup%E4%BB%A5%E5%8F%8A%E5%B8%B8%E8%A7%81%E9%85%8D%E7%BD%AE/"/>
    <id>check_hexo_config_url/2016/11/24/Hexo-Blog-Setup以及常见配置/</id>
    <published>2016-11-24T01:08:34.000Z</published>
    <updated>2016-12-22T03:49:10.000Z</updated>
    
    <content type="html"><![CDATA[<style type="text/css">
img {
  -moz-box-shadow:    3px 3px 5px 6px #ccc;
  -webkit-box-shadow: 3px 3px 5px 6px #ccc;
  box-shadow:         3px 3px 5px 6px #ccc;
}
</style>

<p>使用Hexo进行了Blog的Setup后，我们希望选择一个心仪的theme（即不同页面类型保持一致的风格），配置需要的功能选项/属性，甚至进行一些个性化的定制。<br><a id="more"></a><br>如何预览和使用心仪的theme，Google后有足够的信息，这里就不详细介绍了。Hexo默认theme是landscape。网络上也有不少对默认主题的自定义配置方案，例如，<a href="http://blog.sunnyxx.com/2014/03/07/hexo_customize/" target="_blank" rel="external">hexo的私人订制</a><br>Simple is the best，毕竟不是搞设计和前端开发的。个人选择了Next作为theme，一方面偏好它的极简主义，另一方面，整体设计的留白和交互都很不错。</p>
<p>theme本身很优秀，但我们还是有一些个性化的需求，需要了解Hexo的更详细配置（对应next下的主题级别的<a href="http://theme-next.iissnan.com/" target="_blank" rel="external">配置</a>），或，简单地修改脚本。例如：</p>
<ul>
<li>post granularity的SEO</li>
<li>post granularity的tracking &amp; conversation tracking</li>
<li>隐藏部分post，不按timeline呈现，按特定方式访问</li>
<li>设置404 page</li>
<li>新增简历 page</li>
<li>修改搜索的UI（未完成）</li>
<li>…</li>
</ul>
<p>大部分信息网络页都有，利用这篇文章简单总结，并在最后探索Hexo &amp; Next theme的架构。</p>
<h1 id="简介"><a href="#简介" class="headerlink" title="简介"></a>简介</h1><h2 id="Hexo（site）-配置"><a href="#Hexo（site）-配置" class="headerlink" title="Hexo（site） 配置"></a>Hexo（site） 配置</h2><p>Hexo级别的<a href="https://hexo.io/zh-cn/docs/configuration.html" target="_blank" rel="external">配置</a> 关于站点/项目级别的内容、样式属性。如网站标题、网站描述、网站的SEO关键词、项目Github地址等。一般是内容属性。<br>类似meta类。</p>
<h2 id="theme-配置"><a href="#theme-配置" class="headerlink" title="theme 配置"></a>theme 配置</h2><p>theme级别的<a href="http://theme-next.iissnan.com/" target="_blank" rel="external">配置</a>已经对基础设置，如，如何切换theme，更新profie、social link等，做了比较详细的介绍。主要是样式属性。</p>
<p>就像html+css把内容、样式分离开来一样，theme负责Hexo的默认展现（样式）。<br>除了配置外的内容信息一般存放于<code>./source</code>目录</p>
<h1 id="进阶"><a href="#进阶" class="headerlink" title="进阶"></a>进阶</h1><p>theme级别的<a href="http://theme-next.iissnan.com/" target="_blank" rel="external">配置</a>有部分用户路径是没有考虑，如404页面，搜索等。</p>
<h2 id="设置404页面"><a href="#设置404页面" class="headerlink" title="设置404页面"></a>设置404页面</h2><p>我们希望404并非纯粹的<code>Cannot GET &lt;％path&gt;</code>或者其它一成不变的错误信息。<br><img src="http://of2r0f294.bkt.clouddn.com/hexo_default_404" alt="hexo 默认404"></p>
<p>我们希望有效地利用这部分流量，甚至做一些有意义的事情。<br>例如：<br>构建搜索的闭环；<br><img src="http://of2r0f294.bkt.clouddn.com/404搜索流量.png" alt="404搜索流量"><br>做一些公益；<br><img src="http://of2r0f294.bkt.clouddn.com/404宝贝回家.png" alt="404宝贝回家"></p>
<h3 id="新建页面"><a href="#新建页面" class="headerlink" title="新建页面"></a>新建页面</h3><p>执行<code>$ hexo new page 404</code><br>进入<code>source/404</code>编辑index.md</p>
<p><strong>宝贝回家－腾讯公益</strong></p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div><div class="line">5</div><div class="line">6</div><div class="line">7</div><div class="line">8</div><div class="line">9</div><div class="line">10</div><div class="line">11</div><div class="line">12</div><div class="line">13</div><div class="line">14</div><div class="line">15</div><div class="line">16</div><div class="line">17</div><div class="line">18</div></pre></td><td class="code"><pre><div class="line">---</div><div class="line">title: 404</div><div class="line">permalink: /404</div><div class="line">comments: false</div><div class="line">---</div><div class="line">&lt;!DOCTYPE HTML&gt;</div><div class="line">&lt;html&gt;</div><div class="line">    &lt;head&gt;</div><div class="line">      &lt;meta http-equiv=&quot;content-type&quot; content=&quot;text/html;charset=utf-8;&quot;/&gt;</div><div class="line">      &lt;meta http-equiv=&quot;X-UA-Compatible&quot; content=&quot;IE=edge,chrome=1&quot; /&gt;</div><div class="line">      &lt;meta name=&quot;robots&quot; content=&quot;all&quot; /&gt;</div><div class="line">      &lt;meta name=&quot;robots&quot; content=&quot;index,follow&quot;/&gt;</div><div class="line">    &lt;/head&gt;</div><div class="line">    &lt;body&gt;</div><div class="line">        &lt;script type=&quot;text/javascript&quot; src=&quot;http://www.qq.com/404/search_children.js&quot; charset=&quot;utf-8&quot; homePageUrl=&quot;/ &quot; homePageName=&quot;回到我的主页&quot;&gt;</div><div class="line">        &lt;/script&gt;</div><div class="line">    &lt;/body&gt;</div><div class="line">&lt;/html&gt;</div></pre></td></tr></table></figure>
<p>PS：</p>
<ol>
<li>新建page和新建post是不一样的，新建page利用<code>hexo new page %pagename</code>，创建后会有<code>%pagename</code>文件夹，文件夹有<code>index.md</code>，md内容为该page调用内容。 新建post利用<code>hexo new %postname</code>创建后有<code>%postname.md</code>为名的md文件，存放于<code>source/_post</code>。page和post属于hexo的两种layout，其它layout差异请看<a href="#默认布局-post">这儿</a></li>
<li>参考<a href="https://hexo.io/zh-cn/docs/variables.html" target="_blank" rel="external">hexo变量</a></li>
</ol>
<h3 id="其他"><a href="#其他" class="headerlink" title="其他"></a>其他</h3><p>除非DNS或者其他网络异常，无法请求到custom_domain的情况，否则404页面都会正常显示<br><a href="http://of2r0f294.bkt.clouddn.com/connection%20reset.png" target="_blank" rel="external">网络异常导致的不能访问</a></p>
<h2 id="设置about"><a href="#设置about" class="headerlink" title="设置about"></a>设置about</h2><p>同理</p>
<h2 id="设置RSS"><a href="#设置RSS" class="headerlink" title="设置RSS"></a>设置RSS</h2><p>RSS是一个模版粒度的设置，换了模版就有必要重新设置（如果有需要）<br><a href="https://github.com/iissnan/hexo-theme-next/wiki/%E6%98%BE%E7%A4%BA-feed-%E9%93%BE%E6%8E%A5" target="_blank" rel="external">#reference-显示feed链接</a></p>
<h2 id="设置分享插件（duoshuo）"><a href="#设置分享插件（duoshuo）" class="headerlink" title="设置分享插件（duoshuo）"></a>设置分享插件（duoshuo）</h2><h2 id="设置站内搜索"><a href="#设置站内搜索" class="headerlink" title="设置站内搜索"></a>设置站内搜索</h2><p>利用Next主题的local search插件的时候，会出现一个特别的情况：<br>当你在<code>yoursite.com/&lt;%page&gt;</code>做search的时候，点击搜索结果会出现异常：<br>会navigate到<code>yoursite.com/&lt;%page1&gt;/&lt;%search_result_relativePath&gt;</code><br>出现这个问题的主要原因是站点配置<code>/path_your_blog/source/_cofig.</code>yml的url值配置问题，改为absolutePath可以杜绝这个情况。<br>即，<br><code>yoursite.com</code><br><code>http://yoursite.com/</code><br>其中最后的斜杠<code>/</code>不能遗漏，会导致转义出现问题</p>
<p>新问题：<br>修改generator-search-db<br>search.ejs<br><figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div></pre></td><td class="code"><pre><div class="line">&lt;!--modified by Nora</div><div class="line">&lt;url&gt;&lt;%- encodeURIComponent(config.root + post.path) %&gt;&lt;/url&gt;</div><div class="line">--&gt;</div><div class="line">&lt;url&gt;&lt;%- config.url + config.root + encodeURIComponent( post.path) %&gt;&lt;/url&gt;</div></pre></td></tr></table></figure></p>
<p>增加绝对路径<br>生成search.xml</p>
<p>再更新：<br>确认了html 属性href作相对引用的逻辑后，修改为：<br>因为href=’/path’<br>会直接访问当前主域名＋path（取决于浏览器）</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div></pre></td><td class="code"><pre><div class="line">&lt;url&gt;&lt;%-  config.root + encodeURIComponent( post.path) %&gt;&lt;/url&gt;</div></pre></td></tr></table></figure>
<p>因为使用相对路径404页面也更新为：<br><figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div></pre></td><td class="code"><pre><div class="line">&lt;script type=&quot;text/javascript&quot; src=&quot;http://www.qq.com/404/search_children.js&quot; charset=&quot;utf-8&quot; homePageUrl=&quot;/ &quot; homePageName=&quot;回到我的主页&quot;&gt;</div></pre></td></tr></table></figure></p>
<p>其它md的相对路径也按照该逻辑处理。减少绝对路径使用，因为有多个发布地点。<br>为了减少所有的绝对饮用，url设置为url:  check_hexo_config_url 观察是否有问题。</p>
<h2 id="github的包含关系。"><a href="#github的包含关系。" class="headerlink" title="github的包含关系。"></a>github的包含关系。</h2><p>例如_post已经在一个仓库了，希望建一个新的仓库包涵旧仓库</p>
<h2 id="encode-amp-decode"><a href="#encode-amp-decode" class="headerlink" title="encode&amp; decode"></a>encode&amp; decode</h2><p>根据http协议，URL中的部分字符会进行转义（encode），例如中文字符，会遇见的一个问题是把<code>/</code>转为<code>%2F</code>进行页面访问。<br>检查yoursite.com/search.xml可以发现<code>npm install hexo-generator-searchdb --save</code>会根据文章简历索引，并编码后访问<br><a href="">#reference:</a><br><a href="http://www.w3school.com.cn/tags/html_ref_urlencode.html" target="_blank" rel="external">#reference: HTML URL 编码</a></p>
<h2 id="github做了子项目pages"><a href="#github做了子项目pages" class="headerlink" title="github做了子项目pages"></a>github做了子项目pages</h2><p>coding也需要做<br>noragithub/prd_deployment映射到nora_coding/prd_deployment，同时pages业务。<br>两个项目都已经忽略了主域名，不做映射回出问题（coding找不到该页面）<br>这里利用hook设置</p>
<h2 id="hook需要自由服务器，结合docker的自动化常识，daoke-cluod"><a href="#hook需要自由服务器，结合docker的自动化常识，daoke-cluod" class="headerlink" title="hook需要自由服务器，结合docker的自动化常识，daoke.cluod"></a>hook需要自由服务器，结合docker的自动化常识，daoke.cluod</h2><p>名字是pages blog</p>
<h1 id="文章配置"><a href="#文章配置" class="headerlink" title="文章配置"></a>文章配置</h1><p>参考<a href="https://hexo.io/zh-cn/docs/variables.html" target="_blank" rel="external">hexo变量</a><br>增加updated: 1482378550000</p>
<h2 id="显示updated"><a href="#显示updated" class="headerlink" title="显示updated"></a>显示updated</h2><h1 id="SEO优化设置"><a href="#SEO优化设置" class="headerlink" title="SEO优化设置"></a>SEO优化设置</h1><h2 id="keywords"><a href="#keywords" class="headerlink" title="keywords"></a>keywords</h2><p>页面级别配置</p>
<h2 id="友链"><a href="#友链" class="headerlink" title="友链"></a>友链</h2><h2 id="sitetracking"><a href="#sitetracking" class="headerlink" title="sitetracking"></a>sitetracking</h2><h2 id="出现在搜索引擎"><a href="#出现在搜索引擎" class="headerlink" title="出现在搜索引擎"></a>出现在搜索引擎</h2><h1 id="Favicon"><a href="#Favicon" class="headerlink" title="Favicon"></a>Favicon</h1><p><a href="http://ww2.sinaimg.cn/mw690/6fa34428jw8e6sgfwn3suj20c80afmxk.jpg" target="_blank" rel="external">http://ww2.sinaimg.cn/mw690/6fa34428jw8e6sgfwn3suj20c80afmxk.jpg</a></p>
<h1 id="反向代理"><a href="#反向代理" class="headerlink" title="反向代理"></a>反向代理</h1><p> Github 访问速度太慢，有没有通过反向代理或者CDN加速的方式提高访问速度？特别是如果更新DNS的情况下</p>
<p>经过调研，最简单快速的方法是利用coding.net（墙内版Github）的pages服务设置hook自动更新 </p>
<p>//godaddy<br>设置www别名到pages.coding.me<br>绑定coding pages到www.busihacker.com</p>
<h4 id="定期更新问题-amp-hook问题-amp-父子域名、（发布到coding-me／noragithub-io）"><a href="#定期更新问题-amp-hook问题-amp-父子域名、（发布到coding-me／noragithub-io）" class="headerlink" title="定期更新问题&amp;hook问题&amp;父子域名、（发布到coding.me／noragithub.io）"></a>定期更新问题&amp;hook问题&amp;父子域名、（发布到coding.me／noragithub.io）</h4><h1 id="可能有的问题"><a href="#可能有的问题" class="headerlink" title="可能有的问题"></a>可能有的问题</h1><ol>
<li>https协议的支持</li>
<li>seo支持</li>
<li><p>自定义监测支持<br><a href="https://github.com/PaicHyperionDev/hexo-generator-search/issues/8" target="_blank" rel="external">提示有编码错误</a></p>
</li>
<li><p>不支持所有页面进行local search（当对配置中 search- field从<code>post</code>修改为<code>all</code>，会提醒post is not defined ）</p>
</li>
</ol>
<p>updatetime function</p>
<p><a href="http://www.arao.me/2015/hexo-next-theme-optimize-base/" target="_blank" rel="external">动动手指，NexT主题与Hexo更搭哦（基础篇）</a><br><a href="http://vonalex.github.io/2016/04/03/hexo-gitpages%E5%BB%BA%E7%AB%8B%E5%8D%9A%E5%AE%A2/" target="_blank" rel="external">hexo + gitpages 搭建博客</a><br><a href="https://chensd.com/2016-06/hexo-theme-guide.html" target="_blank" rel="external">Hexo 主题制作指南</a></p>
<h1 id="定制化（进阶）"><a href="#定制化（进阶）" class="headerlink" title="定制化（进阶）"></a>定制化（进阶）</h1><h2 id="Hexo的布局（layout）"><a href="#Hexo的布局（layout）" class="headerlink" title="Hexo的布局（layout）"></a>Hexo的布局（layout）</h2><h3 id="默认布局-post"><a href="#默认布局-post" class="headerlink" title="默认布局-post"></a>默认布局-post</h3><p>layout（布局）概念类似一种页面类型，（默认情况下，但是如何新建一个type？新的渲染格式？）Hexo有三种不同的layout，不同layout保存的路径并不一样。</p>
<table>
<thead>
<tr>
<th style="text-align:center">Layout</th>
<th style="text-align:left">Path</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:center">post</td>
<td style="text-align:left">./source/_post</td>
</tr>
<tr>
<td style="text-align:center">page</td>
<td style="text-align:left">./source</td>
</tr>
<tr>
<td style="text-align:center">draft</td>
<td style="text-align:left">./source/_draft</td>
</tr>
</tbody>
</table>
<ol>
<li>不同layout的唯一区别是保存到不同的路径（to some extent）</li>
<li>layout支持自定义，存放目录和post一样，当scaffold无自定义类型时，调用默认layout</li>
<li>hexo publish 可用于发表草稿（draft–&gt;post，参考1）（仅用于发表草稿，不代表支持转移目录，是否代表支持修改scaffold里的layout变量？）</li>
<li>hexo new page</li>
</ol>
<p>可以利用layout组织template</p>
<table>
<thead>
<tr>
<th style="text-align:center">template</th>
<th style="text-align:center">Page</th>
<th style="text-align:center">Fallback</th>
<th>Path</th>
<th>Fallback Path</th>
</tr>
</thead>
<tbody>
<tr>
<td style="text-align:center">index</td>
<td style="text-align:center">Home page</td>
<td style="text-align:center"></td>
</tr>
<tr>
<td style="text-align:center">post</td>
<td style="text-align:center">Posts</td>
<td style="text-align:center">index</td>
<td>_post</td>
</tr>
<tr>
<td style="text-align:center">page</td>
<td style="text-align:center">Pages</td>
<td style="text-align:center">index</td>
<td>source</td>
<td>source/%pagename</td>
</tr>
<tr>
<td style="text-align:center">archive</td>
<td style="text-align:center">Archives</td>
<td style="text-align:center">index</td>
</tr>
<tr>
<td style="text-align:center">category</td>
<td style="text-align:center">Category archives</td>
<td style="text-align:center">archive</td>
</tr>
<tr>
<td style="text-align:center">tag</td>
<td style="text-align:center">Tag archives</td>
<td style="text-align:center">archive</td>
</tr>
</tbody>
</table>
<p>Fallback位于类似于scaffolds，只是定义了变量，<br>不同template的渲染文件位于 <code>./themes/next/layout/\*</code> 下，利用swig组成，<a href="http://www.cnblogs.com/elementstorm/p/3142644.html" target="_blank" rel="external">swig是一个js模版引擎</a><br><a href="http://imweb.io/topic/565b2e23bb6a753a136242b5" target="_blank" rel="external">http://imweb.io/topic/565b2e23bb6a753a136242b5</a></p>
<p>/source/_其它（page？）<br><a href="https://hexo.io/zh-cn/docs/writing.html" target="_blank" rel="external">reference-写作</a></p>
<p>hexo new draft ..<br>其中..d的layout是post，并非draft，有点坑啊。。。<br>在scaffolds中国年增加变量layout: draft解决该问题，然而历史的的md都会被认为是默认的layout：post，需手动添加layout: draft补充<br>在post.swig和post-collapse的 </p><h1>标签增加<p></p>
<pre><code>{% if post.layout === "draft" %}
        <font color="#FF4500" size="1"> 撰写中</font>
        {% endif %}
</code></pre><p>用于提醒。</p>
<p>通过<code>hexo new darft &quot;test_draft_publish&quot;</code>然后<code>hexo publish &quot;test_draft_publish&quot;</code>，知识修改了文件的名称，从<code>test-draft-publish.md</code>修改为<code>test-draft-publish-1.md</code>，layout并未修改为post（期望是layout变量修改为post，并把md文件转移到_post文件夹），这个问题的主要原因是scaffold/draft.md增加了layout变量，需要想办法修改下。</p>
<h2 id="scaffold自定义模版"><a href="#scaffold自定义模版" class="headerlink" title="scaffold自定义模版"></a>scaffold自定义模版</h2><p>scaffolds/%layout<br>scaffolds决定不同layout的变量，在initial一个article时出现的变量，不同的layout变量使用不同的template和不同的path<br>template上述内容的展现方式<br>切换布局</p>
<p><em>如果要显示草稿，页面级别设置是没用的，只能全站级别</em><br><strong>希望修改为页面级别，而且修改样式提醒为草稿以及首页显示后提醒草稿样式</strong></p>
<p><a href="https://hexo.io/zh-cn/docs/setup.html" target="_blank" rel="external">建站</a><br><a href="https://hexo.io/zh-cn/docs/templates.html" target="_blank" rel="external">结构</a></p>
<p>为了进行个性化定制，先定义一些主要的数据类型：<br>页面（类型），如首页，归档页，标签页等：page<br>页面：默认（default）post</p>
<p>我们页了解下Hexo框架下，页面（html）的生成逻辑。<br>另外也应该了解同一个选项，hexo的<br>配置的优先级：page&gt;theme&gt;hexo<br>从html角度进行个性化定制</p>
<p>我们来看看hexo 的名录以及各目录下配置或文件的作用<br><code>tree -L 3  -I node_modules\|public</code></p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div><div class="line">5</div><div class="line">6</div><div class="line">7</div><div class="line">8</div><div class="line">9</div><div class="line">10</div><div class="line">11</div><div class="line">12</div><div class="line">13</div><div class="line">14</div><div class="line">15</div><div class="line">16</div><div class="line">17</div><div class="line">18</div><div class="line">19</div><div class="line">20</div><div class="line">21</div><div class="line">22</div><div class="line">23</div><div class="line">24</div><div class="line">25</div><div class="line">26</div><div class="line">27</div><div class="line">28</div><div class="line">29</div><div class="line">30</div><div class="line">31</div><div class="line">32</div><div class="line">33</div><div class="line">34</div><div class="line">35</div><div class="line">36</div><div class="line">37</div><div class="line">38</div><div class="line">39</div><div class="line">40</div><div class="line">41</div><div class="line">42</div><div class="line">43</div><div class="line">44</div><div class="line">45</div><div class="line">46</div></pre></td><td class="code"><pre><div class="line">.</div><div class="line">├── _config.yml//站点配置</div><div class="line">├── db.json</div><div class="line">├── debug.log</div><div class="line">├── package.json</div><div class="line">├── scaffolds</div><div class="line">│   ├── draft.md//草稿</div><div class="line">│   ├── page.md//页面</div><div class="line">│   └── post.md//博客</div><div class="line">├── source</div><div class="line">│   ├── 404 //404页面</div><div class="line">│   │   └── index.md</div><div class="line">│   ├── _posts //博客目录</div><div class="line">│   │   ├── Hexo-Blog-Setup以?\217\212常?\201?\205\215置.md</div><div class="line">│   │   ├── Markdown\ Web\ \ ?\226?\221?\231?产?\223\201?\203?\224.md</div><div class="line">│   │   ├── README.md</div><div class="line">│   │   ├── ..</div><div class="line">│   │   ├── ..</div><div class="line">│   │   </div><div class="line">│   ├── about //关于页面</div><div class="line">│   │   └── index.md</div><div class="line">│   └── tags //tags页面</div><div class="line">│       └── index.md</div><div class="line">└── themes//模版信息</div><div class="line">    ├── landscape //landscape模版脚本</div><div class="line">    │   ├── Gruntfile.js</div><div class="line">    │   ├── LICENSE</div><div class="line">    │   ├── README.md</div><div class="line">    │   ├── _config.yml</div><div class="line">    │   ├── languages</div><div class="line">    │   ├── layout</div><div class="line">    │   ├── package.json</div><div class="line">    │   ├── scripts</div><div class="line">    │   └── source</div><div class="line">    └── next //next模版脚本</div><div class="line">        ├── README.en.md</div><div class="line">        ├── README.md</div><div class="line">        ├── _config.yml//模版配置</div><div class="line">        ├── bower.json</div><div class="line">        ├── gulpfile.coffee</div><div class="line">        ├── languages</div><div class="line">        ├── layout</div><div class="line">        ├── package.json</div><div class="line">        ├── scripts</div><div class="line">        ├── source</div><div class="line">        └── test//测试</div></pre></td></tr></table></figure>
<p>我们进到next模版目录详细研究<br><code>tree -I test</code></p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div><div class="line">5</div><div class="line">6</div><div class="line">7</div><div class="line">8</div><div class="line">9</div><div class="line">10</div><div class="line">11</div><div class="line">12</div><div class="line">13</div><div class="line">14</div><div class="line">15</div><div class="line">16</div><div class="line">17</div><div class="line">18</div><div class="line">19</div><div class="line">20</div><div class="line">21</div><div class="line">22</div><div class="line">23</div><div class="line">24</div><div class="line">25</div><div class="line">26</div><div class="line">27</div><div class="line">28</div><div class="line">29</div><div class="line">30</div><div class="line">31</div><div class="line">32</div><div class="line">33</div><div class="line">34</div><div class="line">35</div><div class="line">36</div><div class="line">37</div><div class="line">38</div><div class="line">39</div><div class="line">40</div><div class="line">41</div><div class="line">42</div><div class="line">43</div><div class="line">44</div><div class="line">45</div><div class="line">46</div><div class="line">47</div><div class="line">48</div><div class="line">49</div><div class="line">50</div><div class="line">51</div><div class="line">52</div><div class="line">53</div><div class="line">54</div><div class="line">55</div><div class="line">56</div><div class="line">57</div><div class="line">58</div><div class="line">59</div><div class="line">60</div><div class="line">61</div><div class="line">62</div><div class="line">63</div><div class="line">64</div><div class="line">65</div><div class="line">66</div><div class="line">67</div><div class="line">68</div><div class="line">69</div><div class="line">70</div><div class="line">71</div><div class="line">72</div><div class="line">73</div><div class="line">74</div><div class="line">75</div><div class="line">76</div><div class="line">77</div><div class="line">78</div><div class="line">79</div><div class="line">80</div><div class="line">81</div><div class="line">82</div><div class="line">83</div><div class="line">84</div><div class="line">85</div><div class="line">86</div><div class="line">87</div><div class="line">88</div><div class="line">89</div><div class="line">90</div><div class="line">91</div><div class="line">92</div><div class="line">93</div><div class="line">94</div><div class="line">95</div><div class="line">96</div><div class="line">97</div><div class="line">98</div><div class="line">99</div><div class="line">100</div><div class="line">101</div><div class="line">102</div><div class="line">103</div><div class="line">104</div><div class="line">105</div><div class="line">106</div><div class="line">107</div><div class="line">108</div><div class="line">109</div><div class="line">110</div><div class="line">111</div><div class="line">112</div><div class="line">113</div><div class="line">114</div><div class="line">115</div><div class="line">116</div><div class="line">117</div><div class="line">118</div><div class="line">119</div><div class="line">120</div><div class="line">121</div><div class="line">122</div><div class="line">123</div><div class="line">124</div><div class="line">125</div><div class="line">126</div><div class="line">127</div><div class="line">128</div><div class="line">129</div><div class="line">130</div><div class="line">131</div><div class="line">132</div><div class="line">133</div><div class="line">134</div><div class="line">135</div><div class="line">136</div><div class="line">137</div><div class="line">138</div><div class="line">139</div><div class="line">140</div><div class="line">141</div><div class="line">142</div><div class="line">143</div><div class="line">144</div><div class="line">145</div><div class="line">146</div><div class="line">147</div><div class="line">148</div><div class="line">149</div><div class="line">150</div><div class="line">151</div><div class="line">152</div><div class="line">153</div><div class="line">154</div><div class="line">155</div><div class="line">156</div><div class="line">157</div><div class="line">158</div><div class="line">159</div><div class="line">160</div><div class="line">161</div><div class="line">162</div><div class="line">163</div><div class="line">164</div><div class="line">165</div><div class="line">166</div><div class="line">167</div><div class="line">168</div><div class="line">169</div><div class="line">170</div><div class="line">171</div><div class="line">172</div><div class="line">173</div><div class="line">174</div><div class="line">175</div><div class="line">176</div><div class="line">177</div><div class="line">178</div><div class="line">179</div><div class="line">180</div><div class="line">181</div><div class="line">182</div><div class="line">183</div><div class="line">184</div><div class="line">185</div><div class="line">186</div><div class="line">187</div><div class="line">188</div><div class="line">189</div><div class="line">190</div><div class="line">191</div><div class="line">192</div><div class="line">193</div><div class="line">194</div><div class="line">195</div><div class="line">196</div><div class="line">197</div><div class="line">198</div><div class="line">199</div><div class="line">200</div><div class="line">201</div><div class="line">202</div><div class="line">203</div><div class="line">204</div><div class="line">205</div><div class="line">206</div><div class="line">207</div><div class="line">208</div><div class="line">209</div><div class="line">210</div><div class="line">211</div><div class="line">212</div><div class="line">213</div><div class="line">214</div><div class="line">215</div><div class="line">216</div><div class="line">217</div><div class="line">218</div><div class="line">219</div><div class="line">220</div><div class="line">221</div><div class="line">222</div><div class="line">223</div><div class="line">224</div><div class="line">225</div><div class="line">226</div><div class="line">227</div><div class="line">228</div><div class="line">229</div><div class="line">230</div><div class="line">231</div><div class="line">232</div><div class="line">233</div><div class="line">234</div><div class="line">235</div><div class="line">236</div><div class="line">237</div><div class="line">238</div><div class="line">239</div><div class="line">240</div><div class="line">241</div><div class="line">242</div><div class="line">243</div><div class="line">244</div><div class="line">245</div><div class="line">246</div><div class="line">247</div><div class="line">248</div><div class="line">249</div><div class="line">250</div><div class="line">251</div><div class="line">252</div><div class="line">253</div><div class="line">254</div><div class="line">255</div><div class="line">256</div><div class="line">257</div><div class="line">258</div><div class="line">259</div><div class="line">260</div><div class="line">261</div><div class="line">262</div><div class="line">263</div><div class="line">264</div><div class="line">265</div><div class="line">266</div><div class="line">267</div><div class="line">268</div><div class="line">269</div><div class="line">270</div><div class="line">271</div><div class="line">272</div><div class="line">273</div><div class="line">274</div><div class="line">275</div><div class="line">276</div><div class="line">277</div><div class="line">278</div><div class="line">279</div><div class="line">280</div></pre></td><td class="code"><pre><div class="line">.</div><div class="line">├── README.en.md</div><div class="line">├── README.md</div><div class="line">├── _config.yml</div><div class="line">├── bower.json</div><div class="line">├── gulpfile.coffee</div><div class="line">├── languages//语言包</div><div class="line">│   ├── zh-Hans.yml</div><div class="line">│   ├── default.yml</div><div class="line">│   ├── en.yml</div><div class="line">│   ├── zh-hk.yml</div><div class="line">│   ├── ..</div><div class="line">│   └── ..</div><div class="line">│   </div><div class="line">├── layout//layout控制</div><div class="line">│   ├── _layout.swig//layout javascript 模版引擎</div><div class="line">│   ├── _macro//所有变量</div><div class="line">│   │   ├── post-collapse.swig</div><div class="line">│   │   ├── post.swig</div><div class="line">│   │   ├── reward.swig</div><div class="line">│   │   ├── sidebar.swig</div><div class="line">│   │   └── wechat-subscriber.swig</div><div class="line">│   ├── _partials</div><div class="line">│   │   ├── comments.swig</div><div class="line">│   │   ├── duoshuo-hot-articles.swig</div><div class="line">│   │   ├── footer.swig</div><div class="line">│   │   ├── head</div><div class="line">│   │   │   └── external-fonts.swig</div><div class="line">│   │   ├── head.swig</div><div class="line">│   │   ├── header.swig</div><div class="line">│   │   ├── pagination.swig</div><div class="line">│   │   ├── search</div><div class="line">│   │   │   ├── localsearch.swig</div><div class="line">│   │   │   ├── swiftype.swig</div><div class="line">│   │   │   └── tinysou.swig</div><div class="line">│   │   ├── search.swig</div><div class="line">│   │   └── share</div><div class="line">│   │       ├── add-this.swig</div><div class="line">│   │       ├── baidushare.swig</div><div class="line">│   │       ├── duoshuo_share.swig</div><div class="line">│   │       └── jiathis.swig</div><div class="line">│   ├── _scripts</div><div class="line">│   │   ├── baidu-push.swig</div><div class="line">│   │   ├── boostrap.swig</div><div class="line">│   │   ├── commons.swig</div><div class="line">│   │   ├── pages</div><div class="line">│   │   │   └── post-details.swig</div><div class="line">│   │   ├── schemes</div><div class="line">│   │   │   ├── mist.swig</div><div class="line">│   │   │   ├── muse.swig</div><div class="line">│   │   │   └── pisces.swig</div><div class="line">│   │   ├── third-party</div><div class="line">│   │   │   ├── analytics</div><div class="line">│   │   │   │   ├── baidu-analytics.swig</div><div class="line">│   │   │   │   ├── busuanzi-counter.swig</div><div class="line">│   │   │   │   ├── cnzz-analytics.swig</div><div class="line">│   │   │   │   ├── facebook-sdk.swig</div><div class="line">│   │   │   │   ├── google-analytics.swig</div><div class="line">│   │   │   │   └── tencent-analytics.swig</div><div class="line">│   │   │   ├── analytics.swig</div><div class="line">│   │   │   ├── comments</div><div class="line">│   │   │   │   ├── disqus.swig</div><div class="line">│   │   │   │   └── duoshuo.swig</div><div class="line">│   │   │   ├── comments.swig</div><div class="line">│   │   │   ├── lean-analytics.swig</div><div class="line">│   │   │   ├── localsearch.swig</div><div class="line">│   │   │   ├── mathjax.swig</div><div class="line">│   │   │   └── tinysou.swig</div><div class="line">│   │   └── vendors.swig</div><div class="line">│   ├── archive.swig</div><div class="line">│   ├── category.swig</div><div class="line">│   ├── index.swig</div><div class="line">│   ├── page.swig</div><div class="line">│   ├── post.swig</div><div class="line">│   └── tag.swig</div><div class="line">├── package.json</div><div class="line">├── scripts</div><div class="line">│   ├── merge-configs.js</div><div class="line">│   └── tags</div><div class="line">│       ├── center-quote.js</div><div class="line">│       ├── full-image.js</div><div class="line">│       └── group-pictures.js</div><div class="line">└── source</div><div class="line">    ├── 404.html</div><div class="line">    ├── css</div><div class="line">    │   ├── _common</div><div class="line">    │   │   ├── components</div><div class="line">    │   │   │   ├── back-to-top.styl</div><div class="line">    │   │   │   ├── buttons.styl</div><div class="line">    │   │   │   ├── comments.styl</div><div class="line">    │   │   │   ├── components.styl</div><div class="line">    │   │   │   ├── footer</div><div class="line">    │   │   │   │   └── footer.styl</div><div class="line">    │   │   │   ├── header</div><div class="line">    │   │   │   │   ├── header.styl</div><div class="line">    │   │   │   │   ├── headerband.styl</div><div class="line">    │   │   │   │   ├── menu.styl</div><div class="line">    │   │   │   │   ├── site-meta.styl</div><div class="line">    │   │   │   │   └── site-nav.styl</div><div class="line">    │   │   │   ├── highlight</div><div class="line">    │   │   │   │   ├── highlight.styl</div><div class="line">    │   │   │   │   └── theme.styl</div><div class="line">    │   │   │   ├── pages</div><div class="line">    │   │   │   │   ├── archive.styl</div><div class="line">    │   │   │   │   ├── categories.styl</div><div class="line">    │   │   │   │   ├── pages.styl</div><div class="line">    │   │   │   │   └── post-detail.styl</div><div class="line">    │   │   │   ├── pagination.styl</div><div class="line">    │   │   │   ├── post</div><div class="line">    │   │   │   │   ├── post-collapse.styl</div><div class="line">    │   │   │   │   ├── post-eof.styl</div><div class="line">    │   │   │   │   ├── post-expand.styl</div><div class="line">    │   │   │   │   ├── post-gallery.styl</div><div class="line">    │   │   │   │   ├── post-meta.styl</div><div class="line">    │   │   │   │   ├── post-more-link.styl</div><div class="line">    │   │   │   │   ├── post-nav.styl</div><div class="line">    │   │   │   │   ├── post-reward.styl</div><div class="line">    │   │   │   │   ├── post-tags.styl</div><div class="line">    │   │   │   │   ├── post-title.styl</div><div class="line">    │   │   │   │   ├── post-type.styl</div><div class="line">    │   │   │   │   └── post.styl</div><div class="line">    │   │   │   ├── sidebar</div><div class="line">    │   │   │   │   ├── sidebar-author-links.styl</div><div class="line">    │   │   │   │   ├── sidebar-author.styl</div><div class="line">    │   │   │   │   ├── sidebar-blogroll.styl</div><div class="line">    │   │   │   │   ├── sidebar-feed-link.styl</div><div class="line">    │   │   │   │   ├── sidebar-nav.styl</div><div class="line">    │   │   │   │   ├── sidebar-toc.styl</div><div class="line">    │   │   │   │   ├── sidebar-toggle.styl</div><div class="line">    │   │   │   │   ├── sidebar.styl</div><div class="line">    │   │   │   │   └── site-state.styl</div><div class="line">    │   │   │   ├── tag-cloud.styl</div><div class="line">    │   │   │   ├── tags</div><div class="line">    │   │   │   │   ├── blockquote-center.styl</div><div class="line">    │   │   │   │   ├── full-image.styl</div><div class="line">    │   │   │   │   ├── group-pictures.styl</div><div class="line">    │   │   │   │   └── tags.styl</div><div class="line">    │   │   │   └── third-party</div><div class="line">    │   │   │       ├── baidushare.styl</div><div class="line">    │   │   │       ├── busuanzi-counter.styl</div><div class="line">    │   │   │       ├── duoshuo.styl</div><div class="line">    │   │   │       ├── jiathis.styl</div><div class="line">    │   │   │       ├── localsearch.styl</div><div class="line">    │   │   │       └── third-party.styl</div><div class="line">    │   │   ├── outline</div><div class="line">    │   │   │   └── outline.styl</div><div class="line">    │   │   └── scaffolding</div><div class="line">    │   │       ├── base.styl</div><div class="line">    │   │       ├── helpers.styl</div><div class="line">    │   │       ├── normalize.styl</div><div class="line">    │   │       ├── scaffolding.styl</div><div class="line">    │   │       └── tables.styl</div><div class="line">    │   ├── _custom</div><div class="line">    │   │   └── custom.styl</div><div class="line">    │   ├── _mixins</div><div class="line">    │   │   ├── Mist.styl</div><div class="line">    │   │   ├── Muse.styl</div><div class="line">    │   │   ├── Pisces.styl</div><div class="line">    │   │   ├── base.styl</div><div class="line">    │   │   └── custom.styl</div><div class="line">    │   ├── _schemes</div><div class="line">    │   │   ├── Mist</div><div class="line">    │   │   │   ├── _base.styl</div><div class="line">    │   │   │   ├── _header.styl</div><div class="line">    │   │   │   ├── _logo.styl</div><div class="line">    │   │   │   ├── _menu.styl</div><div class="line">    │   │   │   ├── _posts-expanded.styl</div><div class="line">    │   │   │   ├── _search.styl</div><div class="line">    │   │   │   ├── index.styl</div><div class="line">    │   │   │   ├── outline</div><div class="line">    │   │   │   │   └── outline.styl</div><div class="line">    │   │   │   └── sidebar</div><div class="line">    │   │   │       └── sidebar-blogroll.styl</div><div class="line">    │   │   ├── Muse</div><div class="line">    │   │   │   ├── _layout.styl</div><div class="line">    │   │   │   ├── _logo.styl</div><div class="line">    │   │   │   ├── _menu.styl</div><div class="line">    │   │   │   ├── _search.styl</div><div class="line">    │   │   │   ├── index.styl</div><div class="line">    │   │   │   └── sidebar</div><div class="line">    │   │   │       └── sidebar-blogroll.styl</div><div class="line">    │   │   └── Pisces</div><div class="line">    │   │       ├── _brand.styl</div><div class="line">    │   │       ├── _full-image.styl</div><div class="line">    │   │       ├── _layout.styl</div><div class="line">    │   │       ├── _menu.styl</div><div class="line">    │   │       ├── _posts.styl</div><div class="line">    │   │       ├── _sidebar.styl</div><div class="line">    │   │       └── index.styl</div><div class="line">    │   ├── _variables</div><div class="line">    │   │   ├── Mist.styl</div><div class="line">    │   │   ├── Muse.styl</div><div class="line">    │   │   ├── Pisces.styl</div><div class="line">    │   │   ├── base.styl</div><div class="line">    │   │   └── custom.styl</div><div class="line">    │   └── main.styl</div><div class="line">    ├── fonts</div><div class="line">    ├── images</div><div class="line">    │   ├── avatar.gif</div><div class="line">    │   ├── cc-by-nc-nd.svg</div><div class="line">    │   ├── cc-by-nc-sa.svg</div><div class="line">    │   ├── cc-by-nc.svg</div><div class="line">    │   ├── cc-by-nd.svg</div><div class="line">    │   ├── cc-by-sa.svg</div><div class="line">    │   ├── cc-by.svg</div><div class="line">    │   ├── cc-zero.svg</div><div class="line">    │   ├── loading.gif</div><div class="line">    │   ├── placeholder.gif</div><div class="line">    │   ├── quote-l.svg</div><div class="line">    │   ├── quote-r.svg</div><div class="line">    │   └── searchicon.png</div><div class="line">    ├── js</div><div class="line">    │   └── src</div><div class="line">    │       ├── affix.js</div><div class="line">    │       ├── bootstrap.js</div><div class="line">    │       ├── hook-duoshuo.js</div><div class="line">    │       ├── motion.js</div><div class="line">    │       ├── post-details.js</div><div class="line">    │       ├── schemes</div><div class="line">    │       │   └── pisces.js</div><div class="line">    │       ├── scrollspy.js</div><div class="line">    │       └── utils.js</div><div class="line">    └── vendors</div><div class="line">        ├── fancybox</div><div class="line">        │   └── source</div><div class="line">        │       ├── blank.gif</div><div class="line">        │       ├── fancybox_loading.gif</div><div class="line">        │       ├── fancybox_loading@2x.gif</div><div class="line">        │       ├── fancybox_overlay.png</div><div class="line">        │       ├── fancybox_sprite.png</div><div class="line">        │       ├── fancybox_sprite@2x.png</div><div class="line">        │       ├── helpers</div><div class="line">        │       │   ├── fancybox_buttons.png</div><div class="line">        │       │   ├── jquery.fancybox-buttons.css</div><div class="line">        │       │   ├── jquery.fancybox-buttons.js</div><div class="line">        │       │   ├── jquery.fancybox-media.js</div><div class="line">        │       │   ├── jquery.fancybox-thumbs.css</div><div class="line">        │       │   └── jquery.fancybox-thumbs.js</div><div class="line">        │       ├── jquery.fancybox.css</div><div class="line">        │       ├── jquery.fancybox.js</div><div class="line">        │       └── jquery.fancybox.pack.js</div><div class="line">        ├── fastclick</div><div class="line">        │   ├── LICENSE</div><div class="line">        │   ├── README.md</div><div class="line">        │   ├── bower.json</div><div class="line">        │   └── lib</div><div class="line">        │       ├── fastclick.js</div><div class="line">        │       └── fastclick.min.js</div><div class="line">        ├── font-awesome</div><div class="line">        │   ├── HELP-US-OUT.txt</div><div class="line">        │   ├── bower.json</div><div class="line">        │   ├── css</div><div class="line">        │   │   ├── font-awesome.css</div><div class="line">        │   │   ├── font-awesome.css.map</div><div class="line">        │   │   └── font-awesome.min.css</div><div class="line">        │   └── fonts</div><div class="line">        │       ├── FontAwesome.otf</div><div class="line">        │       ├── fontawesome-webfont.eot</div><div class="line">        │       ├── fontawesome-webfont.svg</div><div class="line">        │       ├── fontawesome-webfont.ttf</div><div class="line">        │       ├── fontawesome-webfont.woff</div><div class="line">        │       └── fontawesome-webfont.woff2</div><div class="line">        ├── jquery</div><div class="line">        │   └── index.js</div><div class="line">        ├── jquery_lazyload</div><div class="line">        │   ├── CONTRIBUTING.md</div><div class="line">        │   ├── README.md</div><div class="line">        │   ├── bower.json</div><div class="line">        │   ├── jquery.lazyload.js</div><div class="line">        │   └── jquery.scrollstop.js</div><div class="line">        ├── ua-parser-js</div><div class="line">        │   └── dist</div><div class="line">        │       ├── ua-parser.min.js</div><div class="line">        │       └── ua-parser.pack.js</div><div class="line">        └── velocity</div><div class="line">            ├── bower.json</div><div class="line">            ├── velocity.js</div><div class="line">            ├── velocity.min.js</div><div class="line">            ├── velocity.ui.js</div><div class="line">            └── velocity.ui.min.js</div></pre></td></tr></table></figure>
<p>更新语言包的映射表。<br>更新_marco/post.swig，用于增加updated time元素，在post增加updated变量<br><a href="http://www.cnblogs.com/elementstorm/p/3142644.html" target="_blank" rel="external">swig使用指南</a><br><a href="http://www.jianshu.com/p/4d39b6578266" target="_blank" rel="external">从源码级别优化hexo next主题</a></p>
<p>为了增加page的toc<br>可以在page.swig里添加逻辑语句进行渲染</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div><div class="line">5</div><div class="line">6</div><div class="line">7</div><div class="line">8</div><div class="line">9</div><div class="line">10</div><div class="line">11</div><div class="line">12</div><div class="line">13</div><div class="line">14</div><div class="line">15</div><div class="line">16</div><div class="line">17</div><div class="line">18</div><div class="line">19</div><div class="line">20</div></pre></td><td class="code"><pre><div class="line">#默认设置</div><div class="line">&#123;% block sidebar %&#125;</div><div class="line">  &#123;&#123; sidebar_template.render(false) &#125;&#125;</div><div class="line">&#123;% endblock %&#125;</div><div class="line">#&#125;</div><div class="line"></div><div class="line">&#123;#</div><div class="line">&lt;!--page增加sidebar控制--&gt;</div><div class="line">&lt;!--sidebar不代表toc，toc是sidebar的一部分--&gt;</div><div class="line">&lt;!--sidebar_template.render(false)显示非toc部分--&gt;</div><div class="line">&lt;!--sidebar_template.render(true)显示toc部分--&gt;</div><div class="line">&lt;!--toc和非toc是二选一的关系--&gt;</div><div class="line">#&#125;</div><div class="line">&#123;% block sidebar %&#125;</div><div class="line"> &#123;% if theme.sidebar.display == &apos;always&apos; %&#125;</div><div class="line">  &#123;&#123; sidebar_template.render(true) &#125;&#125;</div><div class="line"> &#123;% else %&#125;</div><div class="line">  &#123;&#123; sidebar_template.render(false) &#125;&#125;</div><div class="line"> &#123;% endif %&#125;</div><div class="line">&#123;% endblock %&#125;</div></pre></td></tr></table></figure>
<p>page是所有页面变量？<br>在%page_name/index.md里增加变量toc: true变量，<br>在page.swig增加判断逻辑对该变量校验<br><figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div><div class="line">5</div><div class="line">6</div><div class="line">7</div><div class="line">8</div><div class="line">9</div><div class="line">10</div><div class="line">11</div><div class="line">12</div><div class="line">13</div><div class="line">14</div><div class="line">15</div><div class="line">16</div><div class="line">17</div><div class="line">18</div><div class="line">19</div><div class="line">20</div><div class="line">21</div><div class="line">22</div><div class="line">23</div></pre></td><td class="code"><pre><div class="line">&#123;#</div><div class="line">&lt;!--page增加sidebar控制--&gt;</div><div class="line">&lt;!--sidebar不代表toc，toc是sidebar的一部分--&gt;</div><div class="line">&lt;!--sidebar_template.render(false)显示非toc部分--&gt;</div><div class="line">&lt;!--sidebar_template.render(true)显示toc部分--&gt;</div><div class="line">&lt;!--toc和非toc是二选一的关系--&gt;</div><div class="line"></div><div class="line">&#123;% block sidebar %&#125;</div><div class="line"> &#123;% if theme.sidebar.display == &apos;always&apos; %&#125;</div><div class="line">  &#123;&#123; sidebar_template.render(true) &#125;&#125;</div><div class="line"> &#123;% else %&#125;</div><div class="line">  &#123;&#123; sidebar_template.render(false) &#125;&#125;</div><div class="line"> &#123;% endif %&#125;</div><div class="line">&#123;% endblock %&#125;</div><div class="line">#&#125;</div><div class="line"></div><div class="line">&#123;% block sidebar %&#125;</div><div class="line"> &#123;% if page.toc %&#125;</div><div class="line">  &#123;&#123; sidebar_template.render(true) &#125;&#125;</div><div class="line"> &#123;% else %&#125;</div><div class="line">  &#123;&#123; sidebar_template.render(false) &#125;&#125;</div><div class="line"> &#123;% endif %&#125;</div><div class="line">&#123;% endblock %&#125;</div></pre></td></tr></table></figure></p>
<h2 id="在about增加update时间"><a href="#在about增加update时间" class="headerlink" title="在about增加update时间"></a>在about增加update时间</h2><h2 id="在about自我简介＋resume链接"><a href="#在about自我简介＋resume链接" class="headerlink" title="在about自我简介＋resume链接"></a>在about自我简介＋resume链接</h2><p>增加is_hidden: true属性<br>首页不显示<br><figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div><div class="line">5</div><div class="line">6</div><div class="line">7</div><div class="line">8</div><div class="line">9</div><div class="line">10</div><div class="line">11</div><div class="line">12</div></pre></td><td class="code"><pre><div class="line">&#123;% block content %&#125;</div><div class="line">  &lt;section id=&quot;posts&quot; class=&quot;posts-expand&quot;&gt;</div><div class="line">    &#123;% for post in page.posts %&#125;</div><div class="line">    &#123;#test#&#125;</div><div class="line">      &#123;% if post.is_hidden != &apos;true&apos; %&#125;</div><div class="line">        &#123;&#123; post_template.render(post, true) &#125;&#125;</div><div class="line">      &#123;% endif %&#125;</div><div class="line">    &#123;% endfor %&#125;</div><div class="line">  &lt;/section&gt;</div><div class="line"></div><div class="line">  &#123;% include &apos;_partials/pagination.swig&apos; %&#125;</div><div class="line">&#123;% endblock %&#125;</div></pre></td></tr></table></figure></p>
<h1 id="自己创建-amp-管理主题"><a href="#自己创建-amp-管理主题" class="headerlink" title="自己创建&amp;管理主题"></a>自己创建&amp;管理主题</h1><h1 id="regenerate"><a href="#regenerate" class="headerlink" title="regenerate"></a>regenerate</h1><p>hexo clean<br>删除db.json</p>
<h1 id="支持流程图"><a href="#支持流程图" class="headerlink" title="支持流程图"></a>支持流程图</h1><p>npm install hexo-diagram –save<br>npm install phantomjs  -g<br><code>phantomjs@2.1.7: Package renamed to phantomjs-prebuilt. Please update &#39;phantomjs&#39; package references to &#39;phantomjs-prebuilt&#39;</code><br>npm install phantomjs-prebuilt -g<br>通过sublime插件搜索node_module下所有包涵’phantomjs’语句，替换为’phantomjs-prebuilt’</p>
<p>/Users/NoraChan/Desktop/Blog/node_modules/.bin/esvalidate:<br>/Users/NoraChan/Desktop/Blog/node_modules/esprima/bin/esvalidate.js:<br>/Users/NoraChan/Desktop/Blog/node_modules/phantom/phantom.coffee:<br>/Users/NoraChan/Desktop/Blog/node_modules/phantom/phantom.js:</p>
<p>npm install phantomjs  –save<br>–save和-g的区别是？（phantomjs-prebuilt）</p>
<p>决定按照insecure方式处理<br>修改回这些文件<br>/Users/NoraChan/Desktop/Blog/node_modules/.bin/esvalidate:<br>/Users/NoraChan/Desktop/Blog/node_modules/esprima/bin/esvalidate.js:<br>/Users/NoraChan/Desktop/Blog/node_modules/phantom/phantom.coffee:<br>/Users/NoraChan/Desktop/Blog/node_modules/phantom/phantom.js:</p>
<p><a href="http://www.luohanjie.com/2016-03-22/hexo-support-flowchart.html#fnref2" target="_blank" rel="external">hexo-diagram 渲染问题</a></p>
<p>流程图支持的markdown语法</p>
<p>###fancy box 效果问题&amp;增加post级别fancy设置</p>
<p>设置点击不跳转<br>设置阴影效果<br><figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div><div class="line">5</div><div class="line">6</div><div class="line">7</div></pre></td><td class="code"><pre><div class="line">&lt;style type=&quot;text/css&quot;&gt;</div><div class="line">img &#123;</div><div class="line">  -moz-box-shadow:    3px 3px 5px 6px #ccc;</div><div class="line">  -webkit-box-shadow: 3px 3px 5px 6px #ccc;</div><div class="line">  box-shadow:         3px 3px 5px 6px #ccc;</div><div class="line">&#125;</div><div class="line">&lt;/style&gt;</div></pre></td></tr></table></figure></p>
<p><a href="http://www.poluoluo.com/jzxy/201005/84148.html" target="_blank" rel="external">css3的box-shadow属性实现图层阴影效果</a><br><a href="https://css-tricks.com/snippets/css/css-box-shadow/" target="_blank" rel="external">CSS Box Shadow</a></p>
</h1>]]></content>
    
    <summary type="html">
    
      &lt;style type=&quot;text/css&quot;&gt;
img {
  -moz-box-shadow:    3px 3px 5px 6px #ccc;
  -webkit-box-shadow: 3px 3px 5px 6px #ccc;
  box-shadow:         3px 3px 5px 6px #ccc;
}
&lt;/style&gt;

&lt;p&gt;使用Hexo进行了Blog的Setup后，我们希望选择一个心仪的theme（即不同页面类型保持一致的风格），配置需要的功能选项/属性，甚至进行一些个性化的定制。&lt;br&gt;
    
    </summary>
    
    
  </entry>
  
  <entry>
    <title>STAR of Projects</title>
    <link href="check_hexo_config_url/2016/11/15/STAR-of-Projects/"/>
    <id>check_hexo_config_url/2016/11/15/STAR-of-Projects/</id>
    <published>2016-11-15T12:57:53.000Z</published>
    <updated>2017-12-15T14:03:33.000Z</updated>
    
    <content type="html"><![CDATA[<h1 id="Summary"><a href="#Summary" class="headerlink" title="Summary"></a>Summary</h1><p>偏好数据技术&amp;后端技术技术栈积累，希望充当一个能做产品需求分析、设计&amp;项目管理的Program Manager。<br>本文档的主要是对每个经手项目做详细的S（Situation）T（Task）A（Action）R（Result）分析<br><a id="more"></a></p>
<h1 id="舜飞科技-DSP产品经理"><a href="#舜飞科技-DSP产品经理" class="headerlink" title="舜飞科技-DSP产品经理"></a>舜飞科技-DSP产品经理</h1><p>先后向CEO/产品负责人（创始人之一）汇报。<br>偏后端项目管理，偏Scrum Master。数据驱动衡量需求价值并协调前端、后端和测试资源保证项目顺利上线。协助流量变现，移动端广告投放占比增长到50%以上。</p>
<ol>
<li>构建产品部文档和项目管理制度；</li>
<li>负责渠道/媒介对接，衡量渠道价值，安排优先级；</li>
<li>重点客户/项目跟进（技术/英文/复杂等）；<br>2016年，舜飞的战略方向有两个，一个是大的品牌广告主（展示类广告是广告市场大头，效果类广告欠积累），一个是海外的资源拓展（国内增量市场）。<br>其中，品牌广告主主要来自4A公司。这类需求有几个特点：</li>
</ol>
<ul>
<li>需求不确定/变更频繁</li>
<li>对技术需求没有概念且复杂、个性化</li>
<li>预算大，时间长</li>
<li>对概念（ 一般由第三方技术对接）的要求高。</li>
</ul>
<p>其中，“高通”是舜飞2016年最大的品牌广告主，同时高通的成功投放也是舜飞“品牌广告主”战略至关重要的一步。</p>
<h2 id="“计划”一期设计-amp-测试"><a href="#“计划”一期设计-amp-测试" class="headerlink" title="“计划”一期设计&amp;测试"></a>“计划”一期设计&amp;测试</h2><h2 id="BES-AMS服务对接"><a href="#BES-AMS服务对接" class="headerlink" title="BES_AMS服务对接"></a>BES_AMS服务对接</h2><h3 id="Situation"><a href="#Situation" class="headerlink" title="Situation"></a>Situation</h3><p>主流的人群标签以及第三方数据主要是基于访客的浏览数据进行建模，对于toB类广告主，<strong>这类人群标签显然不够精准</strong>。BES是百度最大的ADX。AMS（Audience Matching Service）服务是百度关键词服务，通过API返回固定数量关键词对应的搜索人群（cookie），用于RTB过程中的(re)targeting。<br>另一方面，这个功能对于品牌广告主市场而言有强烈的吸引性，属于稀缺资源。渠道协议&amp; 文档已经到位，客户有强烈需求。</p>
<h3 id="Task"><a href="#Task" class="headerlink" title="Task"></a>Task</h3><p>按时上线，保证服务正常。</p>
<h3 id="Action"><a href="#Action" class="headerlink" title="Action"></a>Action</h3><p>甄别背景信息&amp;设计产品、跟进进度&amp;撰写文档、保证测试</p>
<ul>
<li>探索&amp;明确产品需求和商务紧急性<ul>
<li>显性需求：<ul>
<li>对接</li>
</ul>
</li>
<li>隐性需求：<ul>
<li>跨渠道支持关键词人群（二期，与技术成本相关）</li>
<li>运营理解并容易使用</li>
</ul>
</li>
<li>需要考虑的问题：<ul>
<li>广告主/DSP无法验证</li>
<li>可能无法投出量</li>
<li>可能无效果</li>
</ul>
</li>
</ul>
</li>
<li>和渠道沟通，确认<ul>
<li>确认后端数据交换流程、协议</li>
<li>接口测试（联调）</li>
<li>确认前端界面开发方案</li>
</ul>
</li>
<li>测试<ul>
<li>对比日志中请求数据与出价数据保证出价比例</li>
</ul>
</li>
<li>控制商务期望</li>
<li>确认数据口径，撰写使用文档，简单明了阐述清楚原理和使用方法，降低使用成本。包括使用规则和cookie周期等可能会遇到的问题。</li>
</ul>
<p>遭遇两个方案：</p>
<ul>
<li>实时请求方案（基于BiddingX、BES、三方ADX共同成功mapping的cookies）<br>理想模型：</li>
</ul>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div></pre></td><td class="code"><pre><div class="line">BiddingX-&gt;BES: words</div><div class="line">BES-&gt;BiddingX: tag_id</div></pre></td></tr></table></figure>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div></pre></td><td class="code"><pre><div class="line">All ADXs-&gt;BiddingX: Bid Request</div><div class="line">BiddingX-&gt;BES: AMS Request</div><div class="line">BES-&gt;BiddingX:tag_id(s)</div><div class="line">BiddingX-&gt;All ADXs: Bid Response</div></pre></td></tr></table></figure>
<ul>
<li>离线方案<br>实际模型（考虑服务器资源和120ms内的返回竞价回复的实际情况）：</li>
</ul>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div></pre></td><td class="code"><pre><div class="line">BiddingX-&gt;BES: words</div><div class="line">BES-&gt;BiddingX: tag_id</div></pre></td></tr></table></figure>
<p><strong>曝光cookie mapping+cookie mapping 托管</strong><br><figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div></pre></td><td class="code"><pre><div class="line">Other ADXs-&gt;BiddingX: Bid Request</div><div class="line">BiddingX-&gt;BiddingX:self-query</div><div class="line">BiddingX-&gt;Other ADXs: Bid Response</div></pre></td></tr></table></figure></p>
<h3 id="Result"><a href="#Result" class="headerlink" title="Result"></a>Result</h3><p>按时上线，服务SAP、IBM广告主。</p>
<h2 id="The-Media-Trust对接"><a href="#The-Media-Trust对接" class="headerlink" title="The_Media_Trust对接"></a>The_Media_Trust对接</h2><h3 id="Situation-1"><a href="#Situation-1" class="headerlink" title="Situation"></a>Situation</h3><p>进行海外投放过程中，像Imobi/Google/Mopub/Pubmatic渠道，有严格的创意&amp;政策要求。The Media Trust是保证创意、落地页无恶意代码以及政策违反的第三方服务机构，通过定时轮询，<strong>保证投放免受政策惩罚</strong>。<br>由于代理商广告创意包含恶意代码，BiddingX被Google惩罚，禁止投放。台湾、香港以及东南亚、国外广告主受严重影响，需要紧急上线该服务保证创意质量。</p>
<h3 id="Task-1"><a href="#Task-1" class="headerlink" title="Task"></a>Task</h3><ul>
<li>通过对接第三方服务、和Google沟通等恢复海外资源投放</li>
<li>确认Google投放要求，避免类似情况出现</li>
</ul>
<h3 id="Action-1"><a href="#Action-1" class="headerlink" title="Action"></a>Action</h3><ul>
<li>和Google Tech Team&amp;Business Team沟通确认specific issue（创意/落地页）<ul>
<li>确认清楚被惩罚的具体原因（严重沟通漏斗）</li>
<li>结合实际考虑Google的对接建议</li>
</ul>
</li>
<li>对接保证创意安全<ul>
<li>确认最保守的轮询策略（Google有最后通牒：永久禁投）</li>
<li>合适的提醒方案（不打扰目前创意送审流程同时出问题可以及时发现、修改和沟通：送审轮询得到恶意代码后提醒）</li>
</ul>
</li>
<li>测试<ul>
<li>review出问题创意是否及时阻止</li>
<li>case by case 跟进所有The Media Trust警告邮件</li>
<li>确认被默认停止投放的广告具体原因</li>
</ul>
</li>
</ul>
<h3 id="Result-1"><a href="#Result-1" class="headerlink" title="Result"></a>Result</h3><p>Google恢复正常投放，顺利保证The Media Trust服务。</p>
<h2 id="Peer-39-ADbug-brandsafety（品牌安全）对接"><a href="#Peer-39-ADbug-brandsafety（品牌安全）对接" class="headerlink" title="Peer_39/ADbug_brandsafety（品牌安全）对接"></a>Peer_39/ADbug_brandsafety（品牌安全）对接</h2><h3 id="Situation-2"><a href="#Situation-2" class="headerlink" title="Situation"></a>Situation</h3><p>品牌类广告主对于品牌美誉度有要求，要求广告位所在的页面不影响品牌调性。brandsafety指的正是这一类ad verification服务。Peer 39/ADbug是国内外该服务提供商中最出名的。机房竞价前请求（国内/海外）服务器page级别的属性数据，判断是否危害广告主品牌安全。<strong>用于保护品牌类广告主广告调性</strong>。<br>主要用于高通广告主第三波投放。</p>
<h3 id="Task-2"><a href="#Task-2" class="headerlink" title="Task"></a>Task</h3><ul>
<li>对接brandsafety服务</li>
<li>调研brandsafety原理、关键指标和边界并分享</li>
</ul>
<h3 id="Action-2"><a href="#Action-2" class="headerlink" title="Action"></a>Action</h3><ul>
<li>控制商务期望（最重要）</li>
<li>探索&amp;明确产品需求和商务紧急性<ul>
<li>需求&amp;里程碑确认</li>
<li>技术&amp;产品文档确认</li>
<li>确认前端界面开发方案和后端出价、获取数据逻辑</li>
</ul>
</li>
<li>保证使用<ul>
<li>测试（合理预计过滤比例）</li>
<li>数据报告（验证有效性）</li>
<li>使用方案</li>
</ul>
</li>
<li>基于行业内brandsafety的adserving调研并产出<a href="/PRD_deployment/%E5%93%81%E7%89%8C%E5%AE%A2%E6%88%B7%E5%85%B3%E5%BF%83%E7%9A%84brandsafety%E5%92%8C%E5%8F%8D%E4%BD%9C%E5%BC%8A/index.html">PPT</a></li>
</ul>
<h3 id="Result-2"><a href="#Result-2" class="headerlink" title="Result"></a>Result</h3><p>顺利对接brandsafety服务，服务高通广告主并形成文档、ppt，完成分享</p>
<h2 id="Sizmek-ad-serving对接"><a href="#Sizmek-ad-serving对接" class="headerlink" title="Sizmek_ad_serving对接"></a>Sizmek_ad_serving对接</h2><h3 id="Situation-3"><a href="#Situation-3" class="headerlink" title="Situation"></a>Situation</h3><p>Sizmek为4A提供广告创意&amp; 监测服务，包括动态创意和brandsafety （品牌安全-post bid）／viewability（可视率）监测。<strong>通过对接，保证创意、落地页和竞价服务（DSP端、渠道端）相互兼容</strong>。</p>
<p>主要用于高通广告主投放。</p>
<h3 id="Task-3"><a href="#Task-3" class="headerlink" title="Task"></a>Task</h3><ul>
<li>对接第三方动态创意服务（通过HTML投放js）</li>
<li>保证video in banner正常投放（在banner广告位做视频投放）</li>
</ul>
<h3 id="Action-3"><a href="#Action-3" class="headerlink" title="Action"></a>Action</h3><ul>
<li>控制商务期望（最重要）</li>
<li>探索&amp;明确产品需求<ul>
<li>确认“动态创意”包含什么服务（通过HTML投放js）</li>
<li>确认video in banner投放具体细节<ul>
<li>特殊广告形式下的成本（CDN）</li>
<li>非expandable</li>
<li>确认具体尺寸&amp; 分别尺寸可竟得的impression数据</li>
<li>具体创意尺寸&amp; 格式、压缩方式、加载时长等（第几帧开始第几帧结束）</li>
</ul>
</li>
<li>广告主方/渠道方是否有特殊需求<ul>
<li>渠道/广告位粒度的协议确认</li>
</ul>
</li>
</ul>
</li>
<li>测试<ul>
<li>保证统计、监测服务正常</li>
<li>分终端、分ADX的adserving测试</li>
</ul>
</li>
</ul>
<h3 id="Result-3"><a href="#Result-3" class="headerlink" title="Result"></a>Result</h3><p>正常投放，并在投放过程中解决渠道对类Mraid协议、创意兼容问题（设备级别）</p>
<h2 id="高通DSP投放"><a href="#高通DSP投放" class="headerlink" title="高通DSP投放"></a>高通DSP投放</h2><h3 id="Situation-4"><a href="#Situation-4" class="headerlink" title="Situation"></a>Situation</h3><p>高通（甲方）的需求来自奥美（乙方）和sizmek（丙方），舜飞在商务投放中处于丁方的地位，需要向上把握需求。且商务决策中每一方的需求点都不一样，执行的细节有很大需要把握的空间和需求的正确性。</p>
<ul>
<li>需求来源于邮件，而且同一个需求在不同的时间点由不同的人提出，继续确认哪些需求是同一个需求，那些不是，确认范围和时间点。</li>
</ul>
<p>主要用于高通广告主第二波投放。</p>
<p>高通是2016年最重要的品牌类广告主，品牌类广告主的需求变化多且个性化。<strong>解决业务层面为当前产品/技术架构带来的挑战</strong>。</p>
<h3 id="Task-Result"><a href="#Task-Result" class="headerlink" title="Task/Result"></a>Task/Result</h3><ul>
<li>保证campaign按时上线</li>
<li>满足商务“平分轮显”需求</li>
</ul>
<h3 id="Action-4"><a href="#Action-4" class="headerlink" title="Action"></a>Action</h3><ul>
<li>控制商务期望（最重要）<ul>
<li>明确cookie保存周期最多半年（频次控制by cookie&amp;by time）</li>
</ul>
</li>
<li>明确商务需求，包括媒介需求&amp; 产品功能需求，确认需求边界于关键时间点<ul>
<li>确认“平分轮显”具体要求（by day）<ul>
<li>跨渠道跨创意的频次控制(by adx&amp;by creative&amp;by cookie)    </li>
<li>无法预测的累积时间段的频次控制（by cookie&amp;by time)</li>
<li>创意轮流显示且平分显示次数(by creative&amp;by cookie)</li>
</ul>
</li>
<li>保证优酷/腾讯/爱奇艺PDB 市场对接完成（OTV）</li>
</ul>
</li>
<li>从商务需求转化为技术需求，拆分子任务和关键验证点（创意按by cookie/by 频次 随机）</li>
<li>测试<ul>
<li>设置合适的campaign（按活动/按创意，对比频次数据，预期数据无差异）</li>
<li>保证统计discrepancy</li>
</ul>
</li>
<li>广告主方/渠道方是否有特殊需求<ul>
<li>渠道/广告位粒度的协议确认</li>
<li>确认RTB/PDB市场完成对接</li>
</ul>
</li>
<li>考虑可扩展性<ul>
<li>跨渠道跨创意的频次控制(by adx&amp;by creative&amp;by cookie)</li>
<li>campaign、产品、创意包粒度的“平分轮显”需求</li>
<li>全局轮显&amp; 用户轮显</li>
<li>3+reach最多</li>
</ul>
</li>
</ul>
<h2 id="移动RTB-全渠道PMP-PDB市场对接"><a href="#移动RTB-全渠道PMP-PDB市场对接" class="headerlink" title="移动RTB/全渠道PMP/PDB市场对接"></a>移动RTB/全渠道PMP/PDB市场对接</h2><h3 id="Situation-Result"><a href="#Situation-Result" class="headerlink" title="Situation/Result"></a>Situation/Result</h3><p>14年后，互联网进入移动时代。同时广告市场也根据商务需求和技术发展进入了RTB/PMP/PDB的精细化运营的时代，RTB/PMP/PDB市场业务有区别，需要根据协议和商务业务调整竞价服务。从产品层面考虑兼容性，<strong>兼容跨渠道差异以及现有产品功能</strong>。<br>该项目由很多小项目组成，根据不同项目case by case 解决问题，兼产品经理和项目经理，根据协议进行产品需求设计，协调资源，推动进度，保证上线。<br>例如：</p>
<ul>
<li>腾讯渠道RTB和PMP/PDB通过两套（相似）协议和分离环境实现两部分流量的分发。流程有不一样的地方，为了高度的拓展性，牺牲了一定的的便利性：如何关联广告主，如何放量。为了可理解性，希望一定的开发资源。</li>
<li>资质的扩展、adx的合并与分离等（新旧数据）</li>
<li>通过算法保证PDB按比例返量并考虑极端情况（提前和媒体&amp;广告主沟通）</li>
<li>PDB竞价暂停情况</li>
</ul>
<h2 id="SEM品牌推广"><a href="#SEM品牌推广" class="headerlink" title="SEM品牌推广"></a>SEM品牌推广</h2><p>SEM做广告投放</p>
<h3 id="Situation-5"><a href="#Situation-5" class="headerlink" title="Situation"></a>Situation</h3><p>原MKT SEM离职，老板希望重新整理BiddingX品牌的SEM&amp;DSP投放，通过数据化运营优化后吸引客户注册</p>
<h3 id="Task-4"><a href="#Task-4" class="headerlink" title="Task"></a>Task</h3><p>负责BiddingX品牌的SEM&amp; DSP营销，调整关键词和campaign，优化后吸引客户注册</p>
<h3 id="Action-5"><a href="#Action-5" class="headerlink" title="Action"></a>Action</h3><ul>
<li>整合Site Tracking和PDMP重定向目标人群</li>
<li>利用数据可视化展现工作成果</li>
</ul>
<h3 id="Result-4"><a href="#Result-4" class="headerlink" title="Result"></a>Result</h3><ul>
<li>日均消费提高400%（700–&gt;3000)</li>
<li>点击率提升100%(0.3%–&gt;0.7%)</li>
<li>展示量提升100%<br><img src="/PRD_deployment/SEM/SEM.png" alt="SEM"></li>
</ul>
<h2 id="有赞商城DSP推广"><a href="#有赞商城DSP推广" class="headerlink" title="有赞商城DSP推广"></a>有赞商城DSP推广</h2><h3 id="Situation-6"><a href="#Situation-6" class="headerlink" title="Situation"></a>Situation</h3><p>电商APP推广，为了开拓电商客户，有赞是2015年重点客户之一。通过使用包括Banner创意和视频创意在内，尝试引导网页流量转化为APP激活，用于探索PC往APP转化路径。</p>
<h3 id="Task-5"><a href="#Task-5" class="headerlink" title="Task"></a>Task</h3><ul>
<li>通过投放优化，满足客户CPA需求</li>
<li>尝试引导网页流量转化为APP激活 </li>
</ul>
<h3 id="Action-6"><a href="#Action-6" class="headerlink" title="Action"></a>Action</h3><ul>
<li>通过业务分析，制定投放策略<ul>
<li>受众分析</li>
<li>选择媒体</li>
<li>不断建立测试campaign&amp; 调整优化创意、落地页、定向条件</li>
<li>整合第三方DMP数据到DSP进行目标人群重定向</li>
</ul>
</li>
<li>获取激活数据用于优化<ul>
<li>对接第三方监测平台，通过S2S scheme获取激活数据<br><img src="/PRD_deployment/S2S_scheme/S2S_scheme.jpg" alt="S2S scheme"></li>
<li>在PC端缺乏数据回传机制后，改方向投放</li>
</ul>
</li>
<li>使用项目管理平台（tower.im）协调优化师与开发资源</li>
</ul>
<h3 id="Result-5"><a href="#Result-5" class="headerlink" title="Result"></a>Result</h3><p>优化后，Android端正常投放并达到客户CPA要求。</p>
<h2 id="移动SSP-iOS-SDK第一版"><a href="#移动SSP-iOS-SDK第一版" class="headerlink" title="移动SSP_iOS_SDK第一版"></a>移动SSP_iOS_SDK第一版</h2><h3 id="Situation-7"><a href="#Situation-7" class="headerlink" title="Situation"></a>Situation</h3><p>DSP发展到一个阶段，意识到媒体是广告市场的竞争力所在，需要拓展自有的核心视频&amp; 信息流资源。商务团队已经有几个目标客户拓展中，有其紧急性，但与此同时，SSP开发团队项目由于需求持续变更，无法迭代。老板需要两周内完成完成第一版，后续迭代。</p>
<h3 id="Task-Result-1"><a href="#Task-Result-1" class="headerlink" title="Task/Result"></a>Task/Result</h3><p>保证移动SSP iOS SDK第一版两周内上线（老板deadline）</p>
<h3 id="Action-7"><a href="#Action-7" class="headerlink" title="Action"></a>Action</h3><ul>
<li>通过SSP PM不进行次要需求的开发（只保留关键指标：展示量&amp; 收入 的统计和测试）</li>
<li>保证BD团队和开发团队沟通，确保上线日期</li>
</ul>
<hr>
<h1 id="唯品会-数据产品经理"><a href="#唯品会-数据产品经理" class="headerlink" title="唯品会-数据产品经理"></a>唯品会-数据产品经理</h1><p>向BI(一级部门)/数据产品（二级部门）高级经理汇报。<br>数据分析产品化。涉及数据产品的主要流程，从PRD文档、到产品的UI设计，以及跨系统的产品整合，甚至部分ETL，黑白盒数据测试和项目管理工作。</p>
<ol>
<li>负责面向管理层的APP数据产品, 产品化常规的运营分析流程，支持决策；</li>
<li>接手旧产品，并根据管理层反馈做快速迭代；</li>
<li>参与创新APP项目，如， 我是妈咪 （ 母婴闪购电商）和 hey!购物 （基于库存的个性化推荐APP）;</li>
</ol>
<h2 id="总裁看板"><a href="#总裁看板" class="headerlink" title="总裁看板"></a>总裁看板</h2><h3 id="Situation-8"><a href="#Situation-8" class="headerlink" title="Situation"></a>Situation</h3><p>利用Oracle BIEE实现销售、流量业务的数据报表化，管理层通过每日邮件方式了解业务运营。原“总裁看板”产品经理离职，作为“总裁看板”第二任产品经理接手该项目。也是作为“数据产品经理”后，第一个接手负责的产品/项目。由于ETL开发人员紧张，也参与部分ETL开发工作（熟悉业务&amp;具备独立分析能力）。</p>
<h3 id="Task-6"><a href="#Task-6" class="headerlink" title="Task"></a>Task</h3><ul>
<li>保证产品数据正确&amp; 稳定运行，及时处理脏数据&amp; fix bug</li>
<li>结合新业务进行产品迭代，通过数据向管理层传递最新业务的现状</li>
<li>对管理层提出的运营问题快速反馈（具备分析师经验）&amp; 迅速响应新需求</li>
</ul>
<h3 id="Action-8"><a href="#Action-8" class="headerlink" title="Action"></a>Action</h3><ul>
<li>了解产品开发/上线流程</li>
<li>了解产品指标体系&amp;统计口径，对比常规分析报告与差异，预判可能出现的问题</li>
</ul>
<h3 id="Result-6"><a href="#Result-6" class="headerlink" title="Result"></a>Result</h3><p>顺利接手旧系统，并对管理层需求快速反馈。（5天内）</p>
<ul>
<li>针对数据中的问题提供分析报告</li>
<li>根据业务变化进行ETL工作</li>
<li>协调资源保证产品按时上线</li>
</ul>
<h2 id="创新APP项目"><a href="#创新APP项目" class="headerlink" title="创新APP项目"></a>创新APP项目</h2><h3 id="Situation-Result-1"><a href="#Situation-Result-1" class="headerlink" title="Situation/Result"></a>Situation/Result</h3><p>唯品会执行多APP战略，要求基于目前的业务系统孵化新业务APP。BI部门也需要参与到业务运营，承担KPI，真正做到数据驱动业务（业绩）。包括“我是妈咪”（母婴特卖垂直领域电商APP）和“hey!购物”（基于库存的个性化推荐APP）。<br>由于对接品牌部门和市场部门业务分析，对推广业务熟悉。</p>
<ul>
<li>负责整合旧系统的推广、渠道、账户业务逻辑到新app。</li>
<li>负责H5推广活动页产品实现，通过微博、微信渠道吸引新用户</li>
<li>功能测试和数据埋点</li>
</ul>
<h3 id="Task-7"><a href="#Task-7" class="headerlink" title="Task"></a>Task</h3><ul>
<li>对接优惠系统、渠道推广系统到“我是妈咪”（母婴特卖垂直领域电商APP）</li>
<li>“我是妈咪”（母婴特卖垂直领域电商APP）部分购物车相关、用户中心（profile）相关设计和系统对接</li>
<li>对微信HTML5推广需求出设计方案&amp;数据追踪方案</li>
<li>接手&amp; 跟进 “hey!购物”（基于库存的个性化推荐APP）的 数据埋点&amp;负责用户中心（profile）相关功能测试用例</li>
</ul>
<h3 id="Action-9"><a href="#Action-9" class="headerlink" title="Action"></a>Action</h3><ul>
<li>了解旧系统业务逻辑，出产品设计&amp;跟进项目进度</li>
<li>了解需求细节</li>
</ul>
<h2 id="移动司南"><a href="#移动司南" class="headerlink" title="移动司南"></a>移动司南</h2><p><a href="/PRD_deployment/移动司南/index.html">PRD</a></p>
<h3 id="Situation-Result-2"><a href="#Situation-Result-2" class="headerlink" title="Situation/Result"></a>Situation/Result</h3><ol>
<li>面向对象是CXO level的管理层，数据需求主要是对经营profile的了解。</li>
<li>当时部门要求pitch老板资源的，因此，对高保真要求高于详细文档要求。当时目标是成为独立事业部，开发和设计资源都很少，能够用口头沟通代替部分文字表达。</li>
<li>这是第一份偏设计的PRD，而且要求（尽量）高保真，有问题，但不影响展示（主要根据手机屏幕大小做了取舍）<br>全面负责面向管理层的移动端分析产品，包括产品设计，数据探索和数据可视化。</li>
</ol>
<h3 id="Task-8"><a href="#Task-8" class="headerlink" title="Task"></a>Task</h3><p>基于PC端产品，根据移动端特性取舍，做移动端数据产品设计</p>
<h3 id="Action-10"><a href="#Action-10" class="headerlink" title="Action"></a>Action</h3><ul>
<li>阅读iOS&amp;Android设计指南</li>
<li>数据探索设计是否合理（指标范围，实际数据展现，分析角度，计算精度）</li>
<li>尽快提交设计获取反馈进行迭代</li>
</ul>
<p><a href="http://wiki.jikexueyuan.com/project/material-design/" target="_blank" rel="external">Android中文</a><br><a href="http://www.google.com/design/spec/material-design/" target="_blank" rel="external">Material Design</a><br><a href="https://isux.tencent.com/ios8-human-interface-guidelines.html" target="_blank" rel="external">iOS8人机界面指南</a><br><a href="https://developer.apple.com/ios/human-interface-guidelines/overview/design-principles/" target="_blank" rel="external">Human Interface Guidelines</a></p>
<h2 id="唯品司南"><a href="#唯品司南" class="headerlink" title="唯品司南"></a>唯品司南</h2><h3 id="Situation-Result-3"><a href="#Situation-Result-3" class="headerlink" title="Situation/Result"></a>Situation/Result</h3><p>作为功能性产品经理，参与到品牌、档期、品类维度的分析产品中去<br>为品牌销售和区域销售提供数据决策的可视化产品。对常规化的分析进行ETL后，利用high-chart，e-chart框架展现，包括档期分析，退拒分析等。获得管理层高度认可。一期参与到后期数据验证，负责黑白盒数据测试&amp;验证，确保数据正确性。二期作为功能性产品经理，参与到品类分析、品牌分析的产品规划。并对数据可视化提供UE建议。</p>
<h3 id="Task-9"><a href="#Task-9" class="headerlink" title="Task"></a>Task</h3><ul>
<li>了解产品指标体系&amp;统计口径，对数据进行黑盒测试，找出常规分析报告差异</li>
<li>作为功能性产品经理，参与到品类分析、品牌分析的产品规划。并对数据可视化提供UE建议。</li>
</ul>
<h3 id="Action-11"><a href="#Action-11" class="headerlink" title="Action"></a>Action</h3><ul>
<li>数据探索&amp;分析</li>
<li>和商务运营沟通</li>
<li>了解数据口径</li>
<li>分析产品，具体看什么指标，怎么看？具体如何同比，如何环比。</li>
</ul>
<h2 id="唯品经纬"><a href="#唯品经纬" class="headerlink" title="唯品经纬"></a>唯品经纬</h2><h3 id="Situation-Result-4"><a href="#Situation-Result-4" class="headerlink" title="Situation/Result"></a>Situation/Result</h3><p>“唯品经纬”属于创新项目，希望通过利用订单地址数据，挖掘客户有价值的人口统计学信息&amp; 进行职业信息分析，并根据这些信息找到营销切入点，实现的业务可视化，为市场进行地面推广提供支持。对唯品经纬数据部分进行黑盒测试。由于ETL离职，作为ETL开发参与到白盒测试，保证数据正确性。</p>
<h3 id="Task-10"><a href="#Task-10" class="headerlink" title="Task"></a>Task</h3><ul>
<li>了解产品指标体系&amp;统计口径，对数据进行黑盒测试，找出常规分析报告差异</li>
<li>作为ETL，协助指标体系口径一致</li>
</ul>
<h3 id="Action-12"><a href="#Action-12" class="headerlink" title="Action"></a>Action</h3><ul>
<li>确认项目边界</li>
<li>白盒子口径检验</li>
<li>设计数据测试方案</li>
<li>确认项目便捷</li>
</ul>
<hr>
<h1 id="唯品会-数据分析师"><a href="#唯品会-数据分析师" class="headerlink" title="唯品会-数据分析师"></a>唯品会-数据分析师</h1><p>先后向BI(一级部门)/运营分析（二级部门）经理、主管汇报。<br>作为运营分析组一员，每周提供运营分析以及日常快捷反馈到总裁会，并根据反馈进行运营层面的分析建议。<br>负责市场运营方面日常分析：</p>
<ol>
<li>广告投放&amp;渠道：为衡量渠道价值进行资源分配而构造归因模型；</li>
<li>促销组合：不同促销形式的效果&amp;组合分析，并形成报表系统；</li>
<li>财务：市场费用的构成分析；</li>
</ol>
<h2 id="微信特卖"><a href="#微信特卖" class="headerlink" title="微信特卖"></a>微信特卖</h2><h3 id="Situation-Result-5"><a href="#Situation-Result-5" class="headerlink" title="Situation/Result"></a>Situation/Result</h3><p>100%对微信商城的BI分析负责，形成虚拟团队向品牌副总裁汇报。利用微信公众号，在微信端进行销售。</p>
<h3 id="Task-11"><a href="#Task-11" class="headerlink" title="Task"></a>Task</h3><p>100％support微信商城销售</p>
<ul>
<li>每周提供微信数据周报以及数据分析</li>
<li>对微信常态分析产品化</li>
<li>建议微信端代金券全场使用，促进跨品牌销售；</li>
</ul>
<h3 id="Action-13"><a href="#Action-13" class="headerlink" title="Action"></a>Action</h3><ul>
<li>了解底层仓库表&amp;申请权限</li>
<li>提供业务报表</li>
<li>和大数据部门沟通，形成微信报表产品</li>
</ul>
<h2 id="归因模型"><a href="#归因模型" class="headerlink" title="归因模型"></a>归因模型</h2><h3 id="Situation-Result-6"><a href="#Situation-Result-6" class="headerlink" title="Situation/Result"></a>Situation/Result</h3><p>独立分析项目。确认定岗BI部门后，参与到BI对市场部的跨渠道归因模型项目中，探索跨投放与销售的因果关系。利用归因（助攻模型）模型衡量渠道贡献价值，尝试利用图论实现可视化，提供业务决策支持。</p>
<h3 id="Task-12"><a href="#Task-12" class="headerlink" title="Task"></a>Task</h3><h3 id="Action-14"><a href="#Action-14" class="headerlink" title="Action"></a>Action</h3><h1 id="其它"><a href="#其它" class="headerlink" title="其它"></a>其它</h1><h2 id="电子商务代运营"><a href="#电子商务代运营" class="headerlink" title="电子商务代运营"></a>电子商务代运营</h2><h3 id="Situation-9"><a href="#Situation-9" class="headerlink" title="Situation"></a>Situation</h3><p>大二参与到电商创业团队，当时天猫（淘宝商城）刚成立，全网都有流量、运营资源倾斜，从高利润品类切入（化妆品），做到50w/m销售业绩</p>
<h3 id="Task-13"><a href="#Task-13" class="headerlink" title="Task"></a>Task</h3><p>确认推广目标，参与淘店运营</p>
<h3 id="Action-15"><a href="#Action-15" class="headerlink" title="Action"></a>Action</h3><ul>
<li>微博运营活动策划，目标设定，拉去资源，淘店引流</li>
<li>校园活动策划与执行</li>
</ul>
<h3 id="Result-7"><a href="#Result-7" class="headerlink" title="Result"></a>Result</h3><p>50w/m销售业绩</p>
<p>PS：<br>工作中，探索的部分比较多，受限于资源和信息不对称，自己发起的商业化产品较少<br>但尝试发起并运营内部的项目管理产品 - wiki &amp; jira &amp; Gitbook</p>
<p>由于舜飞是starup，以及作为agent的特殊性，这边的工作比较少考虑完整的测试用例覆盖，工作中缺乏完整的联调环境和测试环境，广告投放正式环境和联调环境本质还是有差距的。这是由于：</p>
<ul>
<li>自身无法控制对方环境的完整性</li>
<li>广告市场的极度长尾化与信息不对称的资源割据</li>
<li>更多通过线上测试以及快速回归（出价和统计都比较难覆盖）</li>
</ul>
<p>舜飞有明确的规章制度把产品技术和商务区隔开，我无法得知整个投放涉及的预算，但后续第二第三波投放都主要由我对接，投放没有出现大问题，基本按进度上线</p>
]]></content>
    
    <summary type="html">
    
      &lt;h1 id=&quot;Summary&quot;&gt;&lt;a href=&quot;#Summary&quot; class=&quot;headerlink&quot; title=&quot;Summary&quot;&gt;&lt;/a&gt;Summary&lt;/h1&gt;&lt;p&gt;偏好数据技术&amp;amp;后端技术技术栈积累，希望充当一个能做产品需求分析、设计&amp;amp;项目管理的Program Manager。&lt;br&gt;本文档的主要是对每个经手项目做详细的S（Situation）T（Task）A（Action）R（Result）分析&lt;br&gt;
    
    </summary>
    
    
  </entry>
  
  <entry>
    <title>《深入理解计算机操作系统》-chapter 7 链接  Memo</title>
    <link href="check_hexo_config_url/2016/10/27/%E3%80%8A%E6%B7%B1%E5%85%A5%E7%90%86%E8%A7%A3%E8%AE%A1%E7%AE%97%E6%9C%BA%E6%93%8D%E4%BD%9C%E7%B3%BB%E7%BB%9F%E3%80%8B-chapter-7-%E9%93%BE%E6%8E%A5-Memo/"/>
    <id>check_hexo_config_url/2016/10/27/《深入理解计算机操作系统》-chapter-7-链接-Memo/</id>
    <published>2016-10-27T00:24:35.000Z</published>
    <updated>2016-12-08T01:23:39.000Z</updated>
    
    <content type="html"><![CDATA[<a id="more"></a>
<p>链接可在编译（compile-time）、加载（load-time）或运行（run-time）时执行。</p>
<p>顺序：<br>语言预处理器–&gt;编译器–&gt;汇编器–&gt;链接器</p>
<p>###静态链接<br>输入：可重定位的目标文件（object file），命令行参数<br>输出：可执行的目标文件</p>
<blockquote>
<p>输入的可重定位目标文件由各种不同的代码和数据节（section）组成。指令在一个节中，初始化的全局变量在另一个节中，而未初始化的变量又在另外一个节中。</p>
</blockquote>
<p>.pyx–&gt;.c–&gt;.o/.so</p>
]]></content>
    
    <summary type="html">
    
      &lt;a id=&quot;more&quot;&gt;&lt;/a&gt;
&lt;p&gt;链接可在编译（compile-time）、加载（load-time）或运行（run-time）时执行。&lt;/p&gt;
&lt;p&gt;顺序：&lt;br&gt;语言预处理器–&amp;gt;编译器–&amp;gt;汇编器–&amp;gt;链接器&lt;/p&gt;
&lt;p&gt;###静态链接&lt;br&gt;输入：可
    
    </summary>
    
    
  </entry>
  
  <entry>
    <title>【译】快速开始Jupyter Notebook</title>
    <link href="check_hexo_config_url/2016/10/12/%E3%80%90%E8%AF%91%E3%80%91%E5%BF%AB%E9%80%9F%E5%BC%80%E5%A7%8BJupyter%20Notebook/"/>
    <id>check_hexo_config_url/2016/10/12/【译】快速开始Jupyter Notebook/</id>
    <published>2016-10-12T03:08:00.000Z</published>
    <updated>2016-12-08T02:40:12.000Z</updated>
    
    <content type="html"><![CDATA[<p><a href="http://nbviewer.jupyter.org/github/ipython/ipython/blob/3.x/examples/Notebook/Index.ipynb" target="_blank" rel="external">#reference-Jupyter Notebook </a><br><a id="more"></a></p>
<p>If you would like to learn more about the specific elements within the Notebook Editor, you can go through the User Interface Tour by selecting Help in the menubar then selecting User Interface Tour.</p>
<p>（<a href="http://jupyter-notebook.readthedocs.io/en/latest/ui_components.html）" target="_blank" rel="external">http://jupyter-notebook.readthedocs.io/en/latest/ui_components.html）</a></p>
]]></content>
    
    <summary type="html">
    
      &lt;p&gt;&lt;a href=&quot;http://nbviewer.jupyter.org/github/ipython/ipython/blob/3.x/examples/Notebook/Index.ipynb&quot;&gt;#reference-Jupyter Notebook &lt;/a&gt;&lt;br&gt;
    
    </summary>
    
    
  </entry>
  
  <entry>
    <title>计算机网络观测</title>
    <link href="check_hexo_config_url/2016/10/10/%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%BD%91%E7%BB%9C%E8%A7%82%E6%B5%8B/"/>
    <id>check_hexo_config_url/2016/10/10/计算机网络观测/</id>
    <published>2016-10-10T00:39:17.000Z</published>
    <updated>2016-12-09T12:40:02.000Z</updated>
    
    <content type="html"><![CDATA[<h1 id="Summary"><a href="#Summary" class="headerlink" title="Summary"></a>Summary</h1><p><code>104.128.92.224</code>和<code>119.29.198.230</code>是两台独立服务器（VPS），其中，<code>104.128.92.224</code>位于Los Angeles，<code>119.29.198.230</code>位于广州。通过对它们的网络行为进行监控，对比他们收取到回复的差异，确认GFW的特殊价值并探索计算机应用层协议的原理与细节。（本文以<code>LA服务器</code>和<code>广州服务器</code>分别指代）<br>本文主要参考<a href="http://drops.wooyun.org/papers/10177" target="_blank" rel="external">翻墙路由器的原理与实现</a>来探索<strong>计算机网络</strong>（主要是应用层），并对探索过程中遇到的问题做简单记录，遇到问题涉及<strong>计算机操作系统</strong>、<strong>编译原理</strong>的部分知识。</p>
<a id="more"></a>
<p><a href="http://ip.cn/index.php?ip=104.128.92.224" target="_blank" rel="external">#reference-104.128.92.224的IP地址</a><br><a href="http://ip.cn/index.php?ip=119.29.198.230" target="_blank" rel="external">#reference-119.29.198.230的IP地址</a><br> <a href="/2016/10/06/%E3%80%90%E8%BD%AC%E3%80%91%E7%BF%BB%E5%A2%99%E8%B7%AF%E7%94%B1%E5%99%A8%E7%9A%84%E5%8E%9F%E7%90%86%E4%B8%8E%E5%AE%9E%E7%8E%B0/">#reference-【转】翻墙路由器的原理与实现</a></p>
<p> #reference- 操作系统的差异，Ubuntu<br> <a href="https://pypi.python.org/pypi/NetfilterQueue" target="_blank" rel="external">#reference-netfilterqueue文档</a></p>
<h1 id="工具"><a href="#工具" class="headerlink" title="工具"></a>工具</h1><h2 id="NetfilterQueue"><a href="#NetfilterQueue" class="headerlink" title="NetfilterQueue"></a>NetfilterQueue</h2><p>我们主要利用<a href="https://github.com/kti/python-netfilterqueue" target="_blank" rel="external">NetfilterQueue</a>进行计算机网络的观测，这是Libnetfilter_queue的python实现，Libnetfilter_queue是<a href="http://netfilter.org/projects/libnetfilter_queue/" target="_blank" rel="external">Netfilter project</a>的一部分。<br>Linux下，NetfilterQueue允许用户访问符合iptables规则的IP包。iptables也是Netfilter project的一部分，理解成一张用于保存IP包转发规则的table就好，主要用于防火墙。利用这套规则，计算机可以接受、丢弃，改变（转发）和标记IP包。</p>
<p>###升级apt-get<br>更新资源并升级：</p>
<blockquote>
<p>\$ sudo apt-get update &amp;&amp; sudo apt-get upgrad</p>
</blockquote>
<p><a href="http://blog.csdn.net/ai_net/article/details/7710324" target="_blank" rel="external">http://blog.csdn.net/ai_net/article/details/7710324</a></p>
<h3 id="安装"><a href="#安装" class="headerlink" title="安装"></a>安装</h3><p>NetfilterQueue有依赖，不细心的童鞋会走弯路（例如我T_T）</p>
<blockquote>
<p>sudo apt-get install build-essential python-dev libnetfilter-queue-dev # 系统依赖<br>sudo pip install NetfilterQueue # NetfilterQueue安装</p>
</blockquote>
<h4 id="安装过程中可能遇到的问题"><a href="#安装过程中可能遇到的问题" class="headerlink" title="安装过程中可能遇到的问题"></a>安装过程中可能遇到的问题</h4><p>未安装gcc，无法编译。显示：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div></pre></td><td class="code"><pre><div class="line">unable to execute &apos;gcc&apos;: No such file or directory</div><div class="line">error: Setup script exited with error: command &apos;gcc&apos; failed with exit status 1</div></pre></td></tr></table></figure>
<p>安装gcc</p>
<blockquote>
<p> \$ sudo apt-get install gcc</p>
</blockquote>
<h2 id="pip"><a href="#pip" class="headerlink" title="pip"></a>pip</h2><p>pip是python下包管理工具。主要用于安装和管理python包，和easy_install类似。</p>
<h3 id="Install-amp-Update-amp-Upgrade"><a href="#Install-amp-Update-amp-Upgrade" class="headerlink" title="Install&amp; Update&amp; Upgrade"></a>Install&amp; Update&amp; Upgrade</h3><p>不正确地安装会有问题。</p>
<blockquote>
<p> \$ sudo apt-get install python-pip</p>
</blockquote>
<p><a href="http://www.saltycrane.com/blog/2010/02/how-install-pip-ubuntu/" target="_blank" rel="external">#reference-How to install pip on Ubuntu</a><br><a href="https://pip.pypa.io/en/stable/installing/" target="_blank" rel="external">#reference-Doc_installing</a><br><a href="http://www.cnblogs.com/PandaBamboo/p/3180568.html" target="_blank" rel="external">#reference-easy_install进行模块/包管理</a><br><a href="http://askubuntu.com/questions/91815/how-to-install-software-or-upgrade-from-an-old-unsupported-release" target="_blank" rel="external">#reference-How to install software or upgrade from an old unsupported release</a></p>
<h2 id="dpkt"><a href="#dpkt" class="headerlink" title="dpkt"></a>dpkt</h2><blockquote>
<p> \$ sudo pip install dpkt</p>
</blockquote>
<h2 id="Bind-dig"><a href="#Bind-dig" class="headerlink" title="Bind-dig"></a>Bind-dig</h2><p>dig 命令全称Domain Information Groper，系统自带，观测过程中需要用到的主要命令。<br><a href="https://www.isc.org/downloads/bind/" target="_blank" rel="external">#reference-Internet System Consortium-BIND</a><br><a href="http://askubuntu.com/questions/25098/how-do-i-install-dig" target="_blank" rel="external">#reference-How do I install dig</a><br><a href="http://www.nowtaxes.com.tw/node/1114" target="_blank" rel="external">#reference-使用 Ubuntu 安裝 Bind9: Domain Name Service (DNS)
</a></p>
<h1 id="计算机网络观测"><a href="#计算机网络观测" class="headerlink" title="计算机网络观测"></a>计算机网络观测</h1><h2 id="DNS劫持观测"><a href="#DNS劫持观测" class="headerlink" title="DNS劫持观测"></a>DNS劫持观测</h2><p>广州服务器：</p>
<blockquote>
<p>$ dig @8.8.8.8 twitter.com</p>
<p>; &lt;&lt;&gt;&gt; DiG 9.8.3-P1 &lt;&lt;&gt;&gt; @8.8.8.8 twitter.com<br>; (1 server found)<br>;; global options: +cmd<br>;; Got answer:<br>;; -&gt;&gt;HEADER&lt;&lt;- opcode: QUERY, status: NOERROR, id: 45740<br>;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 0</p>
<p>;; QUESTION SECTION:<br>;twitter.com.            IN    A</p>
<p>;; ANSWER SECTION:<br>twitter.com.        60    IN    A    243.185.187.39</p>
<p>;; Query time: 112 msec<br>;; SERVER: 8.8.8.8#53(8.8.8.8)<br>;; WHEN: Sat Oct 15 13:07:17 2016<br>;; MSG SIZE  rcvd: 45</p>
</blockquote>
<p><img src="http://of2r0f294.bkt.clouddn.com/20161015-%E8%BF%94%E5%9B%9E%E9%94%99%E8%AF%AFIP_ID" alt="返回错误IP"></p>
<p>; &lt;&lt;&gt;&gt; DiG 9.10.3-P4-Ubuntu &lt;&lt;&gt;&gt; @8.8.8.8 twitter<br>; (1 server found)<br>;; global options: +cmd<br>;; Got answer:<br>;; -&gt;&gt;HEADER&lt;&lt;- opcode: QUERY, status: NXDOMAIN, id: 55863<br>;; flags: qr rd ra ad; QUERY: 1, ANSWER: 0, AUTHORITY: 1, ADDITIONAL: 1</p>
<p>;; OPT PSEUDOSECTION:<br>; EDNS: version: 0, flags:; udp: 512<br>;; QUESTION SECTION:<br>;twitter.            IN    A</p>
<p>;; AUTHORITY SECTION:<br>.            81741    IN    SOA    a.root-servers.net. nstld.verisign-grs.com. 2016110901 1800 900 604800 86400</p>
<p>;; Query time: 25 msec<br>;; SERVER: 8.8.8.8#53(8.8.8.8)<br>;; WHEN: Wed Nov 09 21:01:40 EST 2016<br>;; MSG SIZE  rcvd: 111<br>显然，返回的IP地址错误。</p>
<h2 id="安装apt-get-install-…"><a href="#安装apt-get-install-…" class="headerlink" title="安装apt-get install …"></a>安装apt-get install …</h2><p><a href="http://askubuntu.com/questions/91815/how-to-install-software-or-upgrade-from-an-old-unsupported-release" target="_blank" rel="external">http://askubuntu.com/questions/91815/how-to-install-software-or-upgrade-from-an-old-unsupported-release</a></p>
<p>sudo 权限下完成</p>
<p>(#4。 有依赖)<br><a href="https://pypi.python.org/pypi/NetfilterQueue" target="_blank" rel="external">https://pypi.python.org/pypi/NetfilterQueue</a></p>
<blockquote>
<p>\$ sudo apt-get install build-essential python-dev libnetfilter-queue-dev</p>
</blockquote>
<p>&amp;&amp;<br>sudo apt-get install python-pip</p>
<blockquote>
<p>sudo pip install NetfilterQueue<br>sudo pip install dpkt</p>
</blockquote>
<p>#开始观测</p>
<blockquote>
<p>mkdir computer_network_observe<br>cd computer_network_observe</p>
</blockquote>
<h1 id="遇到的问题"><a href="#遇到的问题" class="headerlink" title="遇到的问题"></a>遇到的问题</h1><p> 操作系统&amp;编译原理</p>
<p>执行<code>from netfilterqueue import NetfilterQueue</code>遇到编译错误<br><figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div></pre></td><td class="code"><pre><div class="line">ImportError: /usr/local/lib/python2.6/dist-packages/netfilterqueue.so: undefined symbol: nfq_set_verdict2</div></pre></td></tr></table></figure></p>
<p>网络上并没有现成的信息解决该问题，简单记录下解决该问题的详细思路。<br>#reference-详细错误信息：</p>
<ul>
<li><a href="https://github.com/kti/python-netfilterqueue/issues/16" target="_blank" rel="external">ImportError: /usr/local/lib/python2.6/dist-packages/netfilterqueue.so: undefined symbol: nfq_set_verdict2 #16</a></li>
<li><a href="http://stackoverflow.com/questions/40229918/netfilterqueue-importing-makes-compile-error" target="_blank" rel="external">netfilterqueue importing makes compile error</a></li>
</ul>
<p><a href="http://linuxtools-rst.readthedocs.io/zh_CN/latest/tool/nm.html" target="_blank" rel="external">#reference-nm 目标文件格式分析</a><br><a href="http://man.linuxde.net/ldd]http://man.linuxde.net/ldd" target="_blank" rel="external">#reference-ldd ldd命令</a><br><a href="http://tieba.baidu.com/p/315634750" target="_blank" rel="external">#reference-Linux Shell脚本Ldd命令原理使用方法</a><br><a href="http://blog.csdn.net/tenfyguo/article/details/5605120" target="_blank" rel="external">#reference-浅析ldd命令</a></p>
<h2 id="定义问题"><a href="#定义问题" class="headerlink" title="定义问题"></a>定义问题</h2><p>尝试理解错误信息，问题的是<code>netfilterqueue.so</code>有未定义的符号<code>nfq_set_verdict2</code>，而<code>.so</code>文件是编译的中间过程文件。<code>so</code> stands for <code>shared object</code>。</p>
<p>链接可在编译（compile-time）、加载（load-time）或运行（run-time）时执行。<br>顺序：<br><img src="/diagrams/计算机网络观测-diagram-0.png" alt=""><br>标准的编译过程是基于脚本时利用cpp撰写的：<br><img src="http://of2r0f294.bkt.clouddn.com/20161107-%E4%BB%A3%E7%A0%81%E7%BC%96%E8%AF%91%E8%BF%87%E7%A8%8B%E5%88%86%E4%B8%BA%E7%BC%96%E8%AF%91%E5%92%8C%E9%93%BE%E6%8E%A5%E4%B8%A4%E4%B8%AA%E8%BF%87%E7%A8%8B_ID" alt="代码编译过程分为编译和链接两个过程"><br><img src="http://of2r0f294.bkt.clouddn.com/20161107-%E7%BC%96%E8%AF%91%E8%BF%87%E7%A8%8B%E4%B8%8E%E6%96%87%E4%BB%B6_ID" alt="编译过程与文件"><br><img src="http://of2r0f294.bkt.clouddn.com/20161107-%E7%BC%96%E8%AF%91%E8%BF%87%E7%A8%8B_ID" alt="编译过程"><br><a href="http://7905648.blog.51cto.com/7895648/1297255#0-tsina-1-7558-397232819ff9a47a7b7e80a40613cfe1" target="_blank" rel="external">#reference-C语言的编译链接过程详解</a><br><a href="http://lxwei.github.io/posts/262.html" target="_blank" rel="external">#reference-从源代码到可执行文件全过程</a><br>当脚本来自python：<br>可以利用python库，通过”.pyx”文件生成c，最后编译为机器码（二进制）<br>Python<a href="http://gashero.iteye.com/blog/649516" target="_blank" rel="external">Cython应用手记</a></p>
<p>##静态链接<br>输入：可重定位的目标文件（object file），命令行参数<br>输出：可执行的目标文件</p>
<blockquote>
<p>输入的可重定位目标文件由各种不同的代码和数据节（section）组成。指令在一个节中，初始化的全局变量在另一个节中，而未初始化的变量又在另外一个节中。<br><img src="/diagrams/计算机网络观测-diagram-1.png" alt=""><br>我们查看<a href="https://github.com/kti/python-netfilterqueue" target="_blank" rel="external">NetfilterQueue</a>的文件和步骤发现，”.c”,”.pxd”,”.pyx”主要用于编译NetfilterQueue，因此问题应该主要来自对系统的依赖文件。<br>对系统的依赖主要是这些：</p>
<p>NetfilterQueue is a C extention module that links against libnetfilter_queue. Before installing, ensure you have:</p>
<ul>
<li>A C compiler</li>
<li>Python development files</li>
<li>Libnetfilter_queue development files and associated dependencies</li>
</ul>
<p>On Debian or Ubuntu, install these files with:</p>
<p><code>apt-get install build-essential python-dev libnetfilter-queue-dev</code></p>
</blockquote>
<p>由于.c是由.pyx生成的，.pxd定义了函数模版<br>查看<a href="https://github.com/kti/python-netfilterqueue/blob/master/netfilterqueue.pyx" target="_blank" rel="external">.pyx</a> 文件中可以发现<code>nfq_set_verdict2</code>从未被定义，即，它主要来自其它头文件（.h）的include，<a href="https://github.com/kti/python-netfilterqueue/blob/master/netfilterqueue.pxd" target="_blank" rel="external">.pxd</a><br> 发现该变量来自<code>cdef extern from &quot;libnetfilter_queue/libnetfilter_queue.h&quot;:</code></p>
<p>怀疑是由于是开源项目，内核版本的升级过程也将一些类库升级，却不能向前兼容。于是，升级内核libnetfilter_queue版本。<br>参考<a href="http://chyeh.logdown.com/posts/91924-libnefilter-queueqi-bu-zou" target="_blank" rel="external">libnefilter-queue起步走</a>，下载最新的对应项目</p>
<ul>
<li>libmnl-1.0.4</li>
<li>libnetfilter_queue-1.0.2</li>
<li>libnfnetlink-1.0.1</li>
</ul>
<p>下载相关项目：</p>
<blockquote>
<p>\$ wget <a href="http://netfilter.org/projects/libmnl/files/libmnl-1.0.4.tar.bz2" target="_blank" rel="external">http://netfilter.org/projects/libmnl/files/libmnl-1.0.4.tar.bz2</a><br>\$ wget <a href="http://netfilter.org/projects/libnetfilter_queue/files/libnetfilter_queue-1.0.2.tar.bz2" target="_blank" rel="external">http://netfilter.org/projects/libnetfilter_queue/files/libnetfilter_queue-1.0.2.tar.bz2</a><br>\$  wget <a href="http://netfilter.org/projects/libnfnetlink/files/libnfnetlink-1.0.1.tar.bz2" target="_blank" rel="external">http://netfilter.org/projects/libnfnetlink/files/libnfnetlink-1.0.1.tar.bz2</a></p>
</blockquote>
<p>按顺序执行安装</p>
<ul>
<li><p>libmnl-1.0.4</p>
<blockquote>
<p>\$ tar -jxvf libmnl-1.0.4.tar.bz2<br>\$ cd libmnl-1.0.4/<br>\$  ./configure<br>\$  make<br>\$  sudo make install  </p>
</blockquote>
</li>
<li><p>libnetfilter_queue-1.0.2</p>
<blockquote>
<p>\$ tar -jxvf libnetfilter_queue-1.0.2.tar.bz2<br>\$ cd libnetfilter_queue-1.0.2/<br>\$  ./configure<br>\$  make<br>\$  sudo make install  </p>
</blockquote>
</li>
<li><p>libnfnetlink-1.0.1</p>
<blockquote>
<p>\$ tar -jxvf libnfnetlink-1.0.1.tar.bz2<br>\$ cd libnfnetlink-1.0.1/<br>\$  ./configure<br>\$  make<br>\$  sudo make install  </p>
</blockquote>
</li>
</ul>
<p>安装完依旧是不生效的。那么计算机是如何找到这个运行时的文件夹就很关键了。<br>参考<a href="http://www.voidcn.com/blog/tqtuuuu/article/p-3700026.html" target="_blank" rel="external">libnetfilter_queue setup(安装向导)</a>和<a href="http://blog.sina.com.cn/s/blog_4b3bae23010081fg.html" target="_blank" rel="external">编译中接触到 pkg config</a><br>在 <code>/etc/ld.so.conf</code> 文件中添加库的搜索路径<code>/usr/local</code>，并执行<code>/sbin/ldconfig</code> 命令。</p>
<p><a href="www.cnblogs.com/amboyna/archive/2008/02/16/1070474.html">#reference-linux各文件夹的作用</a><br>执行成功。</p>
<h3 id="搬瓦工机器有问题"><a href="#搬瓦工机器有问题" class="headerlink" title="搬瓦工机器有问题"></a>搬瓦工机器有问题</h3><p>pip update后，安装netfilterqueue成功，发现和root权限有根本性的差异。<br>打算重新sudo pip install netfilterqueue 先运行计算机观测。（从安装pip开始）<br> 问题相信信息：<br> <a href="http://stackoverflow.com/questions/40231588/netfilterqueue-tiped-are-you-root-which-i-was-already-the-root" target="_blank" rel="external">#reference-NetfilterQueue tiped “are you root ” ,which I was already the “root”</a><br>证据</p>
<blockquote>
<p>sudo which python<br>/usr/bin/python<br>which python<br>/root/canopy/bin/python</p>
</blockquote>
<p> 结果两个都问了，are you root.<br> 这就很尴尬了。</p>
<p>import os<br>if os.geteuid() != 0:<br>    print “This program must be run as root. Aborting.”<br>    sys.exit(1)</p>
<p>证明我已经是root。</p>
<p> cd /temp<br>尝试重新安装所有依赖，并改目标目录。<br>失败。</p>
<p>Linux 下用户权限设置<br><a href="http://askubuntu.com/questions/302358/permission-denied-error" target="_blank" rel="external">#reference-permission denied error</a><br><a href="https://www.google.com.hk/search?newwindow=1&amp;c2coff=1&amp;safe=strict&amp;hl=zh-CN&amp;q=+visudo+permission+de&amp;oq=+visudo+permission+de&amp;gs_l=serp.3..0j0i30k1l3j0i8i30k1l3j0i5i30k1l2.290009.295367.0.296570.17.13.0.0.0.0.558.2178.2-3j1j1j1.6.0....0...1c.1.64.serp..11.6.2174...0i13k1j0i7i30k1j0i7i10i30k1j35i39k1.3Yf3P28PMq0" target="_blank" rel="external">https://www.google.com.hk/search?newwindow=1&amp;c2coff=1&amp;safe=strict&amp;hl=zh-CN&amp;q=+visudo+permission+de&amp;oq=+visudo+permission+de&amp;gs_l=serp.3..0j0i30k1l3j0i8i30k1l3j0i5i30k1l2.290009.295367.0.296570.17.13.0.0.0.0.558.2178.2-3j1j1j1.6.0....0...1c.1.64.serp..11.6.2174...0i13k1j0i7i30k1j0i7i10i30k1j35i39k1.3Yf3P28PMq0</a><br><a href="http://blog.csdn.net/stormbjm/article/details/9086163" target="_blank" rel="external">#reference-linux下添加用户并赋予root权限</a></p>
<p>脚本<br><figure class="highlight python"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div></pre></td><td class="code"><pre><div class="line"><span class="keyword">import</span> sql</div><div class="line"><span class="keyword">print</span> <span class="string">'f'</span></div></pre></td></tr></table></figure></p>
<p>#思考<br>其实我目前遇到的问题都是范运维问题，能否通过docker容器解决呢？如果解决是否有机会产品经理学习计算机知识的市场呢？其实还蛮有趣的。</p>
]]></content>
    
    <summary type="html">
    
      &lt;h1 id=&quot;Summary&quot;&gt;&lt;a href=&quot;#Summary&quot; class=&quot;headerlink&quot; title=&quot;Summary&quot;&gt;&lt;/a&gt;Summary&lt;/h1&gt;&lt;p&gt;&lt;code&gt;104.128.92.224&lt;/code&gt;和&lt;code&gt;119.29.198.230&lt;/code&gt;是两台独立服务器（VPS），其中，&lt;code&gt;104.128.92.224&lt;/code&gt;位于Los Angeles，&lt;code&gt;119.29.198.230&lt;/code&gt;位于广州。通过对它们的网络行为进行监控，对比他们收取到回复的差异，确认GFW的特殊价值并探索计算机应用层协议的原理与细节。（本文以&lt;code&gt;LA服务器&lt;/code&gt;和&lt;code&gt;广州服务器&lt;/code&gt;分别指代）&lt;br&gt;本文主要参考&lt;a href=&quot;http://drops.wooyun.org/papers/10177&quot;&gt;翻墙路由器的原理与实现&lt;/a&gt;来探索&lt;strong&gt;计算机网络&lt;/strong&gt;（主要是应用层），并对探索过程中遇到的问题做简单记录，遇到问题涉及&lt;strong&gt;计算机操作系统&lt;/strong&gt;、&lt;strong&gt;编译原理&lt;/strong&gt;的部分知识。&lt;/p&gt;
    
    </summary>
    
    
  </entry>
  
  <entry>
    <title>购买域名+服务器+部署服务器+实现ssl协议</title>
    <link href="check_hexo_config_url/2016/10/09/%E8%B4%AD%E4%B9%B0%E5%9F%9F%E5%90%8D+%E6%9C%8D%E5%8A%A1%E5%99%A8+%E9%83%A8%E7%BD%B2%E6%9C%8D%E5%8A%A1%E5%99%A8+%E5%AE%9E%E7%8E%B0ssl%E5%8D%8F%E8%AE%AE/"/>
    <id>check_hexo_config_url/2016/10/09/购买域名+服务器+部署服务器+实现ssl协议/</id>
    <published>2016-10-09T06:15:00.000Z</published>
    <updated>2016-12-09T11:57:28.000Z</updated>
    
    <content type="html"><![CDATA[<p>纪录部署busihacker.com的一些问题<br><a id="more"></a></p>
<p><a href="https://www.google.com.hk/search?ie=utf-8&amp;oe=UTF-8&amp;hl=zh-CN&amp;q=%E4%B8%A4%E6%9D%A1+a%E8%AE%B0%E5%BD%95&amp;gws_rd=ssl" target="_blank" rel="external">两条a记录主要是为了负载均衡吧？</a><br><a href="https://www.ezloo.com/2011/04/a_mx_cname_txt_aaaa_ns.html" target="_blank" rel="external">常用域名记录解释：A记录、MX记录、CNAME记录、TXT记录、AAAA记录、NS记录</a><br><a href="https://www.zhihu.com/question/19774219" target="_blank" rel="external">如何建立个人网站？</a><br><a href="http://yihui.name/cn/2009/06/how-to-build-a  -website-as-a-dummy/" target="_blank" rel="external">新手教程：建立网站的全套流程与详细解释</a><br><a href="https://www.douban.com/group/topic/61689932/" target="_blank" rel="external">2014年网站SEO常见作弊方法详细解析</a><br><a href="https://support.dnspod.cn/Kb/showarticle/tsid/42/" target="_blank" rel="external">Godaddy注册商域名修改DNS地址</a><br><a href="https://sg.godaddy.com/zh/help/dns-680" target="_blank" rel="external">管理DNS</a><br><a href="http://www.ixirong.com/2015/04/15/how-blog-record-by-aliyun/" target="_blank" rel="external">个人godaddy域名备案解决方案</a><br>godaddy 对域名的所有权以及备案问题。<br>免费的是最贵的<a href="https://www.zhihu.com/question/19835955" target="_blank" rel="external">免费域名</a><br><a href="https://www.zhihu.com/question/20845371" target="_blank" rel="external">如何抢注一个刚刚过期的域名</a></p>
<p>SSL协议与加密<br><a href="http://www.ruanyifeng.com/blog/2014/02/ssl_tls.html" target="_blank" rel="external">SSL/TLS协议运行机制的概述</a><br><a href="http://www.ruanyifeng.com/blog/2016/08/migrate-from-http-to-https.html" target="_blank" rel="external">HTTPS 升级指南</a><br><a href="http://www.asiapeak.com/PGPTheory.php" target="_blank" rel="external">PGP加密原理</a><br><a href="http://www.ruanyifeng.com/blog/2013/07/gpg.html" target="_blank" rel="external">GPG入门教程</a><br><a href="http://pgp.sourceforge.net/pgpintro.php" target="_blank" rel="external">关于pgp</a><br><a href="http://www.ruanyifeng.com/blog/2013/06/rsa_algorithm_part_one.html" target="_blank" rel="external">RSA算法原理</a><br><a href="http://www.ruanyifeng.com/blog/2013/07/rsa_algorithm_part_two.html" target="_blank" rel="external">RSA算法原理</a><br>http协议与ssl协议<br>[<a href="https://segmentfault.com/a/1190000006921322" target="_blank" rel="external">TCP三次握手&amp;Render Tree页面渲染=&gt;从输入URL到页面显示的过程？</a>]<br><a href="https://www.sslshopper.com/ssl-converter.html" target="_blank" rel="external">不同format的certificate和private/public key</a></p>
<h1 id="使用startssl认证证书"><a href="#使用startssl认证证书" class="headerlink" title="使用startssl认证证书"></a>使用startssl认证证书</h1><p><a href="https://www.zghhome.cn/?p=310" target="_blank" rel="external">站点启用https替换http完整步骤（申请StartSSL免费证书，nginx配置）</a><br><a href="https://amon.org/how-to-apply-for-startssl-free-ssl-ca.html" target="_blank" rel="external">怎样申请StartSSL免费ssl证书</a><br><a href="https://www.sslshopper.com/certificate-authority-reviews.html" target="_blank" rel="external">SSL Certificate Reviews</a><br><a href="http://www.laozuo.org/2823.html" target="_blank" rel="external">StartSSL申请全过程 让网站拥有免费SSL证书</a><br><a href="https://www.oschina.net/translate/switch-to-https-now-for-free" target="_blank" rel="external">现在就启用 HTTPS，免费的！</a><br><a href="http://arstechnica.com/security/2009/12/how-to-get-set-with-a-secure-sertificate-for-free/2/" target="_blank" rel="external">how to obtain and install an SSL/TLS certificate for free</a><br><a href="http://www.cnblogs.com/yjmyzz/p/openssl-tutorial.html" target="_blank" rel="external">openssl、x509、crt、cer、key、csr、ssl、tls 这些都是什么鬼?</a><br><a href="https://www.google.com.hk/search?q=crt++csr&amp;ie=utf-8&amp;oe=utf-8&amp;gws_rd=cr,ssl" target="_blank" rel="external">crt csr 谷歌搜索</a><br><a href="https://www.google.com.hk/search?q=%E4%BC%AA%E9%80%A0++%E8%AF%81%E4%B9%A6&amp;ie=utf-8&amp;oe=utf-8&amp;gws_rd=cr,ssl" target="_blank" rel="external">伪造 证书 谷歌搜索</a><br><a href="http://docs.pythontab.com/tornado/introduction-to-tornado/ch8.html#ch8-2-2" target="_blank" rel="external">tornado使用nginx作为反向代理</a><br><a href="https://www.google.com.hk/search?q=%E5%85%AC%E9%92%A5+%E7%A7%81%E9%92%A5+%E5%8E%9F%E7%90%86&amp;ie=utf-8&amp;oe=utf-8&amp;gws_rd=cr,ssl" target="_blank" rel="external">公钥 私钥 原理 谷歌搜索</a><br><a href="https://www.google.com.hk/search?newwindow=1&amp;safe=strict&amp;q=rsa+pgp+%E5%85%B3%E7%B3%BB&amp;oq=rsa+pgp+%E5%85%B3%E7%B3%BB&amp;gs_l=serp.3...495206.496328.0.496470.8.6.0.0.0.0.0.0..0.0....0...1c.1.64.serp..8.0.0.nVv5C48oNSk" target="_blank" rel="external">rsa pop关系 谷歌搜索</a><br><a href="http://www.yeolar.com/note/2015/04/30/tornado-ssl-https/" target="_blank" rel="external">使用Tornado搭建HTTPS网站</a><br><a href="stackoverflow.com/questions/18307131/how-to-create-https-tornado-server">How to create HTTPS tornado server</a><br><a href="http://blog.csdn.net/simanstar/article/details/40592057" target="_blank" rel="external">SSL和SSH的区别</a><br><a href="https://www.google.com.hk/search?q=ssh+ssl&amp;ie=utf-8&amp;oe=utf-8&amp;gws_rd=cr,ssl" target="_blank" rel="external">SSL SSH 谷歌搜索</a><br><a href="https://help.github.com/articles/generating-a-gpg-key/" target="_blank" rel="external">generating-a-gpg-key</a><br><a href="https://help.github.com/articles/generating-an-ssh-key/" target="_blank" rel="external">generating-an-ssh-key</a></p>
<hr>
<p>ipython notebook<br>When using a password, it is a good idea to also use SSL, so that your password is not sent unencrypted by your browser. You can start the notebook to communicate via a secure protocol mode using a self-signed certificate with the command:</p>
<blockquote>
<p>$ ipython notebook –certfile=mycert.pem</p>
</blockquote>
<p>A self-signed certificate can be generated with openssl<br>. For example, the following command will create a certificate valid for 365 days with both the key and certificate data written to the same file:</p>
<blockquote>
<p>$ openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem</p>
</blockquote>
<hr>
<h1 id="远程服务"><a href="#远程服务" class="headerlink" title="远程服务"></a>远程服务</h1><p>下一步：<br>部署到域名进行访问<a href="https://jupyter.busihacker.com:9999" target="_blank" rel="external">busihacker.com</a><br>认证ssl/tls证书<br><code>https://&lt;your-domain&gt;:9999</code></p>
]]></content>
    
    <summary type="html">
    
      &lt;p&gt;纪录部署busihacker.com的一些问题&lt;br&gt;
    
    </summary>
    
    
  </entry>
  
  <entry>
    <title>前端学习笔记</title>
    <link href="check_hexo_config_url/2016/10/09/%E5%89%8D%E7%AB%AF%E7%9A%84%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/"/>
    <id>check_hexo_config_url/2016/10/09/前端的学习笔记/</id>
    <published>2016-10-09T06:15:00.000Z</published>
    <updated>2016-12-08T02:31:09.000Z</updated>
    
    <content type="html"><![CDATA[<p>前段学习的一些问题和摘要<br><a id="more"></a></p>
<h1 id="Chrome-Console"><a href="#Chrome-Console" class="headerlink" title="Chrome Console"></a>Chrome Console</h1><h1 id="Javascript"><a href="#Javascript" class="headerlink" title="Javascript"></a>Javascript</h1><h1 id="CSS"><a href="#CSS" class="headerlink" title="CSS"></a>CSS</h1><h1 id="DOM"><a href="#DOM" class="headerlink" title="DOM"></a>DOM</h1><h1 id="HTML"><a href="#HTML" class="headerlink" title="HTML"></a>HTML</h1><h1 id="React-Natie"><a href="#React-Natie" class="headerlink" title="React Natie"></a>React Natie</h1><h1 id="微信小程序"><a href="#微信小程序" class="headerlink" title="微信小程序"></a>微信小程序</h1><p><a href="https://www.google.com.hk/search?q=%E5%B0%8F%E7%A8%8B%E5%BA%8F+native&amp;ie=utf-8&amp;oe=utf-8&amp;gws_rd=cr,ssl" target="_blank" rel="external">小程序 native</a></p>
<p>#jquery</p>
]]></content>
    
    <summary type="html">
    
      &lt;p&gt;前段学习的一些问题和摘要&lt;br&gt;
    
    </summary>
    
    
  </entry>
  
  <entry>
    <title>区块链（block chain）调研</title>
    <link href="check_hexo_config_url/2016/10/09/%E5%8C%BA%E5%9D%97%E9%93%BE%EF%BC%88block%20chain%EF%BC%89%E8%B0%83%E7%A0%94/"/>
    <id>check_hexo_config_url/2016/10/09/区块链（block chain）调研/</id>
    <published>2016-10-09T06:11:00.000Z</published>
    <updated>2016-12-10T14:03:59.000Z</updated>
    
    <content type="html"><![CDATA[<p>区块链和大数据、云计算结合貌似可以有作为，开个头。</p>
<a id="more"></a>
<blockquote>
<p>%人工智能、大数据和云计算分别指的是什么</p>
</blockquote>
<p><a href="https://elendirx.github.io/web2web/" target="_blank" rel="external">Web2Web Bootstrap</a></p>
<blockquote>
<p>笑来兄在微信公号发布的，torren不依附于任何服务器，很难将其关闭，或许这就是未来信息存储和传播的主要方式，永久保存不消失，创造永恒的信息世界</p>
</blockquote>
<p><a href="https://www.zhihu.com/question/20792042" target="_blank" rel="external">挖矿石如何产生比特币的</a><br><a href="http://8btc.com/article-137-1.html" target="_blank" rel="external">比特币挖矿算法是怎样的？</a><br><a href="http://jingyan.baidu.com/article/7f41ececc5707c593d095c90.html" target="_blank" rel="external">比特币如何挖矿</a><br><a href="https://www.zhihu.com/topic/19901773/top-answers" target="_blank" rel="external">区块链(Blockchain)知乎 主题精华</a><br><a href="https://www.baidu.com/s?wd=%E6%AF%94%E7%89%B9%E5%B8%81%20%E6%8C%96%E7%9F%BF&amp;rsv_spt=1&amp;rsv_iqid=0xe301e80a0004f562&amp;issp=1&amp;f=8&amp;rsv_bp=1&amp;rsv_idx=2&amp;ie=utf-8&amp;rqlang=cn&amp;tn=baiduhome_pg&amp;rsv_enter=1&amp;oq=blockchain%20site%3Azhihu.com&amp;inputT=2122&amp;rsv_t=9923gUAatpLjOytUtkr3C%2BI3LwO7KOKMuF2WO0ubVhU6r3Oq%2FA7kZF9APy29S2WKArz5&amp;rsv_pq=e8f54b6c00042adb&amp;rsv_sug3=37&amp;rsv_sug1=12&amp;rsv_sug7=101&amp;sug=%E6%AF%94%E7%89%B9%E5%B8%81%20%E6%8C%96%E7%9F%BF&amp;rsv_n=1&amp;bs=blockchain%20site%3Azhihu.com" target="_blank" rel="external">比特币 挖矿</a></p>
]]></content>
    
    <summary type="html">
    
      &lt;p&gt;区块链和大数据、云计算结合貌似可以有作为，开个头。&lt;/p&gt;
    
    </summary>
    
    
  </entry>
  
  <entry>
    <title>git的一些坑</title>
    <link href="check_hexo_config_url/2016/10/09/git%E7%9A%84%E4%B8%80%E4%BA%9B%E5%9D%91/"/>
    <id>check_hexo_config_url/2016/10/09/git的一些坑/</id>
    <published>2016-10-09T06:09:00.000Z</published>
    <updated>2016-12-19T01:46:18.000Z</updated>
    
    <content type="html"><![CDATA[<p>weibo的git使用笔记。<br><a id="more"></a></p>
<p><a href="http://www.ruanyifeng.com/blog/2014/06/git_remote.html?bsh_bid=1314465090" target="_blank" rel="external">Git远程操作详解</a><br><a href="http://www.ruanyifeng.com/blog/2015/08/git-use-process.html" target="_blank" rel="external">Git 使用规范流程</a><br><a href="https://www.google.com.hk/search?q=git+rebase++%E9%98%AE%E4%B8%80%E5%B3%B0&amp;ie=utf-8&amp;oe=utf-8&amp;gws_rd=cr,ssl" target="_blank" rel="external">git rebase 阮一峰 谷歌搜索</a><br><a href="http://stackoverflow.com/questions/23517464/error-cannot-pull-with-rebase-you-have-unstaged-changes" target="_blank" rel="external">Error:cannot pull with rebase:you have unstated changes</a><br><a href="https://www.google.com.hk/search?newwindow=1&amp;safe=strict&amp;q=you+have+unstaged+changes++&amp;oq=you+have+unstaged+changes++&amp;gs_l=serp.3..0j0i30k1l6j0i5i30k1l3.68687.78840.0.79129.12.12.0.0.0.0.188.1132.6j4.10.0....0...1c.1.64.serp..2.1.82.6SnD5AXtjG0" target="_blank" rel="external">you have unstated changes</a><br><a href="http://www.cnblogs.com/kidsitcn/p/4450466.html" target="_blank" rel="external">git workflow 常用命令</a><br><a href="http://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000/0013760174128707b935b0be6fc4fc6ace66c4f15618f8d000" target="_blank" rel="external">多人协作</a><br><a href="http://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000/0013758410364457b9e3d821f4244beb0fd69c61a185ae0000" target="_blank" rel="external">分支管理策略</a><br><a href="http://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000/001374829472990293f16b45df14f35b94b3e8a026220c5000" target="_blank" rel="external">管理修改</a></p>
<p><a href="http://www.cnblogs.com/zhongxinWang/p/4235448.html" target="_blank" rel="external">探索.git目录</a></p>
<h1 id="git-diff"><a href="#git-diff" class="headerlink" title="git diff"></a>git diff</h1><p><a href="https://www.google.com.hk/search?newwindow=1&amp;safe=strict&amp;q=diff+%E5%8E%9F%E7%90%86+&amp;oq=diff+%E5%8E%9F%E7%90%86+&amp;gs_l=serp.3..0i30k1j0i5i30k1l2.68361.68361.0.68637.1.1.0.0.0.0.83.83.1.1.0....0...1c.1.64.serp..0.1.82.DtZbCTJhHNs" target="_blank" rel="external">（谷歌）diff 原理</a><br><a href="https://segmentfault.com/q/1010000000367833" target="_blank" rel="external">Diff 算法的原理是什么, 怎样学习和理解?</a><br><a href="http://www.voidcn.com/blog/dog250/article/p-5859714.html" target="_blank" rel="external">diff程序的算法</a><br><a href="http://www.ruanyifeng.com/blog/2012/08/how_to_read_diff.html" target="_blank" rel="external">读懂diff（阮一峰）</a><br><a href="https://lists.gnu.org/archive/html/emacs-devel/2010-01/msg01182.html" target="_blank" rel="external">Interpreting git diff -cc[was:merge conflict]</a><br><a href="https://www.google.com.hk/search?newwindow=1&amp;safe=strict&amp;q=git+diff+--cc+%E6%80%8E%E4%B9%88%E8%AF%BB&amp;oq=git+diff+--cc+%E6%80%8E%E4%B9%88%E8%AF%BB&amp;gs_l=serp.3...8438.11111.0.11377.11.9.2.0.0.0.227.772.3j2j1.6.0....0...1c.1.64.serp..3.0.0.bCGBg-Hw7IU" target="_blank" rel="external">git diff –cc 怎么读</a><br><a href="https://github.com/colinta/SublimeFileDiffs" target="_blank" rel="external">sublime  diff</a><br><a href="http://www.oschina.net/translate/20-powerful-sublimetext-plugins" target="_blank" rel="external">20 个强大的 Sublime Text 插件 </a></p>
<p>#git push –force 的使用场景<br>git checkout -b dev<br>git add -all<br>git checkout master</p>
<p><strong>initialization后，从未<code>git commit</code> ，checkout后git branch –list 也看不到自己的分支。</strong><a href="blog.jobbole.com/87700/">如何在git里撤销几乎任何操作</a></p>
<p>#文件的命名不要带有<code>/</code><br><a href="https://www.google.com.hk/search?q=invalid+path+git+pull&amp;ie=utf-8&amp;oe=utf-8&amp;gws_rd=cr,ssl" target="_blank" rel="external">windows下不接受这种命名</a><br>导致git pull 后git rm，永远无法和remote repository保持一致。<br>这个时候可能一定会遇到push force问题。（由于是没用的文件，我直接舍弃了该文件。）</p>
<p>##git push –force 的使用场景<br>push错误后，<br><a href="https://segmentfault.com/q/1010000002898735" target="_blank" rel="external">git 怎样删除远程仓库的某次错误提交？</a><br><a href="https://www.google.com.hk/search?q=push%E5%90%8E%E6%92%A4%E9%94%80&amp;ie=utf-8&amp;oe=utf-8&amp;gws_rd=cr,ssl" target="_blank" rel="external">push后撤销</a></p>
<p>## </p>
<p><a href="https://help.github.com/articles/why-are-my-commits-linked-to-the-wrong-user/" target="_blank" rel="external">Why are my commits linked to the wrong user?</a></p>
<p>##常规步骤<br><a href="https://git-scm.com/book/zh/v1/%E8%B5%B7%E6%AD%A5-%E5%88%9D%E6%AC%A1%E8%BF%90%E8%A1%8C-Git-%E5%89%8D%E7%9A%84%E9%85%8D%E7%BD%AE" target="_blank" rel="external">起步 - 初次运行 Git 前的配置</a><br><a href="https://help.github.com/articles/set-up-git/" target="_blank" rel="external">Set Up Git</a><br><a href="https://help.github.com/articles/generating-a-new-ssh-key-and-adding-it-to-the-ssh-agent/" target="_blank" rel="external">Generating a new SSH key and adding it to the ssh-agent</a><br><a href="https://git-scm.com/docs/merge-strategies" target="_blank" rel="external">MERGE STRATEGIES</a><br>准备合并dev分支，请注意–no-ff参数，表示禁用Fast forward：<br>‘’’<br>$ git merge –no-ff -m “merge with no-ff” dev<br>Merge made by the ‘recursive’ strategy.<br> readme.txt |    1 +<br> 1 file changed, 1 insertion(+)<br>‘’’<br><a href="http://www.liaoxuefeng.com/wiki/0013739516305929606dd18361248578c67b8067c8c017b000/0013758410364457b9e3d821f4244beb0fd69c61a185ae0000" target="_blank" rel="external">分支管理策略</a></p>
]]></content>
    
    <summary type="html">
    
      &lt;p&gt;weibo的git使用笔记。&lt;br&gt;
    
    </summary>
    
    
  </entry>
  
  <entry>
    <title>文字识别初探</title>
    <link href="check_hexo_config_url/2016/10/08/%E6%96%87%E5%AD%97%E8%AF%86%E5%88%AB%E5%88%9D%E6%8E%A2/"/>
    <id>check_hexo_config_url/2016/10/08/文字识别初探/</id>
    <published>2016-10-08T03:57:23.000Z</published>
    <updated>2016-12-09T12:40:01.000Z</updated>
    
    <content type="html"><![CDATA[<p><img src="http://nojsstats.appspot.com/UA-47491561-2/www.jianshu.com/p/e96a8f303d69" alt="统计代码"><br>随着中国互联网对广告的审核越来越严格，日常投放运营过程中，渠道对资质文件和创意的要求越来越高，如营业执照、身份证等。我们需要花费大量的人力成本对这些文件的属性进行文本描述，如营业主题，姓名，生日等。有没有一种方案对文件进行快速的描述，减少人力成本？</p>
<a id="more"></a>
<p>另一方面，这个需求是具有可扩展性的。图形学方向上的人工智能，是建立在图像识别基础上。计算广告日后必然和图形学和人工智能强关联，正好探索这个方向的可行性，并把该躺的坑给躺一遍。</p>
<p>作为一个产品，会先对一些开源的框架以及开放的 API做基本的可行性调研。<br>随手Google之后，决定本地使用<a href="https://github.com/tesseract-ocr/tesseract" target="_blank" rel="external">Tesseract</a>观察目前OCR（Optical Character Recognition）引擎效果。</p>
<p><a href="http://www.cnblogs.com/brooks-dotnet/archive/2010/10/05/1844203.html" target="_blank" rel="external">#reference-浅谈OCR之Tesseract</a><br><a href="http://www.zmonster.me/2015/04/17/tesseract-install-usage.html" target="_blank" rel="external">#reference-Tesseract:安装与命令行使用</a></p>
<h1 id="安装"><a href="#安装" class="headerlink" title="安装"></a>安装</h1><p>通过homebrew<a href="https://github.com/tesseract-ocr/tesseract#installing-tesseract" target="_blank" rel="external">安装</a>到本地<code>/usr/local/Cellar</code> <a href="http://brew.sh/index_zh-cn.html" target="_blank" rel="external">#reference-homebrew</a></p>
<blockquote>
<p>brew install tesseract</p>
</blockquote>
<h1 id="直接识别"><a href="#直接识别" class="headerlink" title="直接识别"></a>直接识别</h1><p>尝试识别如下图片：<br><img src="http://upload-images.jianshu.io/upload_images/544981-da018847ebb20a99.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="文字识别原图"></p>
<p>执行<code>tesseract &lt;%path_to_pic&gt; stdout</code>后得到。</p>
<p><img src="http://upload-images.jianshu.io/upload_images/544981-7940772e8e5a20c7.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="直接识别后结果"></p>
<p>可以看到英文和数字的识别正确率很高，中文识别这么不靠谱？显然不是，不同语言的文字识别机制可能不一样。Google后发现需要指定语言后识别。由于我们的目标是中文识别，<strong>必须解决语言包问题</strong>。当然可以自行选择自己愿意安装的语言包，但最方便的是支持所有available的语言包。<br>重新执行<code>brew install tesseract --all-languages</code> 安装所有语言包。</p>
<p><a href="https://blog.philippklaus.de/2011/01/chinese-ocr/" target="_blank" rel="external">#reference-Chinese OCR</a><br><a href="https://tonydeng.github.io/2016/07/28/on-the-use-of-tesseract-picture-text-recognition/" target="_blank" rel="external">#reference-利用Tesseract图片文字识别初探</a><br><a href="https://gist.github.com/henrik/1967035" target="_blank" rel="external">#reference-ocr markdown</a></p>
<p>现在我们执行<code>tesseract --list-langs</code>，可以看到</p>
<blockquote>
<p>$ tesseract –list-langs<br>List of available languages (107):<br>…<br>chi_sim<br>chi_tra<br>…</p>
</blockquote>
<p>简繁体的中文识别目前都已经支持。由于是大陆环境，我们将主要是用简体中文语言包进行识别。</p>
<h1 id="中文识别"><a href="#中文识别" class="headerlink" title="中文识别"></a>中文识别</h1><p>再次通过语言包尝试识别，执行<code>tesseract &lt;%path_to_pic&gt; stdout -l chi_sim</code></p>
<p><img src="http://upload-images.jianshu.io/upload_images/544981-a53b4c3c27dfc4f3.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="中文识别后结果"></p>
<p>显然，准确率大大提高。虽然如此，可用性还是不足以支撑生产环境的需求。</p>
<h1 id="分块后中文识别"><a href="#分块后中文识别" class="headerlink" title="分块后中文识别"></a>分块后中文识别</h1><p>会不会因为单词识别文本太多，导致识别不够准确呢？毕竟即使是人，当看到一大块文本的时候也感到头晕目眩。我们把原文本一分为三后，再次识别。</p>
<p><img src="http://upload-images.jianshu.io/upload_images/544981-22ec19a01e4bdc81.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="文字识别原图1"></p>
<p><img src="http://upload-images.jianshu.io/upload_images/544981-37cb90f52b93ce3d.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="文字识别原图3"></p>
<p><img src="http://upload-images.jianshu.io/upload_images/544981-3980f522eedf4222.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="文字识别原图2"></p>
<p> <img src="http://upload-images.jianshu.io/upload_images/544981-e207723babdee53e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="分块后中文识别结果"></p>
<p>显然准确率有所提高。虽然也还是无法使用:(</p>
<h2 id="如何分块"><a href="#如何分块" class="headerlink" title="如何分块"></a>如何分块</h2><p>那么我们应该如何对一张图片中的文本作分块呢？简单来说，就是利用<a href="http://opencv.org" target="_blank" rel="external">opencv</a>，看出来白色的色块 然后定位做文字识别。</p>
<p><img src="http://upload-images.jianshu.io/upload_images/544981-cdddb73f504d1001.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240" alt="Paste_Image.png"></p>
<p>#后续探索</p>
<p>后续可以进行探索的方向：</p>
<ul>
<li><a href="https://www.zhihu.com/question/19593313" target="_blank" rel="external">OCR 中文识别用哪种软件识别率比较高？</a></li>
<li><a href="http://www.imageplusplus.com/#demo" target="_blank" rel="external">image++api</a></li>
<li>如何更合适地对图片的文本区域分块</li>
<li>根据图片直接判断语言</li>
</ul>
<p>原文发布于：<a href="/2016/10/08/%E6%96%87%E5%AD%97%E8%AF%86%E5%88%AB%E5%88%9D%E6%8E%A2/">文字识别初探</a></p>
]]></content>
    
    <summary type="html">
    
      &lt;p&gt;&lt;img src=&quot;http://nojsstats.appspot.com/UA-47491561-2/www.jianshu.com/p/e96a8f303d69&quot; alt=&quot;统计代码&quot;&gt;&lt;br&gt;随着中国互联网对广告的审核越来越严格，日常投放运营过程中，渠道对资质文件和创意的要求越来越高，如营业执照、身份证等。我们需要花费大量的人力成本对这些文件的属性进行文本描述，如营业主题，姓名，生日等。有没有一种方案对文件进行快速的描述，减少人力成本？&lt;/p&gt;
    
    </summary>
    
    
      <category term="文字识别" scheme="check_hexo_config_url/tags/%E6%96%87%E5%AD%97%E8%AF%86%E5%88%AB/"/>
    
      <category term="tesseract" scheme="check_hexo_config_url/tags/tesseract/"/>
    
      <category term="OCR" scheme="check_hexo_config_url/tags/OCR/"/>
    
      <category term="开源" scheme="check_hexo_config_url/tags/%E5%BC%80%E6%BA%90/"/>
    
  </entry>
  
  <entry>
    <title>【转】翻墙路由器的原理与实现</title>
    <link href="check_hexo_config_url/2016/10/06/%E3%80%90%E8%BD%AC%E3%80%91%E7%BF%BB%E5%A2%99%E8%B7%AF%E7%94%B1%E5%99%A8%E7%9A%84%E5%8E%9F%E7%90%86%E4%B8%8E%E5%AE%9E%E7%8E%B0/"/>
    <id>check_hexo_config_url/2016/10/06/【转】翻墙路由器的原理与实现/</id>
    <published>2016-10-06T15:05:42.000Z</published>
    <updated>2016-12-18T15:33:27.000Z</updated>
    
    <content type="html"><![CDATA[<p>转自：<a href="http://drops.wooyun.org/papers/10177" target="_blank" rel="external">http://drops.wooyun.org/papers/10177</a></p>
<hr>
<h1 id="0×00-开篇"><a href="#0×00-开篇" class="headerlink" title="0×00 开篇"></a>0×00 开篇</h1><p>GFW具有重大的社会意义。无论是正面的社会意义，还是负面的意义。无论你是讨厌，还是憎恨。它都在那里。在可以预见的将来，墙还会继续存在。我们要学会如何与其共存。我是一个死搞技术的，就是打算搞技术到死的那种人。当我读到<a href="http://gfwrev.blogspot.jp/2010/03/blog-post.html" target="_blank" rel="external">西厢计划</a>的博客上的这么一段话时，我被深深的触动了。不是为了什么政治目的，不是为了什么远大理想，仅仅做为一个死搞技术的人显摆自己的价值，我也必须做些什么。博客上的原话是这么写的：</p>
<a id="more"></a>
<blockquote>
<p>作为个搞技术的人，我们要干点疯狂的事。如果我们不动手，我们就要被比我们差的远的坏技术人员欺负。这太丢人了。眼前就是，GFW这个东西，之前是我们不抱团，让它猖狂了。现在咱们得凑一起，想出来一个办法让它郁闷一下，不能老被欺负吧。要不，等到未来，后代会嘲笑我们这些没用的家伙，就象我们说别人“你怎么不反抗？”</p>
</blockquote>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702570978132.jpg" alt=""></p>
<p>我把翻墙看成一场我们与GFW之间的博弈，是一个不断对抗升级的动态过程。目前整体的博弈态势来讲是GFW占了绝对的上风。我们花费了大量的金钱（买VPS买VPN），花费大量时间（学习各种翻墙技术），而GFW只需要简单发几个包，配几个路由规则就可以让你的心血都白费。</p>
<p>GFW并不需要检查所有的上下行流量中是不是有不和谐的内容，很多时候只需要检查连接的前几个包就可以判断出是否要阻断这个连接。为了规避这种检查，我们就需要把所有的流量都通过第三方代理，还要忍受不稳定，速度慢等各种各样的问题。花费的是大量的研究的时间，切换线路的时间，找出是什么导致不能用的时间，当然还有服务器的租用费用和带宽费用。我的感觉是，这就像太极里的四两拨千斤。GFW只需要付出很小的成本，就迫使了我们去付出很大的反封锁成本，而且这种成本好像是越来越高了。</p>
<p>这场博弈的不公平之处在于，GFW拥有国家的资源和专业的团队。而我们做为个体，愿意花费在翻墙上的时间与金钱是非常有限的。在竞争激烈的北上广深，每天辛苦忙碌的白领们。翻墙无非是为了方便自己的工作而已。不可能在每天上下班从拥挤的地铁中挤出来之后再去花费已经少得可怜的业余时间去学习自己不是翻墙根本不需要知道的名词到底是什么意思。于是乎，我们得过且过。不用Google也不会死，对不对。SSH加浏览器设置，搞一搞也就差不多能用就行啦。但是得过且过也越来越不好过了。从最开始的HTTP代理，到后来的SOCKS代理，到最近的OpenVPN，一个个阵亡。普通人可以使用的方式越来越少。博弈的天平远远不是平衡的，而是一边倒。</p>
<blockquote>
<p>GFW用技术的手段达到了四两拨千斤的作用。难道技术上就没有办法用四两拨千斤的方法重新扭转这一边倒的局面吗？</p>
</blockquote>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571023031.jpg" alt=""></p>
<p>办法肯定是有的。我能想到的趋势是两个。第一个趋势是用更复杂的技术，但是提供更简单的使用方式。简单的HTTP代理，SOCKS明文代理早已阵亡。接下来的斗争需要更复杂的工具。无论是ShadowSocks还是GoAgent都在向这个方向发展。技术越复杂，意味着普通人要学习要配置的成本就越高。每个人按照文档，在自己的PC上配置ABC的方式已经不能满足下一阶段的斗争需要了。我们需要提升手里的武器，站在一个更高的平台上。</p>
<p>传统的配置方式的共同特点是终端配置。你需要在你的PC浏览器上，各种应用软件里，手机上，平板电脑上做各种各样的配置。这样的终端配置的方式在过去是很方便的。别人提供一个代理，你在浏览器里一设置就好用了。但是在连OpenVPN都被封了的今天，这种终端配置的方式就大大限制了我们的选择。缺点是多方面的：</p>
<ol>
<li>翻墙的方式受到终端支持的限制。特别是手机和平板电脑，不ROOT不越狱的话，选择就非常有限了。</li>
<li>终端种类繁多，挂一漏万。提供翻墙的工具的人不可能有精力来测试支持所有种类的终端。</li>
<li>如果家里有多个笔记本，还有手机等便携设备使用起来就很不方便。躺在床上要刷Twitter的时候，才发现手机的里的OpenVPN帐号已经被封了，新的那个只配置在了电脑里。</li>
<li>最主流的终端是Windows的PC机。但是在Windows上控制底层网络的运作非常不方便。给翻墙工具的作者设置了一个更高的门槛。</li>
<li>终端一般处于家庭路由器的后面。大多数直穿的穿墙方式都很难在这种网络环境下工作正常。</li>
</ol>
<p>把翻墙工具做到路由器上就可以达到实现更复杂的翻墙技术，同时提供极其简单的使用体验。但是路由器的缺陷也是非常明显的。传统的路由器刷OpenWRT等可以定制的第三方系统有如下缺点：</p>
<ol>
<li>便携不方便，路由器大部分没有电池，也不方便放在包里</li>
<li>相比在电脑上装一个软件试试好不好使，额外购买专门用来翻墙的路由器未免试用成本也太高了。如果没有人愿意尝试，更加不会有人来使用。</li>
<li>路由器安装软件不方便。笔者花了大量时间研究OpenWRT的USB刷机方式。虽然技术上有所突破，但是仍然感觉不适合普通人操作。</li>
<li>硬件受限。路由器的CPU都很慢。内存非常小。如果不是用C来编写应用，速度会非常慢。极大地抬高了开发成本。流行的翻墙工具GoAgent和shadowsocks的最初版本都是Python的。</li>
</ol>
<p>有没有既可以获得路由器的好处，又克服了其缺点的解决方案呢？答案是肯定的。手机做为路由器就可以。目前fqrouter已经推出了Android版本，把手机变成了翻墙路由器。一方面，完成了平台的跃升，从终端翻墙变为了路由器翻墙。另外一方面，因为手机的便携，无需额外设备，安装软件简单，而且硬件强大完胜了常规意义上的路由器。使用手机做为路由器之后：</p>
<ol>
<li>翻墙方式不再受到终端的限制。只要能接入路由器，就可以翻墙。</li>
<li>提供翻墙工具的人不需要测试所有的终端是不是支持。</li>
<li>多种终端可以同时共享一个路由器。无需重复配置。</li>
<li>路由器基于的Linux操作系统给翻墙工具的作者提供了极大的便利，新的工具可以更容易地被实现出来。</li>
<li>提供了一定的直穿的可能性。</li>
<li>iPhone, Windows Phone等设备不需要越狱，也可以通过翻墙路由器享受到shadowsocks等更高级的翻墙工具。</li>
</ol>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571086274.png" alt=""></p>
<p>运行在Android上的翻墙工具fqrouter已经在Google Play上架了：<a href="https://play.google.com/store/apps/details?id=fq.router2" target="_blank" rel="external">https://play.google.com/store/apps/details?id=fq.router2</a></p>
<p>这是趋势一，平台的提升。第二个趋势是去中心化。我相信未来的趋势肯定不是什么境外敌对势力出于不可告人的目的给我们提供翻墙方式。未来的趋势是各自为战的，公开贩卖的各种翻墙服务会被封杀殆尽。我们要确保的底线是，做为个人，在拥有一台国外服务器，然后有一定技术能力的情况下，能够稳定无忧的翻墙。</p>
<p>在我们能够保证独善其身的前提下，才有可能怎么去达则兼善天下。才有可能以各自为圆心，把服务以P2P的方式扩散给亲朋好友使用。即便是能够有这样的互助网络建立起来，也肯定是一种去中心化的，开源的实现。只有遍地开花，才能避免被连根拔起。</p>
<p>前面谈到路由器刷第三方固件对于个人来说不是理想的翻墙路由器的实现方式。但是固定部署的路由器却是理想的P2P节点。P2P的一个简化版本是APN，也就是把代理放在国内，然后iPhone等可以简单地使用HTTP未加密方式使用代理。这种部署方式就比较适合刷在固定部署的路由器上。个人可以在自己家里的路由器上部署了代理，然后无论走到哪里都可以通过家里的路由器代理上网。使用路由器固定部署P2P节点的好处是P2P网络可以有更多的稳定接入点。这些刷了OpenWRT等第三方系统安装了P2P节点程序的路由器不会是普通人玩得转的。其意义更多是有技术实力的志愿者，提供自己的家庭路由器，以换得其他方面的方便。</p>
<p>实现一个P2P的网络的难点有三个：</p>
<ol>
<li>代理服务器的容量有限。传统的代理服务器是无法负载很多人同时用1080P看youtube的，因为带宽不够。不要说免费的P2P网络，就是很多付费的代理服务，也无法满足容量要求。</li>
<li>中心服务器被封IP。TOR做为著名的P2P网络，其主要问题就是要接入其网络需要连接一个中心服务器。这些服务器的IP数量是有限的。GFW会尽一切力量找到这些IP，然后封IP。</li>
<li>P2P意味着索取与奉献。人人都想这索取，为什么会有人奉献？如果没有一个等价交换做为社区的基础，这个社区是无法长久的。</li>
</ol>
<p>目前仍然没有理想的P2P翻墙方式出现。但是这是fqrouter的努力方向。</p>
<blockquote>
<p>中心化的翻墙方式，特别是商业贩卖的翻墙服务注定难逃被捕杀殆尽的命运。具有光明未来的翻墙方式必然是去中心化的，松散的，自组织的P2P的。</p>
</blockquote>
<h1 id="0×01-全面学习GFW"><a href="#0×01-全面学习GFW" class="headerlink" title="0×01 全面学习GFW"></a>0×01 全面学习GFW</h1><p>GFW会是一个长期的存在。要学会与之共存，必须先了解GFW是什么。做为局外人，学习GFW有六个角度。渐进的来看分别是：</p>
<p>首先我们学习到的是WHAT和WHEN。比如说，你经常听到人的议论是“昨天”，“github”被封了。其中的昨天就是WHEN，github就是WHAT。这是学习GFW的最天然，最朴素的角度。在这个方面做得非常极致的是一个叫做<a href="https://en.greatfire.org/" target="_blank" rel="external">greatfire</a>的网站。这个网站长期监控成千上万个网站和关键词。通过长期监控，不但可以掌握WHAT被封锁了，还可以知道WHEN被封的，WHEN被解封的。</p>
<p>接下来的角度是WHO。比如说，“方校长”这个人名就经常和GFW同时出现。但是如果仅仅是掌握一个两个人名，然后像某位同志那样天天在twitter上骂一遍那样，除了把这个人名骂成名人之外，没有什么特别的积极意义。我更看好这篇文章<a href="https://www.google.com.hk/search?ie=utf-8&amp;oe=UTF-8&amp;hl=zh-CN&amp;q=%E9%80%9A%E8%BF%87%E5%88%86%E6%9E%90%E8%AE%BA%E6%96%87%E6%8C%96%E6%8E%98%E9%98%B2%E7%81%AB%E9%95%BF%E5%9F%8E(GFW" target="_blank" rel="external">通过分析论文挖掘防火长城(GFW)的技术人员</a>%E7%9A%84%E6%8A%80%E6%9C%AF%E4%BA%BA%E5%91%98&amp;gws_rd=ssl)的思路。通过网络上的公开信息，掌握GFW的哪些方面与哪些人有关系，这些合作者之间又有什么联系。除了大家猜测的将来可以鞭尸之外，对现在也是有积极的意义的。比如关注这些人的研究动态和思想发展，可以猜测GFW的下一步发展方向。比如阅读过去发表的论文，可以了解GFW的技术演进历史，可以从历史中找到一些技术或者管理体制上的缺陷。</p>
<p>再接下来就是WHY了。github被封之后就常听人说，github这样的技术网站你封它干啥？是什么原因促成了一个网站的被封与解封的？我们做为局外人，真正的原因当然是无从得知的。但是我们可以猜测。基于猜测，可以把不同网站被封，与网络上的舆情时间做关联和分类。我们知道，方校长对于网路舆情监控是有很深入研究的。有一篇论文（Whiskey, Weed, and Wukan on the World Wide Web: On Measuring Censors’ Resources and Motivations）专门讨论监管者的动机的。观测触发被封的事件与实际被封之间的时间关系，也可以推测出一些有趣的现象。比如有人报告，OpenVPN触发的封端口和封IP这样的事情一般都发生在中国的白天。也就是说，GFW背后不光是机器，有一些组件是血肉构成的。</p>
<p>剩下的两个角度就是对如何翻墙穿墙最有价值的两个角度了：HOW和WHERE。HOW是非常好理解的，就是在服务器和客户端两边抓包，看看一个正常的网络通信，GFW做为中间人，分别给两端在什么时候发了什么包或者过滤掉了什么包。而这些GFW做的动作，无论是过滤还是发伪包又是如何干扰客户端与服务器之间的正常通信的。WHERE是在知道了HOW之后的进一步发展，不但要了解客户端与服务器这两端的情况，更要了解GFW是挂在两端中间的哪一级路由器上做干扰的。在了解到GFW的关联路由器的IP的基础上，可以根据不同的干扰行为，不同的运营商归属做分组，进一步了解GFW的整体部署情况。</p>
<p>整体上来说，对GFW的研究都是从WHAT和WHEN开始，让偏人文的就去研究WHO和WHY，像我们这样偏工程的就会去研究HOW和WHERE。以上就是全面了解GFW的主体脉络。接下来，我们就要以HOW和WHERE这两个角度去看一看GFW的原理。</p>
<h1 id="0×02-GFW的原理"><a href="#0×02-GFW的原理" class="headerlink" title="0×02 GFW的原理"></a>0×02 GFW的原理</h1><p>要与GFW对抗不能仅仅停留在什么不能访问了，什么可以访问之类的表面现象上。知道youtube不能访问了，对于翻墙来说并无帮助。但是知道GFW是如何让我们不能访问youtube的，则对下一步的翻墙方案的选择和实施具有重大意义。所以在讨论如何翻之前，先要深入原理了解GFW是如何封的。</p>
<p>总的来说，GFW是一个分布式的入侵检测系统，并不是一个严格意义上的防火墙。不是说每个出入国境的IP包都需要先经过GFW的首可。作为一个入侵检测系统，GFW把你每一次访问facebook都看做一次入侵，然后在检测到入侵之后采取应对措施，也就是常见的连接重置。整个过程一般话来说就是：</p>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571172873.png" alt=""></p>
<p>检测有两种方式。一种是人工检测，一种是机器检测。你去国新办网站举报，就是参与了人工检测。在人工检测到不和谐的网站之后，就会采取一些应对方式来防止国内的网民访问该网站。对于这类的封锁，规避检测就不是技术问题了，只能从GFW采取的应对方式上采取反制措施。另外一类检测是机器检测，其检测过程又可以再进一步细分：</p>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571174079.png" alt=""></p>
<h2 id="重建"><a href="#重建" class="headerlink" title="重建"></a>重建</h2><p>重建是指GFW从网络上监听过往的IP包，然后分析其中的TCP协议，最后重建出一个完整的字节流。分析是在这个重建的字节流上分析具体的应用协议，比如HTTP协议。然后在应用协议中查找是不是有不和谐的内容，然后决定采用何种应对方式。</p>
<p>所以，GFW机器检测的第一步就是重建出一个字节流。那么GFW是如何拿到原始的IP包的呢？真正的GFW部署方式，外人根本无从得知。据猜测，GFW是部署在国家的出口路由器的旁路上，用“分光”的方式把IP包复制一份到另外一根光纤上，从而拿到所有进出国境的IP包。下图引在<a href="http://gfwrev.blogspot.com" target="_blank" rel="external">@GFW技术评论</a>：</p>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571116045.png" alt=""></p>
<p>但是Google在北京有自己的机房。所以聪明的网友就使用Google的北京机房提供的GAE服务，用Goagent软件达到高速翻墙的目的。但是有网友证实（<a href="https://twitter.com/chengr28/status/260970749190365184），即便是北京的机房也会被骨干网丢包。事实上Google在北京的谷翔机房有一个独立的AS（BGP的概念）。这个AS与谷歌总部有一条IPV6的直连线路，所以通过这个机房可以用IPV6不受墙的限制出去。但是这个AS无论是连接国内还是国外都是要经过GFW的。所以机房在北京也不能保证国内访问不被墙。GFW通过配置骨干网的BGP路由规则，是可以让国内的机房也经过它的。另外一个例子是当我们访问被封的网站触发连接重置的时候，往往收到两个RST包，但是TTL不同。还有一个例子是对于被封的IP，访问的IP包还没有到达国际出口就已经被丢弃。所以GFW应该在其他地方也部署有设备，据推测是在省级骨干路由的位置。" target="_blank" rel="external">https://twitter.com/chengr28/status/260970749190365184），即便是北京的机房也会被骨干网丢包。事实上Google在北京的谷翔机房有一个独立的AS（BGP的概念）。这个AS与谷歌总部有一条IPV6的直连线路，所以通过这个机房可以用IPV6不受墙的限制出去。但是这个AS无论是连接国内还是国外都是要经过GFW的。所以机房在北京也不能保证国内访问不被墙。GFW通过配置骨干网的BGP路由规则，是可以让国内的机房也经过它的。另外一个例子是当我们访问被封的网站触发连接重置的时候，往往收到两个RST包，但是TTL不同。还有一个例子是对于被封的IP，访问的IP包还没有到达国际出口就已经被丢弃。所以GFW应该在其他地方也部署有设备，据推测是在省级骨干路由的位置。</a></p>
<p>对于GFW到底在哪这个话题，最近又有国外友人表达了兴趣（<a href="https://github.com/mothran/mongol）。笔者在前人的基础上写了一个更完备的探测工具https://github.com/fqrouter/qiang。其原理是基于一个IP协议的特性叫TTL。TTL是Time" target="_blank" rel="external">https://github.com/mothran/mongol）。笔者在前人的基础上写了一个更完备的探测工具https://github.com/fqrouter/qiang。其原理是基于一个IP协议的特性叫TTL。TTL是Time</a> to Live的简写。IP包在没经过一次路由的时候，路由器都会把IP包的TTL减去1。如果TTL到零了，路由器就不会再把IP包发给下一级路由。然后我们知道GFW会在监听到不和谐的IP包之后发回RST包来重置TCP连接。那么通过设置不同的TTL就可以知道从你的电脑，到GFW之间经过了几个路由器。比如说TTL设置成9不触发RST，但是10就触发RST，那么到GFW就是经过了10个路由器。另外一个IP协议的特性是当TTL耗尽的时候，路由器应该发回一个TTL EXCEEDED的ICMP包，并把自己的IP地址设置成SRC（来源）。结合这两点，就可以探测出IP包是到了IP地址为 什么（多少）的路由器之后才被GFW检测到。有了IP地址之后，再结合IP地址地理位置的数据库就可以知道其地理位置。据说，得出的位置大概是这样的：</p>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571118944.jpg" alt=""></p>
<p>但是这里检测出来的IP到底是GFW的还是骨干路由器的？更有可能的是骨干路由器的IP。GFW做为一个设备用“分光”的方式挂在主干路由器旁边做入侵检测。无论如何，GFW通过某种神奇的方式，可以拿到你和国外服务器之间来往的所有的IP包，这点是肯定的。更严谨的理论研究有：<a href="http://web.eecs.umich.edu/~zmao/Papers/china-censorship-pam11.pdf" target="_blank" rel="external">Internet Censorship in China: Where Does the Filtering Occur</a></p>
<p>GFW在拥有了这些IP包之后，要做一个艰难的决定，那就是到底要不要让你和服务器之间的通信继续下去。GFW不能太过于激进，毕竟全国性的不能访问国外的网站是违反GFW自身存在价值的。GFW就需要在理解了IP包背后代表的含义之后，再来决定是不是可以安全的阻断你和国外服务器之间的连接。这种理解就要建立了前面说的“重建”这一步的基础上。大概用图表达一下重建是在怎么一回事：</p>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571192283.png" alt=""></p>
<p>重建需要做的事情就是把IP包1中的GET /inde和IP包2中的x.html H和IP包3中的TTP/1.1拼到一起变成GET /index.html HTTP/1.1。拼出来的数据可能是纯文本的，也可能是二进制加密的协议内容。具体是什么是你和服务器之间约定好的。GFW做为窃听者需要猜测才知道你们俩之间的交谈内容。对于HTTP协议就非常容易猜测了，因为HTTP的协议是标准化的，而且是未加密的。所以GFW可以在重建之后很容易的知道，你使用了HTTP协议，访问的是什么网站。</p>
<p>重建这样的字节流有一个难点是如何处理巨大的流量？这个问题在这篇<a href="http://gfwrev.blogspot.tw/2010/02/gfw.html" target="_blank" rel="external">博客</a>中已经讲得很明白了。其原理与网站的负载均衡器一样。对于给定的来源和目标，使用一个HASH算法取得一个节点值，然后把所有符合这个来源和目标的流量都往这个节点发。所以在一个节点上就可以重建一个TCP会话的单向字节流。</p>
<p>最后为了讨论完整，再提两点。虽然GFW的重建发生在旁路上是基于分光来实现的，但并不代表整个GFW的所有设备都在旁路。后面会提到有一些GFW应对形式必须是把一些GFW的设备部署在了主干路由上，比如对Google的HTTPS的间歇性丢包，也就是GFW是要参与部分IP的路由工作的。另外一点是，重建是单向的TCP流，也就是GFW根本不在乎双向的对话内容，它只根据监听到的一个方向的内容然后做判断。但是监听本身是双向的，也就是无论是从国内发到国外，还是从国外发到国内，都会被重建然后加以分析。所以一个TCP连接对于GFW来说会被重建成两个字节流。具体的证据会在后面谈如何直穿GFW中详细讲解。</p>
<h2 id="分析"><a href="#分析" class="headerlink" title="分析"></a>分析</h2><p>分析是GFW在重建出字节流之后要做的第二步。对于重建来说，GFW主要处理IP协议，以及上一层的TCP和UDP协议就可以了。但是对于分析来说，GFW就需要理解各种各样的应用层的稀奇古怪的协议了。甚至，我们也可以自己发明新的协议。</p>
<p>总的来说，GFW做协议分析有两个相似，但是不同的目的。第一个目的是防止不和谐内容的传播，比如说使用Google搜索了“不该”搜索的关键字。第二个目的是防止使用翻墙工具绕过GFW的审查。</p>
<p>下面列举一些已知的GFW能够处理的协议。</p>
<h3 id="防止不和谐内容传播"><a href="#防止不和谐内容传播" class="headerlink" title="防止不和谐内容传播"></a>防止不和谐内容传播</h3><p>对于GFW具体是怎么达到目的一，也就是防止不和谐内容传播的就牵涉到对HTTP协议和DNS协议等几个协议的明文审查。大体的做法是这样的。</p>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571240415.png" alt=""></p>
<p>像HTTP这样的协议会有非常明显的特征供检测，所以第一步就没什么好说的了。当GFW发现了包是HTTP的包之后就会按照HTTP的协议规则拆包。这个拆包过程是GFW按照它对于协议的理解来做的。比如说，从HTTP的GET请求中取得请求的URL。然后GFW拿到这个请求的URL去与关键字做匹配，比如查找Twitter是否在请求的URL中。为什么有拆包这个过程？首先，拆包之后可以更精确的打击，防止误杀。另外可能预先做拆包，比全文匹配更节省资源。其次，xiaoxia和liruqi同学的jjproxy的核心就是基于GFW的一个HTTP拆包的漏洞，当然这个bug已经被修复了。其原理就是GFW在拆解HTTP包的时候没有处理有多出来的\r\n这样的情况，但是你访问的google.com却可以正确处理额外的\r\n的情况。从这个例子中可以证明，GFW还是先去理解协议，然后才做关键字匹配的。关键字匹配应该就是使用了一些高效的正则表达式算法，没有什么可以讨论的。</p>
<p>HTTP代理和SOCKS代理，这两种明文的代理都可以被GFW识别。之前笔者认为GFW可以在识别到HTTP代理和SOCKS代理之后，再拆解其内部的HTTP协议的正文。也就是做两次拆包。但是分析发现，HTTP代理的关键字列表和HTTP的关键字列表是不一样的，所以笔者现在认为HTTP代理协议和SOCKS代理协议是当作单独的协议来处理的，并不是拆出载荷的HTTP请求再进行分析的。</p>
<p>目前已知的GFW会做的协议分析如下：</p>
<h4 id="DNS-查询"><a href="#DNS-查询" class="headerlink" title="DNS 查询"></a>DNS 查询</h4><p>GFW可以分析53端口的UDP协议的DNS查询。如果查询的域名匹配关键字则会被DNS劫持。可以肯定的是，这个匹配过程使用的是类似正则的机制，而不仅仅是一个黑名单，因为子域名实在太多了。证据是：2012年11月9日下午3点半开始，防火长城对Google的泛域名 .google.com 进行了大面积的污染，所有以 .google.com 结尾的域名均遭到污染而解析错误不能正常访问，其中甚至包括不存在的域名。（来源：<a href="http://zh.wikipedia.org/wiki/%E5%9F%9F%E5%90%8D%E5%8A%AB%E6%8C%81）" target="_blank" rel="external">http://zh.wikipedia.org/wiki/%E5%9F%9F%E5%90%8D%E5%8A%AB%E6%8C%81）</a></p>
<p>目前为止53端口之外的查询也没有被劫持。但是TCP的DNS查询已经可以被TCP RST切断了，表明了GFW具有这样的能力，只是不屑于大规模部署。而且TCP查询的关键字比UDP劫持的域名要少的多。目前只有dl.dropbox.com会触发TCP RST。相关的研究论文有：</p>
<ul>
<li><a href="https://www1.icsi.berkeley.edu/~nweaver/papers/2012-satin-holdon.pdf" target="_blank" rel="external">Hold-On: Protecting Against On-Path DNS Poisoning</a></li>
<li><a href="https://censorbib.nymity.ch/pdf/Lowe2007a.pdf" target="_blank" rel="external">The Great DNS Wall of China</a></li>
</ul>
<h4 id="HTTP-请求"><a href="#HTTP-请求" class="headerlink" title="HTTP 请求"></a>HTTP 请求</h4><p>GFW可以识别出HTTP协议，并且检查GET的URL与HOST。如果匹配了关键字则会触发TCP RST阻断。前面提到了jjproxy使用的构造特殊的HTTP GET请求欺骗GFW的做法已经失效，现在GFW只要看到\r\n就直接TCP RST阻断了（来源<a href="https://plus.google.com/u/0/108661470402896863593/posts/6U6Q492M3yY）。相关的研究论文有：" target="_blank" rel="external">https://plus.google.com/u/0/108661470402896863593/posts/6U6Q492M3yY）。相关的研究论文有：</a></p>
<p><a href="http://www.internetfreedom.org/files/WhitePaper/ChinaGreatFirewallRevealed.pdf" target="_blank" rel="external">The Great Firewall Revealed</a><br><a href="http://www.cl.cam.ac.uk/~rnc1/ignoring.pdf" target="_blank" rel="external">Ignoring the Great Firewall of China</a><br><a href="http://gfwrev.blogspot.com/2010/03/http-url.html" target="_blank" rel="external">HTTP URL/深度关键字检测</a><br><a href="http://www.csd.uoc.gr/~hy558/papers/conceptdoppler.pdf" target="_blank" rel="external">ConceptDoppler: A Weather Tracker for Internet Censorship</a></p>
<h4 id="HTTP-响应"><a href="#HTTP-响应" class="headerlink" title="HTTP 响应"></a>HTTP 响应</h4><p>GFW除了会分析上行的HTTP GET请求，对于HTTP返回的内容也会做全文关键字检查。这种检查与对请求的关键字检查不是由同一设备完成的，而且对GFW的资源消耗也更大。相关的研究论文有：</p>
<p><a href="http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.191.206&amp;rep=rep1&amp;type=pdf" target="_blank" rel="external">Empirical Study of a National-Scale Distributed Intrusion Detection System: Backbone-Level Filtering of HTML Responses in China</a></p>
<h4 id="HTTP代理协议"><a href="#HTTP代理协议" class="headerlink" title="HTTP代理协议"></a>HTTP代理协议</h4><p>TODO</p>
<h4 id="SOCKS4-5代理协议"><a href="#SOCKS4-5代理协议" class="headerlink" title="SOCKS4/5代理协议"></a>SOCKS4/5代理协议</h4><p>TODO</p>
<h4 id="SMTP-协议"><a href="#SMTP-协议" class="headerlink" title="SMTP 协议"></a>SMTP 协议</h4><p>因为有很多翻墙软件都是以邮件索取下载地址的方式发布的，所以GFW有针对性的封锁了SMTP协议，阻止这样的邮件往来。</p>
<p>封锁有三种表现方式（<a href="http://fqrouter.tumblr.com/post/43400982633/gfw-smtp），简单概要的说就是看邮件是不是发往上了黑名单的邮件地址的（比如xiazai@upup.info就是一个上了黑名单的邮件地址），如果发现了就立马用TCP" target="_blank" rel="external">http://fqrouter.tumblr.com/post/43400982633/gfw-smtp），简单概要的说就是看邮件是不是发往上了黑名单的邮件地址的（比如xiazai@upup.info就是一个上了黑名单的邮件地址），如果发现了就立马用TCP</a> RST包切断连接。</p>
<h4 id="电驴-ed2k-协议"><a href="#电驴-ed2k-协议" class="headerlink" title="电驴(ed2k)协议"></a>电驴(ed2k)协议</h4><p>GFW还会过滤电驴（ed2k）协议中的查询内容。因为ed2k还有一个混淆模式，会加密往来的数据包，GFW会切断所有使用混淆模式的ed2k连接，迫使客户端使用明文与服务器通讯（<a href="http://fqrouter.tumblr.com/post/43490772120/gfw-ed2k）。然后如果客户端发起了搜索请求，查找的关键字中包含敏感词的话就会被用TCP" target="_blank" rel="external">http://fqrouter.tumblr.com/post/43490772120/gfw-ed2k）。然后如果客户端发起了搜索请求，查找的关键字中包含敏感词的话就会被用TCP</a> RST包切断连接。</p>
<h3 id="对翻墙流量的分析识别"><a href="#对翻墙流量的分析识别" class="headerlink" title="对翻墙流量的分析识别"></a>对翻墙流量的分析识别</h3><p>GFW的第二个目的是封杀翻墙软件。为了达到这个目的GFW采取的手段更加暴力。原因简单，对于HTTP协议的封杀如果做不好会影响互联网的正常运作，GFW与互联网是共生的关系，它不会做威胁自己存在的事情。但是对于TOR这样的几乎纯粹是为翻墙而存在的协议，只要检测出来就是格杀勿论的了。GFW具体是如何封杀各种翻墙协议的，我也不是很清楚，事态仍然在不断更新中。但是举两个例子来证明GFW的高超技术。</p>
<h4 id="TOR"><a href="#TOR" class="headerlink" title="TOR"></a>TOR</h4><p>第一个例子是GFW对TOR的自动封杀，体现了GFW尽最大努力去理解协议本身。根据这篇博客（<a href="https://blog.torproject.org/blog/knock-knock-knockin-bridges-doors）。使用中国的IP去连接一个美国的TOR网桥，会被GFW发现。然后GFW回头（15分钟之后）会亲自假装成客户端，用TOR的协议去连接那个网桥。如果确认是TOR的网桥，则会封当时的那个端口。换了端口之后，可以用一段时间，然后又会被封。这表现出了GFW对于协议的高超检测能力，可以从国际出口的流量中敏锐地发现你连接的TOR网桥。据TOR的同志说是因为TOR协议中的握手过程具有太明显的特征了。另外一点就表现了GFW的不辞辛劳，居然会自己伪装成客户端过去连连看。" target="_blank" rel="external">https://blog.torproject.org/blog/knock-knock-knockin-bridges-doors）。使用中国的IP去连接一个美国的TOR网桥，会被GFW发现。然后GFW回头（15分钟之后）会亲自假装成客户端，用TOR的协议去连接那个网桥。如果确认是TOR的网桥，则会封当时的那个端口。换了端口之后，可以用一段时间，然后又会被封。这表现出了GFW对于协议的高超检测能力，可以从国际出口的流量中敏锐地发现你连接的TOR网桥。据TOR的同志说是因为TOR协议中的握手过程具有太明显的特征了。另外一点就表现了GFW的不辞辛劳，居然会自己伪装成客户端过去连连看。</a></p>
<h4 id="ShadowSocks"><a href="#ShadowSocks" class="headerlink" title="ShadowSocks"></a>ShadowSocks</h4><p>第二个例子表现了GFW根本不在乎加密的流量中的具体内容是不是有敏感词。只要疑似翻墙，特别是提供商业服务给多个翻墙，就会被封杀。根据这个帖子（<a href="http://www.v2ex.com/t/55531），使用的ShadowSocks协议。预先部署密钥，没有明显的握手过程仍然被封。据说是GFW已经升级为能够机器识别出哪些加密的流量是疑似翻墙服务的。" target="_blank" rel="external">http://www.v2ex.com/t/55531），使用的ShadowSocks协议。预先部署密钥，没有明显的握手过程仍然被封。据说是GFW已经升级为能够机器识别出哪些加密的流量是疑似翻墙服务的。</a></p>
<p>关于GFW是如何识别与封锁翻墙服务器的，最近写了一篇文章提出我的猜想，大家可以去看看：<a href="http://fqrouter.tumblr.com/post/45969604783/gfw。" target="_blank" rel="external">http://fqrouter.tumblr.com/post/45969604783/gfw。</a></p>
<h4 id="OpenVPN-amp-SSL"><a href="#OpenVPN-amp-SSL" class="headerlink" title="OpenVPN &amp; SSL"></a>OpenVPN &amp; SSL</h4><p>最近发现GFW对OpenVPN和SSL证书已经可以做到准实时的封IP（端口）。原理应该是离线做的深包分析，然后提取出可疑的IP列表，经过人工确认之后封IP。因为OpenVPN有显著的协议的特征，而且基本不用于商业场景所以很容易确认是翻墙服务。但是SSL也就是HTTPS用的加密协议也能基于“证书”做过滤不得不令人感到敬畏了。Shadowsocks的作者Clowwindy为此专门撰文“为什么不应该用SSL翻墙“：<a href="https://gist.github.com/clowwindy/5947691。" target="_blank" rel="external">https://gist.github.com/clowwindy/5947691。</a></p>
<p>总结起来就是，GFW已经基本上完成了目的一的所有工作。明文的协议从HTTP到SMTP都可以分析然后关键字检测，甚至电驴这样不是那么大众的协议GFW都去搞了。从原理上来说也没有什么好研究的，就是明文，拆包，关键字。GFW显然近期的工作重心在分析网络流量上，从中识别出哪些是翻墙的流量。这方面的研究还比较少，而且一个显著的特征是自己用没关系，大规模部署就容易出问题。我目前没有在GFW是如何封翻墙工具上有太多研究，只能是道听途说了。</p>
<h2 id="应对"><a href="#应对" class="headerlink" title="应对"></a>应对</h2><p>GFW的应对措施是三步中最明显的，因为它最直接。GFW的重建过程和协议分析的过程需要耐心的试探才能大概推测出GFW是怎么实现的。但是GFW的应对手段我们每天都可以见到，比如连接重置。GFW的应对目前可以感受到的只有一个目的就是阻断。但是从广义上来说，应对方式应该不限于阻断。比如说记录下日志，然后做统计分析，秋后算账什么的也可以算是一种应对。就阻断方式而言，其实并不多，那么我们一个个来列举吧。</p>
<h3 id="封IP"><a href="#封IP" class="headerlink" title="封IP"></a>封IP</h3><p>一般常见于人工检测之后的应对。还没有听说有什么方式可以直接使得GFW的机器检测直接封IP。一般常见的现象是GFW机器检测，然后用TCP RST重置来应对。过了一段时间才会被封IP，而且没有明显的时间规律。所以我的推测是，全局性的封IP应该是一种需要人工介入的。注意我强调了全局性的封IP，与之相对的是部分封IP，比如只对你访问那个IP封个3分钟，但是别人还是可以访问这样的。这是一种完全不同的封锁方式，虽然现象差不多，都是ping也ping不通。要观摩的话ping twitter.com就可以了，都封了好久了。</p>
<p>其实现方式是把无效的路由黑洞加入到主干路由器的路由表中，然后让这些主干网上的路由器去帮GFW把到指定IP的包给丢弃掉。路由器的路由表是动态更新的，使用的协议是BGP协议。GFW只需要维护一个被封的IP列表，然后用BGP协议广播出去就好了。然后国内主干网上的路由器都好像变成了GFW的一份子那样，成为了帮凶。</p>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571271670.png" alt=""></p>
<p>如果我们使用traceroute去检查这种被全局封锁的IP就可以发现，IP包还没有到GFW所在的国际出口就已经被电信或者联通的路由器给丢弃了。这就是BGP广播的作用了。</p>
<h3 id="DNS劫持"><a href="#DNS劫持" class="headerlink" title="DNS劫持"></a>DNS劫持</h3><p>这也是一种常见的人工检测之后的应对。人工发现一个不和谐网站，然后就把这个网站的域名给加到劫持列表中。其原理是基于DNS与IP协议的弱点，DNS与IP这两个协议都不验证服务器的权威性，而且DNS客户端会盲目地相信第一个收到的答案。所以你去查询facebook.com的话，GFW只要在正确的答案被返回之前抢答了，然后伪装成你查询的DNS服务器向你发错误的答案就可以了。</p>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571253840.png" alt=""></p>
<h3 id="TCP-RST阻断"><a href="#TCP-RST阻断" class="headerlink" title="TCP RST阻断"></a>TCP RST阻断</h3><p>TCP协议规定，只要看到RST包，连接立马被中断。从浏览器里来看就是连接已经被重置。我想对于这个错误大家都不陌生。据我个人观感，这种封锁方式是GFW目前的主要应对手段。大部分的RST是条件触发的，比如URL中包含某些关键字。目前享受这种待遇的网站就多得去了，著名的有facebook。还有一些网站，会被无条件RST。也就是针对特定的IP和端口，无论包的内容就会触发RST。比较著名的例子是https的wikipedia。GFW在TCP层的应对是利用了IPv4协议的弱点，也就是只要你在网络上，就假装成任何人发包。所以GFW可以很轻易地让你相信RST确实是Google发的，而让Google相信RST是你发的。</p>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571298497.png" alt=""></p>
<h3 id="封端口"><a href="#封端口" class="headerlink" title="封端口"></a>封端口</h3><p>GFW除了自身主体是挂在骨干路由器旁路上的入侵检测设备，利用分光技术从这个骨干路由器抓包下来做入侵检测 (所谓 IDS)，除此之外这个路由器还会被用来封端口 (所谓 IPS)。GFW在检测到入侵之后可以不仅仅可以用TCP RST阻断当前这个连接，而且利用骨干路由器还可以对指定的IP或者端口进行从封端口到封IP，设置选择性丢包的各种封禁措施。可以理解为骨干路由器上具有了类似“iptables”的能力（网络层和传输层的实时拆包，匹配规则的能力）。这个iptables的能力在CISCO路由器上叫做ACL Based Forwarding (ABF)。而且规则的部署是全国同步的，一台路由器封了你的端口，全国的挂了GFW的骨干路由器都会封。一般这种封端口都是针对翻墙服务器的，如果检测到服务器是用SSH或者VPN等方式提供翻墙服务。GFW会在全国的出口骨干路由上部署这样的一条ACL规则，来封你这个服务器+端口的下行数据包。也就是如果包是从国外发向国内的，而且src（源ip）是被封的服务器ip，sport（源端口）是被封的端口，那么这个包就会被过滤掉。这样部署的规则的特点是，上行的数据包是可以被服务器收到的，而下行的数据包会被过滤掉。</p>
<p>如果被封端口之后服务器采取更换端口的应对措施，很快会再次被封。而且多次尝试之后会被封IP。初步推断是，封端口不是GFW的自动应对行为，而是采取黑名单加人工过滤地方式实现的。一个推断的理由就是网友报道，封端口都是发生在白天工作时间。</p>
<p>在进入了封端口阶段之后，还会有继发性的临时性封其他端口的现象，但是这些继发性的封锁具有明显的超时时间，触发了之后（触发条件不是非常明确）会立即被封锁，然后过了一段时间就自动解封。目前对于这一波封SSH/OPENVPN采用的以封端口为明显特征的封锁方式研究尚不深入。可以参考我最近写的一篇文章：<a href="http://fqrouter.tumblr.com/post/45969604783/gfw" target="_blank" rel="external">http://fqrouter.tumblr.com/post/45969604783/gfw</a></p>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571226679.png" alt=""></p>
<h3 id="HTTPS间歇性丢包"><a href="#HTTPS间歇性丢包" class="headerlink" title="HTTPS间歇性丢包"></a>HTTPS间歇性丢包</h3><p>对于Google的HTTPS服务，GFW不愿意让其完全不能访问。所以采取的办法是对于Google的某些IP的443端口采取间歇性丢包的措施。最明显的ip段是国内解析google域名常见的74.125.128.*。其原理应该类似于封端口，是在骨干路由器上做的丢包动作。但是触发条件并不只是看IP和端口，加上了时间间隔这样一个条件。</p>
<h1 id="0×03-翻墙原理"><a href="#0×03-翻墙原理" class="headerlink" title="0×03 翻墙原理"></a>0×03 翻墙原理</h1><p>前面从原理上讲解了GFW的运作原理。翻墙的原理与之相对应，分为两大类。第一类是大家普遍的使用的绕道的方式。IP包经由第三方中转已加密的形式通过GFW的检查。这样的一种做法更像“翻”墙，是从墙外绕过去的。第二类是找出GFW检测过程的中一些BUG，利用这些BUG让GFW无法知道准确的会话内容从而放行。这种做法更像“穿”墙。曾经引起一时轰动的“西厢计划”第一季就是基于这种方式的实现。</p>
<p>基于绕道法的翻墙方式无论是VPN还是SOCKS代理，原理都是类似的。都是以国外有一个代理服务器为前提，然后你与代理服务器通信，代理服务器再与目标服务器通信。</p>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571362513.png" alt=""></p>
<p>绕道法对于IP封锁来说，因为最终的IP包是由代理服务器在墙外发出的，所以国内骨干路由封IP并不会产生影响。对于TCP重置来说，因为TCP重置是以入侵检测为前提的，客户端与代理之间的加密通信规避了入侵检测，使得TCP重置不会被触发。</p>
<p>但是对于反DNS污染来说，VPN和SOCKS代理却有不同。基于VPN的翻墙方法，得到正确的DNS解析的结果需要设置一个国外的没有被污染的DNS服务器。然后发UDP请求去解析域名的时候，VPN会用绕道的方式让UDP请求不被劫持地通过GFW。</p>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571364142.png" alt=""></p>
<p>但是SOCKS代理和HTTP代理这些更上层的代理协议则可以选择不同的方式。因为代理与应用之间有更紧密的关系，应用程序比如浏览器可以把要访问的服务器的域名直接告诉本地的代理。然后SOCKS代理可以选择不在本地做解析，直接把请求发给墙外的代理服务器。在代理服务器去与目标服务器做连接的时候再在代理服务器上做DNS解析，从而避开了GFW的DNS劫持。</p>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571343558.png" alt=""></p>
<p>VPN与SOCKS代理的另外一个主要区别是应用程序是如何使用上代理去访问国外的服务器的。先来看不加代理的时候，应用程序是如何访问网络的。</p>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571384358.png" alt=""></p>
<p>应用程序把IP包交给操作系统，操作系统会去决定把包用机器上的哪块网卡发出去。VPN的客户端对于操作系统来说就是一个虚拟出来的网卡。应用程序完全不用知道VPN客户端的存在，操作系统甚至也不需要区分VPN客户端与普通网卡的区别。</p>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571360138.png" alt=""></p>
<p>VPN客户端在启动之后会把操作系统的缺省路由改成自己。这样所有的IP包都会经由这块虚拟的网卡发出去。这样VPN就能够再打包成加密的流量发出去（当然线路还是之前的电信线路），发回去的加密流量再解密拆包交还给操作系统。</p>
<p>SOCKS代理等应用层的代理则不同。其流量走不走代理的线路并不是由操作系统使用路由表选择网卡来决定的，而是在应用程序里自己做的。也就是说，对于操作系统来说，使用SOCKS代理的TCP连接和不使用SOCKS代理的TCP连接并没有任何的不同。应用程序自己去选择是直接与目标服务器建立连接，还是与SOCKS代理服务器建立TCP连接，然后由SOCKS代理服务器去建立第二个TCP连接，两个TCP连接的数据由代理服务器中转。</p>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571486027.png" alt=""></p>
<p>关于VPN/SOCKS代理，可以参见我博客上的文章：<a href="http://fqrouter.tumblr.com/post/51474945203/socks-vpn" target="_blank" rel="external">http://fqrouter.tumblr.com/post/51474945203/socks-vpn</a></p>
<p>绕道法的翻墙原理就是这些了，相对来说非常简单。其针对的都是GFW的分析那一步，通过加密使得GFW无法分析出流量的原文从而让GFW放行。但是GFW最近的升级表明，GFW虽然无法解密这些加密的流量，但是GFW可以结合流量与其他协议特征探测出这些流量是不是“翻墙”的，然后就直接暴力的切断。绕道法的下一步发展就是要从原理弄明白，GFW是如何分析出翻墙流量的，从而要么降低自身的流量特征避免上短名单被协议分析，或者通过混淆协议把自己伪装成其他的无害流量。</p>
<h1 id="0×04-穿墙原理"><a href="#0×04-穿墙原理" class="headerlink" title="0×04 穿墙原理"></a>0×04 穿墙原理</h1><p>##实验环境准备<br>穿墙比翻墙要复杂得多，但也有意思得多。本章节以实验为主。实验的设备是家庭用的路由器，我用的是“水星4530R”。需要有公网IP。刷的操作系统是“OpenWRT Attitude Adjustment 12.09 rc-1”版本。使用的包有：</p>
<ul>
<li>NetfilterQueue（<a href="https://github.com/fqrouter/fqrouter" target="_blank" rel="external">https://github.com/fqrouter/fqrouter</a> 中有）</li>
<li>bind-dig</li>
<li>shadow</li>
<li>dpkt （不是OpenWRT的包，是python的 <a href="http://dpkt.googlecode.com/files/dpkt-1.7.tar.gz" target="_blank" rel="external">http://dpkt.googlecode.com/files/dpkt-1.7.tar.gz</a> ）</li>
</ul>
<p>本文并不打算详细讲解实验环境的设置。对于有OpenWRT编译和刷机经验的朋友可能可以按照我的叙述重建出实验环境来。整个实验的关键在于</p>
<ul>
<li>公网上的ip地址 </li>
<li>Linux</li>
<li>python</li>
<li>python访问netfilter queue的库</li>
</ul>
<p>如果你有一台公网上的Linux机器，安装了Python和Python的NetfilterQueue，也可以进行同样的实验。</p>
<p>如果你使用的是路由器，需要验证你有公网ip。这个可以访问ifconfig.me来证实。其次要保证路由器是OpenWRT的并且有足够的空间安装python-mini。到这里基本上都和普通的OpenWRT刷机没有什么两样。</p>
<p>重点在于：</p>
<h3 id="安装Python的NetfilterQueue"><a href="#安装Python的NetfilterQueue" class="headerlink" title="安装Python的NetfilterQueue"></a>安装Python的NetfilterQueue</h3><p>OpenWRT提供了NetfilterQueue的C的库。但是使用C来做实验太笨重了。所以我选择了Python。但是Python的NetfilterQueue的库没有在OpenWRT中。下载<a href="https://github.com/fqrouter/fqrouter" target="_blank" rel="external">https://github.com/fqrouter/fqrouter</a> 解压后可以得到一个名字叫fqrouter的目录。然后给<code>feeds.con</code>添加一行<code>src-link fqrouter /opt/fqrouter/package</code>。把<code>/opt/fqrouter</code>替换为你解压的目录。然后<code>scripts/feeds update -a</code>，再执行<code>scripts/feeds install python-netfilterqueue</code>就添加好了。然后在<code>make menuconfig</code>中选择Languages=&gt;Python=&gt;python-netfilterqueue。</p>
<p>有了这个库就赋予了我们使用Python任意抓包，修改包和发包的能力。在OpenWRT上，除了python没有第二种脚本语言可以如此简单地获得这些能力。</p>
<h3 id="安装Python的dpkt"><a href="#安装Python的dpkt" class="headerlink" title="安装Python的dpkt"></a>安装Python的dpkt</h3><p>能够抓取和发送IP包之后，第二个头疼的问题是如何解析和构造任意的IP包。Python有一个库叫dpkt可以帮我们很好地完成这项任务。这是我们选择Python做实验的第二个重要理由。</p>
<p>在路由器上直接下载<a href="http://dpkt.googlecode.com/files/dpkt-1.7.tar.gz" target="_blank" rel="external">http://dpkt.googlecode.com/files/dpkt-1.7.tar.gz</a> ，然后解压缩，拷贝其中的dpkt目录到/usr/lib/python2.7/site-packages下。</p>
<h2 id="DNS劫持观测"><a href="#DNS劫持观测" class="headerlink" title="DNS劫持观测"></a>DNS劫持观测</h2><p>我们要做的第一个实验是用python代码观测到DNS劫持的全过程。</p>
<h3 id="应用层观测"><a href="#应用层观测" class="headerlink" title="应用层观测"></a>应用层观测</h3><p>dig是DNS的客户端，可以很方便地构造出我们想要的DNS请求。<code>dig @8.8.8.8 twitter.com</code>。可以得到相应如下</p>
<blockquote>
<p>; (1 server found)<br>;; global options: +cmd<br>;; Got answer:<br>;; -&gt;&gt;HEADER&lt;&lt;- opcode: QUERY, status: NOERROR, id: 5494<br>;; flags: qr rd ra; QUERY: 1, ANSWER: 1, AUTHORITY: 0, ADDITIONAL: 0    </p>
<p>;; QUESTION SECTION:<br>;twitter.com.                        IN        A    </p>
<p>;; ANSWER SECTION:<br>twitter.com.                4666        IN        A        59.24.3.173    </p>
<p>;; Query time: 110 msec<br>;; SERVER: 8.8.8.8#53(8.8.8.8)<br>;; WHEN: Sun Jan 13 13:22:10 2013<br>;; MSG SIZE  rcvd: 45</p>
</blockquote>
<p>可以很清楚地看到我们得到的错误答案59.24.3.173。</p>
<h3 id="抓包观测"><a href="#抓包观测" class="headerlink" title="抓包观测"></a>抓包观测</h3><p>使用iptables我们可以让特定的IP包经过应用层的代码，从而使得我们用python观测DNS查询过程提供了可能。代码如下，保存文件名<a href="https://gist.github.com/4524294" target="_blank" rel="external">dns_hijacking_obversation.py</a>：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div><div class="line">5</div><div class="line">6</div><div class="line">7</div><div class="line">8</div><div class="line">9</div><div class="line">10</div><div class="line">11</div><div class="line">12</div><div class="line">13</div><div class="line">14</div><div class="line">15</div><div class="line">16</div><div class="line">17</div><div class="line">18</div><div class="line">19</div></pre></td><td class="code"><pre><div class="line">from netfilterqueue import NetfilterQueue</div><div class="line">import subprocess</div><div class="line">import signal</div><div class="line">def observe_dns_hijacking(nfqueue_element):</div><div class="line">   print(&apos;packet past through me&apos;)</div><div class="line">   nfqueue_element.accept()   </div><div class="line">nfqueue = NetfilterQueue()</div><div class="line">nfqueue.bind(0, observe_dns_hijacking)   </div><div class="line">def clean_up(*args):</div><div class="line">   subprocess.call(&apos;iptables -D OUTPUT -p udp --dst 8.8.8.8 -j QUEUE&apos;, shell=True)</div><div class="line">   subprocess.call(&apos;iptables -D INPUT -p udp --src 8.8.8.8 -j QUEUE&apos;, shell=True)   </div><div class="line">signal.signal(signal.SIGINT, clean_up)   </div><div class="line">try:</div><div class="line">   subprocess.call(&apos;iptables -I INPUT -p udp --src 8.8.8.8 -j QUEUE&apos;, shell=True)</div><div class="line">   subprocess.call(&apos;iptables -I OUTPUT -p udp --dst 8.8.8.8 -j QUEUE&apos;, shell=True)</div><div class="line">   print(&apos;running..&apos;)</div><div class="line">   nfqueue.run()</div><div class="line">except KeyboardInterrupt:</div><div class="line">   print(&apos;bye&apos;)</div></pre></td></tr></table></figure>
<p>执行<code>python dns_hijacking_observation.py</code>，再使用<code>dig @8.8.8.8 twitter.com</code>应该可以看到<code>package past through me</code>。这就说明DNS的请求和答案都经过了python代码了。</p>
<p>上一步主要是验证NetfilterQueue是不是工作正常。这一步则要靠dpkt的了。代码如下，文件名相同（<a href="https://gist.github.com/4524299）：" target="_blank" rel="external">https://gist.github.com/4524299）：</a></p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div><div class="line">5</div><div class="line">6</div><div class="line">7</div><div class="line">8</div><div class="line">9</div><div class="line">10</div><div class="line">11</div><div class="line">12</div><div class="line">13</div><div class="line">14</div><div class="line">15</div><div class="line">16</div><div class="line">17</div><div class="line">18</div><div class="line">19</div><div class="line">20</div><div class="line">21</div><div class="line">22</div><div class="line">23</div><div class="line">24</div><div class="line">25</div><div class="line">26</div><div class="line">27</div><div class="line">28</div><div class="line">29</div><div class="line">30</div></pre></td><td class="code"><pre><div class="line">from netfilterqueue import NetfilterQueue</div><div class="line">import subprocess</div><div class="line">import signal</div><div class="line">import dpkt</div><div class="line">import traceback</div><div class="line">import socket   </div><div class="line">def observe_dns_hijacking(nfqueue_element):</div><div class="line">   try:</div><div class="line">       ip_packet = dpkt.ip.IP(nfqueue_element.get_payload())</div><div class="line">       dns_packet = dpkt.dns.DNS(ip_packet.udp.data)</div><div class="line">       print(repr(dns_packet))</div><div class="line">       for answer in dns_packet.an:</div><div class="line">           print(socket.inet_ntoa(answer[&apos;rdata&apos;]))</div><div class="line">       nfqueue_element.accept()</div><div class="line">   except:</div><div class="line">       traceback.print_exc()</div><div class="line">       nfqueue_element.accept()   </div><div class="line">nfqueue = NetfilterQueue()</div><div class="line">nfqueue.bind(0, observe_dns_hijacking)   </div><div class="line">def clean_up(*args):   </div><div class="line">   subprocess.call(&apos;iptables -D OUTPUT -p udp --dst 8.8.8.8 -j QUEUE&apos;, shell=True)</div><div class="line">   subprocess.call(&apos;iptables -D INPUT -p udp --src 8.8.8.8 -j QUEUE&apos;, shell=True)   </div><div class="line">signal.signal(signal.SIGINT, clean_up)   </div><div class="line">try:</div><div class="line">   subprocess.call(&apos;iptables -I INPUT -p udp --src 8.8.8.8 -j QUEUE&apos;, shell=True)</div><div class="line">   subprocess.call(&apos;iptables -I OUTPUT -p udp --dst 8.8.8.8 -j QUEUE&apos;, shell=True)</div><div class="line">   print(&apos;running..&apos;)</div><div class="line">   nfqueue.run()</div><div class="line">except KeyboardInterrupt:</div><div class="line">   print(&apos;bye&apos;)</div></pre></td></tr></table></figure>
<p>执行<code>python dns_hijacking_observation.py</code>，再使用<code>dig @8.8.8.8 twitter.com</code>应该可以看到类似如下的输出：</p>
<blockquote>
<p>DNS(ar=[RR(type=41, cls=4096)], qd=[Q(name=’twitter.com’)], id=8613, op=288)<br>DNS(an=[RR(name=’twitter.com’, rdata=’;\x18\x03\xad’, ttl=19150)], qd=[Q(name=’twitter.com’)], id=8613, op=33152)<br>59.24.3.173<br>DNS(an=[RR(name=’twitter.com’, rdata=’\xc7;\x95\xe6’, ttl=27), RR(name=’twitter.com’, rdata=’\xc7;\x96\x07’, ttl=27), RR(name=’twitter.com’, rdata=”\xc7;\x96’”, ttl=27)], ar=[RR(type=41, cls=512)], qd=[Q(name=’twitter.com’)], id=8613, op=33152)<br>199.59.149.230<br>199.59.150.7<br>199.59.150.39</p>
</blockquote>
<p>可以看到我们发出去了一个包，收到了两个包。其中第一个收到的包是GFW发回来的错误答案，第二个包才是正确的答案。但是由于dig只取第一个返回的答案，所以我们实际看到的解析结果是错误的。</p>
<h3 id="观测劫持发生的位置"><a href="#观测劫持发生的位置" class="headerlink" title="观测劫持发生的位置"></a>观测劫持发生的位置</h3><p>利用IP包的TTL特性，我们可以把TTL值从1开始递增，直到我们收到错误的应答为止。结合TTL EXECEEDED ICMP返回的IP地址，就可以知道DNS请求是在第几跳的路由器分光给GFW的。代码如下（<a href="https://gist.github.com/4524927）：" target="_blank" rel="external">https://gist.github.com/4524927）：</a></p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div><div class="line">5</div><div class="line">6</div><div class="line">7</div><div class="line">8</div><div class="line">9</div><div class="line">10</div><div class="line">11</div><div class="line">12</div><div class="line">13</div><div class="line">14</div><div class="line">15</div><div class="line">16</div><div class="line">17</div><div class="line">18</div><div class="line">19</div><div class="line">20</div><div class="line">21</div><div class="line">22</div><div class="line">23</div><div class="line">24</div><div class="line">25</div><div class="line">26</div><div class="line">27</div><div class="line">28</div><div class="line">29</div><div class="line">30</div><div class="line">31</div><div class="line">32</div><div class="line">33</div><div class="line">34</div><div class="line">35</div><div class="line">36</div><div class="line">37</div><div class="line">38</div><div class="line">39</div><div class="line">40</div><div class="line">41</div><div class="line">42</div><div class="line">43</div><div class="line">44</div><div class="line">45</div><div class="line">46</div><div class="line">47</div><div class="line">48</div><div class="line">49</div><div class="line">50</div><div class="line">51</div><div class="line">52</div><div class="line">53</div><div class="line">54</div><div class="line">55</div><div class="line">56</div><div class="line">57</div><div class="line">58</div><div class="line">59</div><div class="line">60</div><div class="line">61</div><div class="line">62</div><div class="line">63</div><div class="line">64</div><div class="line">65</div><div class="line">66</div><div class="line">67</div><div class="line">68</div><div class="line">69</div><div class="line">70</div><div class="line">71</div><div class="line">72</div><div class="line">73</div><div class="line">74</div><div class="line">75</div><div class="line">76</div><div class="line">77</div><div class="line">78</div><div class="line">79</div><div class="line">80</div><div class="line">81</div><div class="line">82</div><div class="line">83</div><div class="line">84</div><div class="line">85</div><div class="line">86</div><div class="line">87</div></pre></td><td class="code"><pre><div class="line">from netfilterqueue import NetfilterQueue</div><div class="line">import subprocess</div><div class="line">import signal</div><div class="line">import dpkt</div><div class="line">import traceback</div><div class="line">import socket</div><div class="line">import sys   </div><div class="line">DNS_IP = &apos;8.8.8.8&apos;</div><div class="line"># source http://zh.wikipedia.org/wiki/%E5%9F%9F%E5%90%8D%E6%9C%8D%E5%8A%A1%E5%99%A8%E7%BC%93%E5%AD%98%E6%B1%A1%E6%9F%93</div><div class="line">WRONG_ANSWERS = &#123;</div><div class="line">   &apos;4.36.66.178&apos;,</div><div class="line">   &apos;8.7.198.45&apos;,</div><div class="line">   &apos;37.61.54.158&apos;,</div><div class="line">   &apos;46.82.174.68&apos;,</div><div class="line">   &apos;59.24.3.173&apos;,</div><div class="line">   &apos;64.33.88.161&apos;,</div><div class="line">   &apos;64.33.99.47&apos;,</div><div class="line">   &apos;64.66.163.251&apos;,</div><div class="line">   &apos;65.104.202.252&apos;,</div><div class="line">   &apos;65.160.219.113&apos;,</div><div class="line">   &apos;66.45.252.237&apos;,</div><div class="line">   &apos;72.14.205.99&apos;,</div><div class="line">   &apos;72.14.205.104&apos;,</div><div class="line">   &apos;78.16.49.15&apos;,</div><div class="line">   &apos;93.46.8.89&apos;,</div><div class="line">   &apos;128.121.126.139&apos;,</div><div class="line">   &apos;159.106.121.75&apos;,</div><div class="line">   &apos;169.132.13.103&apos;,</div><div class="line">   &apos;192.67.198.6&apos;,</div><div class="line">   &apos;202.106.1.2&apos;,</div><div class="line">   &apos;202.181.7.85&apos;,</div><div class="line">   &apos;203.161.230.171&apos;,</div><div class="line">   &apos;207.12.88.98&apos;,</div><div class="line">   &apos;208.56.31.43&apos;,</div><div class="line">   &apos;209.36.73.33&apos;,</div><div class="line">   &apos;209.145.54.50&apos;,</div><div class="line">   &apos;209.220.30.174&apos;,</div><div class="line">   &apos;211.94.66.147&apos;,</div><div class="line">   &apos;213.169.251.35&apos;,</div><div class="line">   &apos;216.221.188.182&apos;,</div><div class="line">   &apos;216.234.179.13&apos;</div><div class="line">&#125;   </div><div class="line">current_ttl = 1</div><div class="line">def locate_dns_hijacking(nfqueue_element):</div><div class="line">   global current_ttl</div><div class="line">   try:</div><div class="line">       ip_packet = dpkt.ip.IP(nfqueue_element.get_payload())</div><div class="line">       if dpkt.ip.IP_PROTO_ICMP == ip_packet[&apos;p&apos;]:</div><div class="line">           print(socket.inet_ntoa(ip_packet.src))</div><div class="line">       elif dpkt.ip.IP_PROTO_UDP == ip_packet[&apos;p&apos;]:</div><div class="line">           if DNS_IP == socket.inet_ntoa(ip_packet.dst):</div><div class="line">               ip_packet.ttl = current_ttl</div><div class="line">               current_ttl += 1</div><div class="line">               ip_packet.sum = 0</div><div class="line">               nfqueue_element.set_payload(str(ip_packet))</div><div class="line">           else:</div><div class="line">               if contains_wrong_answer(dpkt.dns.DNS(ip_packet.udp.data)):</div><div class="line">                   sys.stdout.write(&apos;* &apos;)</div><div class="line">                   sys.stdout.flush()</div><div class="line">                   nfqueue_element.drop()</div><div class="line">                   return</div><div class="line">               else:</div><div class="line">                   print(&apos;END&apos;)</div><div class="line">       nfqueue_element.accept()</div><div class="line">   except:</div><div class="line">       traceback.print_exc()</div><div class="line">       nfqueue_element.accept()   </div><div class="line">def contains_wrong_answer(dns_packet):</div><div class="line">   for answer in dns_packet.an:</div><div class="line">       if socket.inet_ntoa(answer[&apos;rdata&apos;]) in WRONG_ANSWERS:</div><div class="line">           return True</div><div class="line">   return False</div><div class="line">nfqueue = NetfilterQueue()</div><div class="line">nfqueue.bind(0, locate_dns_hijacking)   </div><div class="line">def clean_up(*args):</div><div class="line">   subprocess.call(&apos;iptables -D OUTPUT -p udp --dst %s -j QUEUE&apos; % DNS_IP, shell=True)</div><div class="line">   subprocess.call(&apos;iptables -D INPUT -p udp --src %s -j QUEUE&apos; % DNS_IP, shell=True)</div><div class="line">   subprocess.call(&apos;iptables -D INPUT -p icmp -m icmp --icmp-type 11 -j QUEUE&apos;, shell=True)   </div><div class="line">signal.signal(signal.SIGINT, clean_up)   </div><div class="line">try:</div><div class="line">   subprocess.call(&apos;iptables -I INPUT -p icmp -m icmp --icmp-type 11 -j QUEUE&apos;, shell=True)</div><div class="line">   subprocess.call(&apos;iptables -I INPUT -p udp --src %s -j QUEUE&apos; % DNS_IP, shell=True)</div><div class="line">   subprocess.call(&apos;iptables -I OUTPUT -p udp --dst %s -j QUEUE&apos; % DNS_IP, shell=True)</div><div class="line">   print(&apos;running..&apos;)</div><div class="line">   nfqueue.run()</div><div class="line">except KeyboardInterrupt:</div><div class="line">   print(&apos;bye&apos;)</div></pre></td></tr></table></figure>
<p>执行 dig +tries=30 +time=1 @8.8.8.8 twitter.com 可以得到类似下面的输出：</p>
<blockquote>
<p>=== 隐去 ===<br>=== 隐去 ===<br>=== 隐去 ===<br>219.158.100.166<br>219.158.11.150</p>
<ul>
<li>219.158.97.30</li>
<li><ul>
<li>219.158.27.30</li>
</ul>
</li>
<li>72.14.215.130</li>
<li>209.85.248.60</li>
<li>216.239.43.19</li>
<li><ul>
<li>END</li>
</ul>
</li>
</ul>
</blockquote>
<p>出现*号前面的那个IP就是挂了GFW的路由了。脚本只能执行一次，第二次需要重启。另外同一个DNS不能被同时查询，把8.8.8.8改成你没有在用的DNS。这个脚本的一个“副作用”就是dig返回的答案是正确的了，因为错误的答案被丢弃了。</p>
<h2 id="反向观测"><a href="#反向观测" class="headerlink" title="反向观测"></a>反向观测</h2><p>前面我们已经知道从国内请求国外的DNS服务器大体是怎么一个被劫持的过程了。接下来我们在国内搭建一个服务器，从国外往国内发请求，看看是不是可以观测到被劫持的现象。</p>
<p>把路由器的WAN口的防火墙打开。配置本地的dnsmasq为使用非标准端口代理查询从而保证本地做dig查询的时候可以拿到正确的结果。然后在国外的服务器上执行</p>
<p><code>dig @国内路由器ip twitter.com</code><br>可以看到收到的答案是错误的。执行前面的路由跟踪代码，结果如下：</p>
<blockquote>
<p>=== 隐去 ===<br>=== 隐去 ===<br>=== 隐去 ===<br>115.160.187.13<br>213.248.76.73<br>219.158.33.181<br>219.158.29.129<br>219.158.19.165</p>
<ul>
<li>219.158.96.225</li>
<li><ul>
<li><ul>
<li>219.158.101.233<br>END</li>
</ul>
</li>
</ul>
</li>
</ul>
</blockquote>
<p>可以看到不但有DNS劫持，而且DNS劫持发生在非常靠近国内路由器的位置。这也证实了论文中提出的观测结果。GFW并没有严格地部署在出国境前第一跳的位置，而是更加靠前。并且是双向的，至少DNS劫持是双向经过实验证实了。</p>
<h2 id="通过避免GFW重建请求反DNS劫持"><a href="#通过避免GFW重建请求反DNS劫持" class="headerlink" title="通过避免GFW重建请求反DNS劫持"></a>通过避免GFW重建请求反DNS劫持</h2><p>使用非标准端口<br>这个实验就非常简单了。使用53之外的端口查询DNS，观测是否有错误答案被返回。</p>
<p><code>dig @208.67.222.222 -p 5353 twitter.com</code><br>使用的DNS服务器是OpenDNS，端口为5353端口。使用非标准端口的DNS服务器不多，并不是所有的DNS服务器都会提供非标准端口供查询。结果如下：</p>
<blockquote>
<p>; &lt;&lt;&gt;&gt; DiG 9.9.1-P3 &lt;&lt;&gt;&gt; @208.67.222.222 -p 5353 twitter.com<br>; (1 server found)<br>;; global options: +cmd<br>;; Got answer:<br>;; -&gt;&gt;HEADER&lt;&lt;- opcode: QUERY, status: NOERROR, id: 5367<br>;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1    </p>
<p>;; OPT PSEUDOSECTION:<br>; EDNS: version: 0, flags:; udp: 8192<br>;; QUESTION SECTION:<br>;twitter.com.                        IN        A    </p>
<p>;; ANSWER SECTION:<br>twitter.com.                5        IN        A        199.59.150.39<br>twitter.com.                5        IN        A        199.59.148.82<br>twitter.com.                5        IN        A        199.59.148.10    </p>
<p>;; Query time: 194 msec<br>;; SERVER: 208.67.222.222#5353(208.67.222.222)<br>;; WHEN: Mon Jan 14 11:47:46 2013<br>;; MSG SIZE  rcvd: 88</p>
</blockquote>
<p>可见，非标准端口还是可以得到正确结果的。但是这种穿墙并不能被应用程序直接使用，因为几乎所有的应用程序都不支持使用非标准端口查询。有很多种办法把端口变成53端口能用。</p>
<p>使用本地DNS服务器转发（dnsmasq，pdnsd）<br>用NetfilterQueue改写IP包<br>用iptables改写IP包：<code>iptables -t nat -I OUTPUT --dst 208.67.222.222 -p udp --dport 53 -j DNAT --to-destination 208.67.222.222:5353</code></p>
<h2 id="使用TCP查询"><a href="#使用TCP查询" class="headerlink" title="使用TCP查询"></a>使用TCP查询</h2><p>这个实验就更加简单了，也是一条命令：</p>
<p><code>dig +tcp @8.8.8.8 twitter.com</code><br>GFW在日常是不屏蔽TCP的DNS查询的，所以可以得到正确的结果。但是和非标准端口一样，几乎所有的应用程序都不支持使用TCP查询。已知的TCP转UDP方式是使用pdnsd或者unbound转（<a href="http://otnth.blogspot.jp/2012/05/openwrt-dns.html?m=1）。" target="_blank" rel="external">http://otnth.blogspot.jp/2012/05/openwrt-dns.html?m=1）。</a></p>
<p>但是GFW现在不屏蔽TCP的DNS查询并不代表GFW不能这么干。做一个小实验：</p>
<blockquote>
<p>root@OpenWrt:~# dig +tcp @8.8.8.8 dl.dropbox.com<br>;; communications error to 8.8.8.8#53: connection reset</p>
</blockquote>
<p>可以看到GFW是能够知道你在查询什么的。与HTTP关键字过滤一样，一旦发现查询的内容不恰当，立马就发RST包过来切断连接。那么为什么GFW不审查所有的TCP的DNS查询呢？原因很简单，用TCP查询的绝对少数，尚不值得这么去干。而且就算你能查询到正确域名，GFW自认为还有HTTP关键字过滤和封IP等后着守着呢，犯不着在DNS上卡这么死。</p>
<p>##使用单向代理</p>
<p>严格来说单向代理并不是穿墙，因为它仍然需要在国外有一个代理服务器。使用代理服务器把DNS查询发出去，但是DNS查询并不经由代理服务器而是直接发回客户端。这样的实现在目前有更好的反劫持的手段（比如非标准端口）的情况下并不是一个有实际意义的做法。但是对于观测GFW的封锁机制还是有帮助的。据报道在敏感时期，对DNS不仅仅是劫持，而是直接丢包。通过单向代理可以观测丢包是针对出境流量的还是入境流量的。</p>
<p>客户端需要使用iptables把DNS请求转给NetfilterQueue，然后用python代码把DNS请求包装之后发给中转代理。对于应用程序来说，这个包装的过程是透明的，它仍然认为请求是直接发给DNS服务器的。</p>
<p>客户端代码如下，名字叫<a href="https://gist.github.com/4531012" target="_blank" rel="external">smuggler.py</a>：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div><div class="line">5</div><div class="line">6</div><div class="line">7</div><div class="line">8</div><div class="line">9</div><div class="line">10</div><div class="line">11</div><div class="line">12</div><div class="line">13</div><div class="line">14</div><div class="line">15</div><div class="line">16</div><div class="line">17</div><div class="line">18</div><div class="line">19</div><div class="line">20</div><div class="line">21</div><div class="line">22</div><div class="line">23</div><div class="line">24</div><div class="line">25</div><div class="line">26</div><div class="line">27</div><div class="line">28</div></pre></td><td class="code"><pre><div class="line">from netfilterqueue import NetfilterQueue</div><div class="line">import subprocess</div><div class="line">import signal</div><div class="line">import traceback</div><div class="line">import socket   </div><div class="line">IMPERSONATOR_IP = &apos;x.x.x.x&apos;</div><div class="line">IMPERSONATOR_PORT = 19840</div><div class="line">udp_socket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM, socket.IPPROTO_UDP)   </div><div class="line">def smuggle_packet(nfqueue_element):</div><div class="line">   try:</div><div class="line">       original_packet = nfqueue_element.get_payload()</div><div class="line">       print(&apos;smuggled&apos;)</div><div class="line">       udp_socket.sendto(original_packet, (IMPERSONATOR_IP, IMPERSONATOR_PORT))</div><div class="line">       nfqueue_element.drop()</div><div class="line">   except:</div><div class="line">       traceback.print_exc()</div><div class="line">       nfqueue_element.accept()   </div><div class="line">nfqueue = NetfilterQueue()</div><div class="line">nfqueue.bind(0, smuggle_packet)   </div><div class="line">def clean_up(*args):</div><div class="line">   subprocess.call(&apos;iptables -D OUTPUT -p udp --dst 8.8.8.8 --dport 53 -j QUEUE&apos;, shell=True)   </div><div class="line">signal.signal(signal.SIGINT, clean_up)   </div><div class="line">try:</div><div class="line">   subprocess.call(&apos;iptables -I OUTPUT -p udp --dst 8.8.8.8 --dport 53 -j QUEUE&apos;, shell=True)</div><div class="line">   print(&apos;running..&apos;)</div><div class="line">   nfqueue.run()</div><div class="line">except KeyboardInterrupt:</div><div class="line">   print(&apos;bye&apos;)</div></pre></td></tr></table></figure>
<p>服务器端代码如下，名字叫impersonator.py：</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div><div class="line">5</div><div class="line">6</div><div class="line">7</div><div class="line">8</div><div class="line">9</div><div class="line">10</div><div class="line">11</div><div class="line">12</div><div class="line">13</div><div class="line">14</div><div class="line">15</div><div class="line">16</div><div class="line">17</div><div class="line">18</div><div class="line">19</div><div class="line">20</div></pre></td><td class="code"><pre><div class="line">import socket</div><div class="line">import dpkt.ip   </div><div class="line">def main_loop(server_socket, raw_socket):</div><div class="line">    while True:</div><div class="line">        packet_bytes, from_ip = server_socket.recvfrom(4096)</div><div class="line">        packet = dpkt.ip.IP(packet_bytes)</div><div class="line">        dst = socket.inet_ntoa(packet.dst)</div><div class="line">        print(&apos;%s:%s =&gt; %s:%s&apos; % (socket.inet_ntoa(packet.src), packet.data.sport, dst, packet.data.dport))</div><div class="line">        raw_socket.sendto(packet_bytes, (dst, 0))   </div><div class="line">server_socket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)</div><div class="line">try:</div><div class="line">    server_socket.bind((&apos;0.0.0.0&apos;, 19840))</div><div class="line">    raw_socket = socket.socket(socket.AF_INET, socket.SOCK_RAW, socket.IPPROTO_RAW)</div><div class="line">    try:</div><div class="line">        raw_socket.setsockopt(socket.SOL_IP, socket.IP_HDRINCL, 1)</div><div class="line">        main_loop(server_socket, raw_socket)</div><div class="line">    finally:</div><div class="line">        raw_socket.close()</div><div class="line">finally:</div><div class="line">    server_socket.close()</div></pre></td></tr></table></figure>
<p>在路由器上运行的时候要把WAN的防火墙规则改为接受INPUT，否则进入的UDP包会因为没有对应的出去的UDP包而被过滤掉。这是单向代理的一个缺陷，需要在墙上开洞。把防火墙整个打开是一种开洞的极端方式。后面专门讨论单向代理的时候会有更多关于防火墙凿洞的讨论。</p>
<p>第二个运行的条件是服务器所在的网络没有对IP SPROOFING做过滤。服务器实际上使用了和GFW发错误答案一样的技术，就是伪造SRC地址。通过把SRC地址填成客户端所在的IP地址，使得DNS查询的结果不需要经过代理服务器中装直接到达客户端。</p>
<p><img src="http://static.wooyun.org//drops/20151117/2015111702571412746.png" alt=""></p>
<h2 id="通过丢弃错误答案反DNS劫持"><a href="#通过丢弃错误答案反DNS劫持" class="headerlink" title="通过丢弃错误答案反DNS劫持"></a>通过丢弃错误答案反DNS劫持</h2><p>###使用iptables过滤<br>前两种方式都是针对GFW的重建这一步。因为GFW没有在日常的时候监听所有UDP端口以及监听TCP流量，所以非标准端口或者TCP的DNS查询可以被放行。选择性丢包则针对的是GFW的应对措施。既然GFW发错误的答案回来，只要我们不认它给的答案，等正确的答案来就是了。有两篇相关文档</p>
<ul>
<li><a href="http://kouga.us/?p=642724" target="_blank" rel="external">使用ipfilter过滤GFW滴DNS污染</a></li>
<li><a href="https://code.google.com/p/openwrt-gfw/wiki/AntiDNSPoisoning" target="_blank" rel="external">AntiDNSPoisoning</a> （作者有更新：<a href="https://github.com/hackgfw/openwrt-gfw）改写成python脚本是这样的（https://gist.github.com/4530465），实现来自于AntiDNSPoisoning：" target="_blank" rel="external">https://github.com/hackgfw/openwrt-gfw）改写成python脚本是这样的（https://gist.github.com/4530465），实现来自于AntiDNSPoisoning：</a></li>
</ul>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div><div class="line">5</div><div class="line">6</div><div class="line">7</div><div class="line">8</div><div class="line">9</div><div class="line">10</div><div class="line">11</div><div class="line">12</div><div class="line">13</div><div class="line">14</div><div class="line">15</div><div class="line">16</div><div class="line">17</div><div class="line">18</div><div class="line">19</div><div class="line">20</div><div class="line">21</div><div class="line">22</div><div class="line">23</div><div class="line">24</div><div class="line">25</div><div class="line">26</div><div class="line">27</div><div class="line">28</div><div class="line">29</div><div class="line">30</div><div class="line">31</div><div class="line">32</div><div class="line">33</div><div class="line">34</div><div class="line">35</div><div class="line">36</div><div class="line">37</div><div class="line">38</div><div class="line">39</div><div class="line">40</div><div class="line">41</div><div class="line">42</div><div class="line">43</div><div class="line">44</div><div class="line">45</div><div class="line">46</div><div class="line">47</div><div class="line">48</div><div class="line">49</div><div class="line">50</div><div class="line">51</div></pre></td><td class="code"><pre><div class="line">import sys</div><div class="line">import subprocess   </div><div class="line"># source http://zh.wikipedia.org/wiki/%E5%9F%9F%E5%90%8D%E6%9C%8D%E5%8A%A1%E5%99%A8%E7%BC%93%E5%AD%98%E6%B1%A1%E6%9F%93</div><div class="line">WRONG_ANSWERS = &#123;</div><div class="line">    &apos;4.36.66.178&apos;,</div><div class="line">    &apos;8.7.198.45&apos;,</div><div class="line">    &apos;37.61.54.158&apos;,</div><div class="line">    &apos;46.82.174.68&apos;,</div><div class="line">    &apos;59.24.3.173&apos;,</div><div class="line">    &apos;64.33.88.161&apos;,</div><div class="line">    &apos;64.33.99.47&apos;,</div><div class="line">    &apos;64.66.163.251&apos;,</div><div class="line">    &apos;65.104.202.252&apos;,</div><div class="line">    &apos;65.160.219.113&apos;,</div><div class="line">    &apos;66.45.252.237&apos;,</div><div class="line">    &apos;72.14.205.99&apos;,</div><div class="line">    &apos;72.14.205.104&apos;,</div><div class="line">    &apos;78.16.49.15&apos;,</div><div class="line">    &apos;93.46.8.89&apos;,</div><div class="line">    &apos;128.121.126.139&apos;,</div><div class="line">    &apos;159.106.121.75&apos;,</div><div class="line">    &apos;169.132.13.103&apos;,</div><div class="line">    &apos;192.67.198.6&apos;,</div><div class="line">    &apos;202.106.1.2&apos;,</div><div class="line">    &apos;202.181.7.85&apos;,</div><div class="line">    &apos;203.161.230.171&apos;,</div><div class="line">    &apos;207.12.88.98&apos;,</div><div class="line">    &apos;208.56.31.43&apos;,</div><div class="line">    &apos;209.36.73.33&apos;,</div><div class="line">    &apos;209.145.54.50&apos;,</div><div class="line">    &apos;209.220.30.174&apos;,</div><div class="line">    &apos;211.94.66.147&apos;,</div><div class="line">    &apos;213.169.251.35&apos;,</div><div class="line">    &apos;216.221.188.182&apos;,</div><div class="line">    &apos;216.234.179.13&apos;</div><div class="line">&#125;   </div><div class="line">rules = [&apos;-p udp --sport 53 -m u32 --u32 &quot;4 &amp; 0x1FFF = 0 &amp;&amp; 0 &gt;&gt; 22 &amp; 0x3C @ 8 &amp; 0x8000 = 0x8000 &amp;&amp; 0 &gt;&gt; 22 &amp; 0x3C @ 14 = 0&quot; -j DROP&apos;]</div><div class="line">for wrong_answer in WRONG_ANSWERS:</div><div class="line">    hex_ip = &apos; &apos;.join([&apos;%02x&apos; % int(s) for s in wrong_answer.split(&apos;.&apos;)])</div><div class="line">    rules.append(&apos;-p udp --sport 53 -m string --algo bm --hex-string &quot;|%s|&quot; --from 60 --to 180  -j DROP&apos; % hex_ip)   </div><div class="line">try:</div><div class="line">    for rule in rules:</div><div class="line">        print(rule)</div><div class="line">        subprocess.call(&apos;iptables -I INPUT %s&apos; % rule, shell=True)</div><div class="line">    print(&apos;running..&apos;)</div><div class="line">    sys.stdin.readline()</div><div class="line">except KeyboardInterrupt:</div><div class="line">    print(&apos;bye&apos;)</div><div class="line">finally:</div><div class="line">    for rule in reversed(rules):</div><div class="line">        subprocess.call(&apos;iptables -D INPUT %s&apos; % rule, shell=True)</div></pre></td></tr></table></figure>
<p>本地有了这些iptables规则之后就可以丢弃掉GFW发回来的错误答案，从而得到正确的解析结果。这个脚本用到了两个iptables模块一个是u32一个是string。这两个内核模块不是所有的linux机器都有的。比如大部分的Android手机都没有这两个内核模块。所以上面的脚本适合内核模块很容易安装的场景，比如你的ubuntu pc。因为linux的内核模块与内核版本（每次编译基本都不同）是一一对应的，所以不同的linux机器是无法共享同样的内核模块的。所以基于内核模块的方案天然地具有安装困难的缺陷。</p>
<p>###使用nfqueue过滤<br>对于没有办法自己安装或者编译内核模块的场景，比如最常见的Android手机，厂家不告诉你内核的具体版本以及编译参数，普通用户是没有办法重新编译linux内核的。对于这样的情况，iptables提供了nfqueue，我们可以把内核模块做的ip过滤的工作交给用户态（也就是普通的应用程序）来完成。<br><figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div><div class="line">3</div><div class="line">4</div><div class="line">5</div><div class="line">6</div><div class="line">7</div><div class="line">8</div><div class="line">9</div><div class="line">10</div><div class="line">11</div><div class="line">12</div><div class="line">13</div><div class="line">14</div><div class="line">15</div><div class="line">16</div><div class="line">17</div><div class="line">18</div><div class="line">19</div><div class="line">20</div><div class="line">21</div><div class="line">22</div><div class="line">23</div><div class="line">24</div><div class="line">25</div><div class="line">26</div><div class="line">27</div><div class="line">28</div><div class="line">29</div><div class="line">30</div><div class="line">31</div><div class="line">32</div><div class="line">33</div><div class="line">34</div><div class="line">35</div><div class="line">36</div><div class="line">37</div><div class="line">38</div><div class="line">39</div><div class="line">40</div><div class="line">41</div><div class="line">42</div><div class="line">43</div><div class="line">44</div><div class="line">45</div><div class="line">46</div><div class="line">47</div><div class="line">48</div><div class="line">49</div><div class="line">50</div><div class="line">51</div><div class="line">52</div><div class="line">53</div><div class="line">54</div><div class="line">55</div><div class="line">56</div><div class="line">57</div><div class="line">58</div><div class="line">59</div><div class="line">60</div><div class="line">61</div><div class="line">62</div><div class="line">63</div><div class="line">64</div><div class="line">65</div><div class="line">66</div><div class="line">67</div><div class="line">68</div><div class="line">69</div><div class="line">70</div><div class="line">71</div><div class="line">72</div><div class="line">73</div><div class="line">74</div><div class="line">75</div><div class="line">76</div><div class="line">77</div><div class="line">78</div><div class="line">79</div><div class="line">80</div><div class="line">81</div><div class="line">82</div><div class="line">83</div><div class="line">84</div><div class="line">85</div><div class="line">86</div><div class="line">87</div><div class="line">88</div><div class="line">89</div></pre></td><td class="code"><pre><div class="line">CLEAN_DNS = &apos;8.8.8.8&apos;    </div><div class="line"></div><div class="line">RULES = []</div><div class="line">for iface in network_interface.list_data_network_interfaces():</div><div class="line">    # this rule make sure we always query from the &quot;CLEAN&quot; dns</div><div class="line">    RULE_REDIRECT_TO_CLEAN_DNS = (</div><div class="line">        &#123;&apos;target&apos;: &apos;DNAT&apos;, &apos;iface_out&apos;: iface, &apos;extra&apos;: &apos;udp dpt:53 to:%s:53&apos; % CLEAN_DNS&#125;,</div><div class="line">        (&apos;nat&apos;, &apos;OUTPUT&apos;, &apos;-o %s -p udp --dport 53 -j DNAT --to-destination %s:53&apos; % (iface, CLEAN_DNS))</div><div class="line">    )</div><div class="line">    RULES.append(RULE_REDIRECT_TO_CLEAN_DNS)</div><div class="line">    RULE_DROP_PACKET = (</div><div class="line">        &#123;&apos;target&apos;: &apos;NFQUEUE&apos;, &apos;iface_in&apos;: iface, &apos;extra&apos;: &apos;udp spt:53 NFQUEUE num 1&apos;&#125;,</div><div class="line">        (&apos;filter&apos;, &apos;INPUT&apos;, &apos;-i %s -p udp --sport 53 -j NFQUEUE --queue-num 1&apos; % iface)</div><div class="line">    )</div><div class="line">    RULES.append(RULE_DROP_PACKET)    </div><div class="line"></div><div class="line"># source http://zh.wikipedia.org/wiki/%E5%9F%9F%E5%90%8D%E6%9C%8D%E5%8A%A1%E5%99%A8%E7%BC%93%E5%AD%98%E6%B1%A1%E6%9F%93</div><div class="line">WRONG_ANSWERS = &#123;</div><div class="line">    &apos;4.36.66.178&apos;,</div><div class="line">    &apos;8.7.198.45&apos;,</div><div class="line">    &apos;37.61.54.158&apos;,</div><div class="line">    &apos;46.82.174.68&apos;,</div><div class="line">    &apos;59.24.3.173&apos;,</div><div class="line">    &apos;64.33.88.161&apos;,</div><div class="line">    &apos;64.33.99.47&apos;,</div><div class="line">    &apos;64.66.163.251&apos;,</div><div class="line">    &apos;65.104.202.252&apos;,</div><div class="line">    &apos;65.160.219.113&apos;,</div><div class="line">    &apos;66.45.252.237&apos;,</div><div class="line">    &apos;72.14.205.99&apos;,</div><div class="line">    &apos;72.14.205.104&apos;,</div><div class="line">    &apos;78.16.49.15&apos;,</div><div class="line">    &apos;93.46.8.89&apos;,</div><div class="line">    &apos;128.121.126.139&apos;,</div><div class="line">    &apos;159.106.121.75&apos;,</div><div class="line">    &apos;169.132.13.103&apos;,</div><div class="line">    &apos;192.67.198.6&apos;,</div><div class="line">    &apos;202.106.1.2&apos;,</div><div class="line">    &apos;202.181.7.85&apos;,</div><div class="line">    &apos;203.161.230.171&apos;,</div><div class="line">    &apos;203.98.7.65&apos;,</div><div class="line">    &apos;207.12.88.98&apos;,</div><div class="line">    &apos;208.56.31.43&apos;,</div><div class="line">    &apos;209.36.73.33&apos;,</div><div class="line">    &apos;209.145.54.50&apos;,</div><div class="line">    &apos;209.220.30.174&apos;,</div><div class="line">    &apos;211.94.66.147&apos;,</div><div class="line">    &apos;213.169.251.35&apos;,</div><div class="line">    &apos;216.221.188.182&apos;,</div><div class="line">    &apos;216.234.179.13&apos;,</div><div class="line">    &apos;243.185.187.39&apos;</div><div class="line">&#125;    </div><div class="line"></div><div class="line">def handle_nfqueue():</div><div class="line">    try:</div><div class="line">        nfqueue = NetfilterQueue()</div><div class="line">        nfqueue.bind(1, handle_packet)</div><div class="line">        nfqueue.run()</div><div class="line">    except:</div><div class="line">        LOGGER.exception(&apos;stopped handling nfqueue&apos;)</div><div class="line">        dns_service_status.error = traceback.format_exc()    </div><div class="line"></div><div class="line">def handle_packet(nfqueue_element):</div><div class="line">    try:</div><div class="line">        ip_packet = dpkt.ip.IP(nfqueue_element.get_payload())</div><div class="line">        dns_packet = dpkt.dns.DNS(ip_packet.udp.data)</div><div class="line">        if contains_wrong_answer(dns_packet):</div><div class="line">        # after the fake packet dropped, the real answer can be accepted by the client</div><div class="line">            LOGGER.debug(&apos;drop fake dns packet: %s&apos; % repr(dns_packet))</div><div class="line">            nfqueue_element.drop()</div><div class="line">            return</div><div class="line">        nfqueue_element.accept()</div><div class="line">        dns_service_status.last_activity_at = time.time()</div><div class="line">    except:</div><div class="line">        LOGGER.exception(&apos;failed to handle packet&apos;)</div><div class="line">        nfqueue_element.accept()    </div><div class="line"></div><div class="line">def contains_wrong_answer(dns_packet):</div><div class="line">    if dpkt.dns.DNS_A not in [question.type for question in dns_packet.qd]:</div><div class="line">        return False # not answer to A question, might be PTR</div><div class="line">    for answer in dns_packet.an:</div><div class="line">        if dpkt.dns.DNS_A == answer.type:</div><div class="line">            resolved_ip = socket.inet_ntoa(answer[&apos;rdata&apos;])</div><div class="line">            if resolved_ip in WRONG_ANSWERS:</div><div class="line">                return True # to find wrong answer</div><div class="line">            else:</div><div class="line">                LOGGER.info(&apos;dns resolve: %s =&gt; %s&apos; % (dns_packet.qd[0].name, resolved_ip))</div><div class="line">                return False # if the blacklist is incomplete, we will think it is right answer</div><div class="line">    return True # to find empty answer</div></pre></td></tr></table></figure></p>
<p>其原理是一样的，过滤所有的DNS应答，如果发现是错误的答案就丢弃。因为是基于nfqueue的，所以只要linux内核支持nfqueue，而且iptables可以添加nfqueue的target，就可以使用以上方式来丢弃DNS错误答案。目前已经成功在主流的android手机上运行该程序，并获得正确的DNS解析结果。另外，上面的实现利用iptables的重定向能力，达到了更换本机dns服务器的目的。无论机器设置的dns服务器是什么，通过上面的iptables规则，统统给你重定向到干净的DNS（8.8.8.8）。</p>
<p>自此DNS穿墙的讨论基本上就完成了。DNS劫持是所有GFW封锁手段中最薄弱的一环，有很多种方法都可以穿过。如果不想写代码，用V2EX DNS的非标准端口是最容易的部署方式。如果愿意部署代码，用nfqueue丢弃错误答案是最可靠通用的方式，不依赖于特定的服务器。fqdns集成了所有的克服DNS劫持的手段，其为fqrouter的组成部分之一： <a href="https://github.com/fqrouter/fqdns" target="_blank" rel="external">https://github.com/fqrouter/fqdns</a></p>
<p>##封IP观测</p>
<p>###观测twitter.com<br>首先使用dig获得twitter.com的ip地址：</p>
<p>root@OpenWrt:~# dig +tcp @8.8.8.8 twitter.com    </p>
<blockquote>
<p>; &lt;&lt;&gt;&gt; DiG 9.9.1-P3 &lt;&lt;&gt;&gt; +tcp @8.8.8.8 twitter.com<br>; (1 server found)<br>;; global options: +cmd<br>;; Got answer:<br>;; -&gt;&gt;HEADER&lt;&lt;- opcode: QUERY, status: NOERROR, id: 8015<br>;; flags: qr rd ra; QUERY: 1, ANSWER: 3, AUTHORITY: 0, ADDITIONAL: 1    </p>
<p>;; OPT PSEUDOSECTION:<br>; EDNS: version: 0, flags:; udp: 512<br>;; QUESTION SECTION:<br>;twitter.com.                        IN        A    </p>
<p>;; ANSWER SECTION:<br>twitter.com.                7        IN        A        199.59.149.230<br>twitter.com.                7        IN        A        199.59.150.39<br>twitter.com.                7        IN        A        199.59.150.7</p>
</blockquote>
<p>根据前面的内容我们知道使用dns over tcp，大部分的域名解析都不会被干扰的。这里得到了三个ip地址。先来测试199.59.149.230</p>
<blockquote>
<p>root@OpenWrt:~# traceroute 199.59.149.230 -n<br>traceroute to 199.59.149.230 (199.59.149.230), 30 hops max, 38 byte packets<br>1  123.114.32.1  19.862 ms  4.267 ms  101.431 ms<br>2  61.148.163.73  920.148 ms  5.108 ms  3.868 ms<br>3  124.65.56.129  7.596 ms  7.742 ms  7.735 ms<br>4  123.126.0.133  5.310 ms  7.745 ms  7.573 ms<br>5  <em>  </em>  <em><br>6  </em>  <em>  </em></p>
</blockquote>
<p>这个结果是最常见的。在骨干路由器上，针对这个ip丢包了。这种封锁方式就是最传统的封IP方式，BGP路由扩散，现象就是针对上行流量的丢包。再来看199.59.150.39</p>
<blockquote>
<p>root@OpenWrt:~# traceroute 199.59.150.39 -n<br>traceroute to 199.59.150.39 (199.59.150.39), 30 hops max, 38 byte packets<br>1  123.114.32.1  14.046 ms  20.322 ms  19.918 ms<br>2  61.148.163.229  7.461 ms  7.182 ms  7.540 ms<br>3  124.65.56.157  4.491 ms  3.342 ms  7.260 ms<br>4  123.126.0.93  6.715 ms  7.309 ms  7.438 ms<br>5  219.158.4.126  5.326 ms  3.217 ms  3.596 ms<br>6  219.158.98.10  3.508 ms  3.606 ms  4.198 ms<br>7  219.158.33.254  140.965 ms  133.414 ms  136.979 ms<br>8  129.250.4.107  132.847 ms  137.153 ms  134.207 ms<br>9  61.213.145.166  253.193 ms  253.873 ms  258.719 ms<br>10  199.16.159.15  257.592 ms  258.963 ms  256.034 ms<br>11  199.16.159.55  267.503 ms  268.595 ms  267.590 ms<br>12  199.59.150.39  266.584 ms  259.277 ms  263.364 ms</p>
</blockquote>
<p>在我撰写的时候，这个ip还没有被封。但是根据经验，twitter.com享受了最高层次的GFW关怀，新的ip基本上最慢也是隔日被封的。不过通过这个traceroute可以看到219.158.4.126其实就是那个之前捣乱的服务器，包是在它手里被丢掉的（严格来说并不一定是219.158.4.126，因为ip包经过的路由对于不同的目标ip设置不同的端口都可能会不一样）。再来看199.59.150.7</p>
<blockquote>
<p>root@OpenWrt:~# traceroute 199.59.150.7 -n<br>traceroute to 199.59.150.7 (199.59.150.7), 30 hops max, 38 byte packets<br>1  123.114.32.1  11.379 ms  10.420 ms  23.008 ms<br>2  61.148.163.229  6.102 ms  6.777 ms  7.373 ms<br>3  61.148.153.61  5.638 ms  3.148 ms  3.235 ms<br>4  123.126.0.9  3.473 ms  3.306 ms  3.216 ms<br>5  219.158.4.198  2.839 ms !H  *  6.136 ms !H</p>
</blockquote>
<p>这次同样是封IP，但是现象不同。通过抓包可以观察到是什么问题：</p>
<blockquote>
<p>root@OpenWrt:~# tcpdump -i pppoe-wan host 199.59.150.7 or icmp -vvv<br>07:46:11.355913 IP (tos 0x0, ttl 251, id 0, offset 0, flags [none], proto ICMP (1), length 56)<br>   219.158.4.198 &gt; 123.114.40.44: ICMP host r-199-59-150-7.twttr.com unreachable, length 36<br>       IP (tos 0x0, ttl 1, id 0, offset 0, flags [DF], proto UDP (17), length 38)<br>  123.114.40.44.45021 &gt; r-199-59-150-7.twttr.com.33449: UDP, length 10</p>
</blockquote>
<p>原来219.158.4.198发回来了一个ICMP包，内容是地址不可到达（unreachable）。于是traceroute就在那里断掉了。</p>
<p><code>root@OpenWrt:~# iptables -I INPUT -p icmp --icmp-type 3 -j DROP</code><br>如果把unreachable类型的ICMP包丢弃掉，会发现ip包仍然过不去</p>
<blockquote>
<p>root@OpenWrt:~# traceroute 199.59.150.7 -n<br>traceroute to 199.59.150.7 (199.59.150.7), 30 hops max, 38 byte packets<br>1  123.114.32.1  4.866 ms  3.165 ms  3.212 ms<br>2  61.148.163.229  3.107 ms  3.104 ms  3.270 ms<br>3  61.148.153.61  6.001 ms  7.246 ms  7.398 ms<br>4  123.126.0.9  7.840 ms  7.223 ms  7.443 ms<br>5  <em>  </em>  *</p>
</blockquote>
<p>这次就和被丢包了是一样的观测现象了。</p>
<blockquote>
<p>root@OpenWrt:~# iptables -L -v -n | grep icmp<br>   3   168 DROP       icmp –  <em>      </em>       0.0.0.0/0            0.0.0.0/0           icmp type 3</p>
</blockquote>
<p>同时，可以看到我们仍然是收到了icmp地址不可到达的包的，只是被我们drop掉了。</p>
<h2 id="观测被封ip的反向流量"><a href="#观测被封ip的反向流量" class="headerlink" title="观测被封ip的反向流量"></a>观测被封ip的反向流量</h2><p>之前的观测中，被封的ip是ip包的dst。如果我们从国外往国内发包，其src是被封的ip，那么ip包是否会被GFW过滤掉呢？登录到一台国外的vps上执行下面的python代码</p>
<figure class="highlight plain"><table><tr><td class="gutter"><pre><div class="line">1</div><div class="line">2</div></pre></td><td class="code"><pre><div class="line">from scapy.all import *</div><div class="line">send(IP(src=&quot;199.59.150.7&quot;, dst=&quot;123.114.40.44&quot;)/ICMP())</div></pre></td></tr></table></figure>
<p>然后在国内的路由器（123.114.40.44）上执行抓包程序</p>
<blockquote>
<p>root@OpenWrt:~# tcpdump -i pppoe-wan host 199.59.150.7 or icmp -vvv<br>tcpdump: listening on pppoe-wan, link-type LINUX_SLL (Linux cooked), capture size 65535 bytes<br>10:41:14.294671 IP (tos 0x0, ttl 50, id 1, offset 0, flags [none], proto ICMP (1), length 28)<br>   r-199-59-150-7.twttr.com &gt; 123.114.40.44: ICMP echo request, id 0, seq 0, length 8<br>10:41:14.294779 IP (tos 0x0, ttl 64, id 25013, offset 0, flags [none], proto ICMP (1), length 28)<br>   123.114.40.44 &gt; r-199-59-150-7.twttr.com: ICMP echo reply, id 0, seq 0, length 8</p>
</blockquote>
<p>可以看到，如果该ip是src而不是dst并不会被GFW过滤。这一行为有两种可能：要么GFW认为封dst就可以了，不屑于再封src了。另外一种可能是GFW封twitter的IP用的是路由表扩散技术，而传统的路由表是基于dst做路由判断的（高级的路由器可以根据src甚至端口号做为路由的依据），所以dst路由表导致的路由黑洞并不会影响该ip为src的情况。我相信是后者，但是GFW在封个人翻墙主机上所表现的实力（对大量的ip做精确到端口的全国性丢包）让我们相信，GFW很容易把封锁变成双向的。不过说实话，在这个硬实力的背后，靠的更多的是CISCO下一代骨干网路由器的超强处理能力，而不是GFW自身。</p>
<p>##单向代理</p>
<p>因为GFW对IP的封锁是针对上行流量的，所以使得单向代理就可以突破封锁。上行的IP包经过单向代理转发给目标服务器，下行的IP包直接由目标服务器发回给客户端。代码与DNS（UDP协议）的单向代理是一样的。因为单向代理利用的是IP协议，所以TCP与UDP都是一样的。除了单向代理，目前尚没有其他的办法穿过GFW访问被封的IP，只能使用传统的翻墙技术，SOCKS代理或者VPN这些。</p>
<p>使用中国IP访问twitter一文中有更详细的描述：</p>
<p><a href="http://fqrouter.tumblr.com/post/38463337823/ip-twitter-1-nfqueue-packet" target="_blank" rel="external">http://fqrouter.tumblr.com/post/38463337823/ip-twitter-1-nfqueue-packet</a><br><a href="http://fqrouter.tumblr.com/post/38465016969/ip-twitter-2-nat" target="_blank" rel="external">http://fqrouter.tumblr.com/post/38465016969/ip-twitter-2-nat</a><br><a href="http://fqrouter.tumblr.com/post/38468377418/ip-twitter-3-raw-socket" target="_blank" rel="external">http://fqrouter.tumblr.com/post/38468377418/ip-twitter-3-raw-socket</a><br><a href="http://fqrouter.tumblr.com/post/38469096940/ip-twitter-4" target="_blank" rel="external">http://fqrouter.tumblr.com/post/38469096940/ip-twitter-4</a><br>有一个小工具来实现单向代理: <a href="https://github.com/fqrouter/fquni" target="_blank" rel="external">https://github.com/fqrouter/fquni</a></p>
]]></content>
    
    <summary type="html">
    
      &lt;p&gt;转自：&lt;a href=&quot;http://drops.wooyun.org/papers/10177&quot;&gt;http://drops.wooyun.org/papers/10177&lt;/a&gt;&lt;/p&gt;
&lt;hr&gt;
&lt;h1 id=&quot;0×00-开篇&quot;&gt;&lt;a href=&quot;#0×00-开篇&quot; class=&quot;headerlink&quot; title=&quot;0×00 开篇&quot;&gt;&lt;/a&gt;0×00 开篇&lt;/h1&gt;&lt;p&gt;GFW具有重大的社会意义。无论是正面的社会意义，还是负面的意义。无论你是讨厌，还是憎恨。它都在那里。在可以预见的将来，墙还会继续存在。我们要学会如何与其共存。我是一个死搞技术的，就是打算搞技术到死的那种人。当我读到&lt;a href=&quot;http://gfwrev.blogspot.jp/2010/03/blog-post.html&quot;&gt;西厢计划&lt;/a&gt;的博客上的这么一段话时，我被深深的触动了。不是为了什么政治目的，不是为了什么远大理想，仅仅做为一个死搞技术的人显摆自己的价值，我也必须做些什么。博客上的原话是这么写的：&lt;/p&gt;
    
    </summary>
    
    
  </entry>
  
  <entry>
    <title>个人Markdown Web  编辑器产品设计&amp;部署</title>
    <link href="check_hexo_config_url/2016/10/01/%E4%B8%AA%E4%BA%BAMarkdown-Web-%E7%BC%96%E8%BE%91%E5%99%A8%E4%BA%A7%E5%93%81%E8%AE%BE%E8%AE%A1-%E9%83%A8%E7%BD%B2/"/>
    <id>check_hexo_config_url/2016/10/01/个人Markdown-Web-编辑器产品设计-部署/</id>
    <published>2016-10-01T12:07:53.000Z</published>
    <updated>2016-12-08T03:25:03.000Z</updated>
    
    <content type="html"><![CDATA[<p>最近迷上了Markdown，希望积累些文字。同时，Sublime的Markdown插件已经能满足我对写作体验的追求，作为一个WebApp的狂热爱好者，决定使用StackEdit作为我的Markdown终端。另外，因为已经利用GitHub Page和Hexo建了一个Blog，必须兼容历史数据的同时具备一定的健壮性，起码，单独使用Hexo和StackEdit时，都要符合产品的使用预期。</p>
<a id="more"></a>
<p><a href="MarkdownWeb编辑器产品调研">#为什么使用StackEdit作为我的Markdown终端？-Markdown Web  编辑器产品调研</a></p>
<h1 id="我的场景"><a href="#我的场景" class="headerlink" title="我的场景"></a>我的场景</h1><ul>
<li>Web端Markdown撰写 - StackEdit</li>
<li>客户端Markdown撰写 - Sublime</li>
<li>已经利用Hexo撰写过文章并发布到GitHub Pages，GitHub Pages只负责展现</li>
</ul>
<h1 id="其他背景"><a href="#其他背景" class="headerlink" title="其他背景"></a>其他背景</h1><h2 id="Hexo项目逻辑"><a href="#Hexo项目逻辑" class="headerlink" title="Hexo项目逻辑"></a>Hexo项目逻辑</h2><p>Hexo会根据<code>&lt;%hexo-root-directory&gt;/source/_posts</code>下的<code>*.md</code>文件每次生成（<code>hexo generate</code>）静态HTML文件保存于<code>&lt;%hexo-root-directory&gt;/.deply_git</code>文件夹，每次部署（<code>hexo deploy</code>），把<code>.deply_git</code>文件夹中的HTML文件同步到GitHub。利用<a href="https://help.github.com/articles/configuring-a-publishing-source-for-github-pages/" target="_blank" rel="external">GitHub Pages</a>设置，自动从master分支build成网页。</p>
<p>（.md是Markdown文件后缀）<br><img src="/diagrams/个人Markdown-Web-编辑器产品设计-部署-diagram-0.png" alt=""><br><a href="https://github.com/hexojs/hexo-deployer-git" target="_blank" rel="external">#reference-hexojs/hexo-deployer-git</a><br><a href="https://hexo.io/zh-cn/docs/deployment.html" target="_blank" rel="external">#reference-deployment</a></p>
<h1 id="构思"><a href="#构思" class="headerlink" title="构思"></a>构思</h1><p>基于以上场景，简单的概念模型如下：<br><img src="/diagrams/个人Markdown-Web-编辑器产品设计-部署-diagram-1.png" alt=""><br>我需要考虑的点包括：</p>
<ul>
<li>对所有终端，“发布”后应该保持同步</li>
<li><strong>撰写</strong>包括<strong>增 、删 、改 、查</strong> 操作</li>
<li>两个终端都能互相<strong>撰写</strong>对方创建的md</li>
<li>两个终端应该有一套同步&amp;冲突处理机制</li>
<li>三个终端支持相同的Markdown语法</li>
</ul>
<h2 id="目前的解决方案"><a href="#目前的解决方案" class="headerlink" title="目前的解决方案"></a>目前的解决方案</h2><p><strong>涉及的开源项目：GitHub/GitHub Pages＋Hexo＋StackEdit</strong></p>
<ul>
<li>StackEdit充当Web端Markdown编辑器</li>
<li>关联StackEdit到Github，StackEdit固定发布到repo <code>Markdown</code></li>
<li>Github repo <code>Markdown</code>与本地文件夹<code>&lt;%hexo-root-directory&gt;/source/_posts&gt;</code>同步</li>
<li>关联Hexo到GitHub repo<code>NoraGithub.github.io</code>，利用<a href="#Hexo项目逻辑">Hexo项目逻辑</a>中，<code>&lt;%hexo-root-directory&gt;/source/_posts&gt;</code> 和 <code>&lt;%hexo-root-directory&gt;/.deply_git</code> 的映射关系，发布到GitHub Pages<br><img src="/diagrams/个人Markdown-Web-编辑器产品设计-部署-diagram-2.png" alt=""></li>
</ul>
<p><img src="/diagrams/个人Markdown-Web-编辑器产品设计-部署-diagram-3.png" alt=""></p>
<h2 id="冲突处理机制"><a href="#冲突处理机制" class="headerlink" title="冲突处理机制"></a>冲突处理机制</h2><ul>
<li>由上图可见，和概念模型的区别是，StackEdit没办法获取（<code>git pull</code>/<code>git fetch</code>）到本地Sublime编写过的md文件，甚至无法知道产生过冲突，只能 <code>git push --force</code>。</li>
<li>为了防止冲突，应该尽量StackEdit撰写文章，然后单向发布文章。</li>
<li>实在必须本地Sublime编写，先<code>git pull</code> ，解决冲突后，在online的情况下，  CV（复制+黏贴）回到StackEdit，进入单向发布文章流程。</li>
</ul>
<p>#Advanced<br>git module<a href="https://git-scm.com/book/zh/v1/Git-%E5%B7%A5%E5%85%B7-%E5%AD%90%E6%A8%A1%E5%9D%97" target="_blank" rel="external">git工具－子模块</a></p>
<h2 id="StackEdit"><a href="#StackEdit" class="headerlink" title="StackEdit"></a>StackEdit</h2><h2 id="git"><a href="#git" class="headerlink" title="git"></a>git</h2><p>what “github update” do</p>
<p>windows 下奇怪路径导致不能git pull</p>
<h1 id="个性化方案"><a href="#个性化方案" class="headerlink" title="个性化方案"></a>个性化方案</h1><p>##<a href="http://couchdb.apache.org/" target="_blank" rel="external">couchdb</a><br><a href="https://zh.wikipedia.org/wiki/CouchDB" target="_blank" rel="external">apache couchdb-wikipedia</a><br><a href="https://www.google.com.hk/search?newwindow=1&amp;safe=strict&amp;q=couchdb+github+commit&amp;oq=couchdb+github+commit&amp;gs_l=serp.3...5756.6895.0.7150.7.7.0.0.0.0.159.671.3j3.6.0....0...1c.1.64.serp..1.4.456...0i30k1j0i8i30k1j0i5i30k1j30i10k1.G7oZjLggN_Y" target="_blank" rel="external">couched github commit</a><br><a href="http://wiki.apache.org/couchdb/Installing_on_OSX" target="_blank" rel="external">Installing on OSX</a><br><a href="https://github.com/apache/couchdb/blob/master/INSTALL.Unix.md" target="_blank" rel="external">Apache CouchDB INSTALL.Unix</a><br><a href="https://github.com/benweet/stackedit/blob/master/doc/couchdb-setup.md" target="_blank" rel="external">couchdb setup</a><br><a href="http://www.jdon.com/repository/couchdb.html" target="_blank" rel="external">couchdb的安装时使用</a><br><a href="https://www.google.com.hk/search?newwindow=1&amp;safe=strict&amp;q=couchdb++stackedit+%E6%95%99%E7%A8%8B&amp;oq=couchdb++stackedit+%E6%95%99%E7%A8%8B&amp;gs_l=serp.3...1737704.1740833.0.1740989.21.12.9.0.0.0.207.867.4j3j1.8.0....0...1c.1.64.serp..5.2.209...0i8i30k1.J1f7Jf6RHzQ" target="_blank" rel="external">couchdb  stackedit 教程</a></p>
<h1 id="如果可以的话"><a href="#如果可以的话" class="headerlink" title="如果可以的话"></a>如果可以的话</h1><p>理想状态下，Editor和Publisher应该在部署在同一个Server，作为同一个Website。</p>
<h2 id="理想模型"><a href="#理想模型" class="headerlink" title="理想模型"></a>理想模型</h2><h3 id="未发布"><a href="#未发布" class="headerlink" title="未发布"></a>未发布</h3><p><img src="/diagrams/个人Markdown-Web-编辑器产品设计-部署-diagram-4.png" alt=""><br>WYSIWYG：What You See Is What You Get，所见即所得</p>
<h3 id="发布"><a href="#发布" class="headerlink" title="发布"></a>发布</h3><p><img src="/diagrams/个人Markdown-Web-编辑器产品设计-部署-diagram-5.png" alt=""><br>一旦冲突可以出线命令行界面，用于merge或rebase。<br>由于本文所有项目都是开源的，相信终有一天能实现。</p>
<ul>
<li>[x] GitHub Pages只负责展现，不能撰写</li>
<li>[x] 对StackEdit/Sublime，存在“发布”/“未发布”状态，“发布”后应该尽量同步，“未发布”状态相互独立即可</li>
<li>[]所谓“同步”，完全按照Git Flow管理（如果有协作，可能GitHub Flow更好）</li>
<li>[]三个终端支持相同且完整的Markdown语法，这套语法应该涵盖UML、LaTex公式&amp; MathJax在内的分析师、PM常用表现工具<br><img src="/diagrams/个人Markdown-Web-编辑器产品设计-部署-diagram-6.png" alt=""></li>
</ul>
]]></content>
    
    <summary type="html">
    
      &lt;p&gt;最近迷上了Markdown，希望积累些文字。同时，Sublime的Markdown插件已经能满足我对写作体验的追求，作为一个WebApp的狂热爱好者，决定使用StackEdit作为我的Markdown终端。另外，因为已经利用GitHub Page和Hexo建了一个Blog，必须兼容历史数据的同时具备一定的健壮性，起码，单独使用Hexo和StackEdit时，都要符合产品的使用预期。&lt;/p&gt;
    
    </summary>
    
    
      <category term="Markdown" scheme="check_hexo_config_url/tags/Markdown/"/>
    
      <category term="StackEdit" scheme="check_hexo_config_url/tags/StackEdit/"/>
    
      <category term="Hexo" scheme="check_hexo_config_url/tags/Hexo/"/>
    
      <category term="同步" scheme="check_hexo_config_url/tags/%E5%90%8C%E6%AD%A5/"/>
    
  </entry>
  
</feed>