HTML5技术

一个JavaWeb项目开发总结 - 多啦A(2)

字号+ 作者:H5之家 来源:博客园 2015-10-25 10:49 我要评论( )

获取规则url(正则表达式) - 模拟请求(如httpclient get请求)- 获取列表页html - 获取信息页 - 发送请求 - 信息页html - 根据规则截取相应的字段信息 - 对字段进行清理(如图片压缩) - 静态化(存储到数据库) 三、架

获取规则url(正则表达式) -> 模拟请求(如httpclient get请求)-> 获取列表页html -> 获取信息页 -> 发送请求 -> 信息页html -> 根据规则截取相应的字段信息 -> 对字段进行清理(如图片压缩) -> 静态化(存储到数据库)

三、架构文档

开发项目是需要学会写架构文档,而不是只是做一个码农

包含以下内容:

下发任务后每个模块的负责人用开发工具画出自己的时序图,表结构和接口文档,最后汇总到总项目负责人处。

 

四、其它
  • 数据库是否分表问题:用分表的方式管理表有时并不合理,如果读的压力高是不值得的,可能更慢。如果写并发高就行(以千万级别为准)。 读是按缓存的,缓存密度在95%以上是比较保险的。读的优化:读单条信息,只需搜到这个id,然后直接从缓存中拿,缓存用id做缓存,查id的效率是很高的

  • CMS=模板+数据:可以通过只有一套自己的模板(如用freemarker),发送请求获取json数据填入信息。CMS有模板通过把数据填入模板即形成一个网页。

  • 计算机浏览器的网页内容要在手机上查看,需要做到响应式HTML

  • 如通过抓取网页内容放到app上显示,需要做的内容:图片大小自适应,内容尽量保真,校验内容是否丢失,链接需要替换的需要进行替换,html标签替换

  • 爬虫的核心是多线程的任务管理,抓取分页列表内容。

  • 微信公众号上是如何绑定用户让用户只登录一次,下次不用登陆?这个过几天补充。

  •  

     

    1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

    相关文章
    • Dora.Interception: 一个为.NET Core度身定制的AOP框架 - Artech

      Dora.Interception: 一个为.NET Core度身定制的AOP框架 - Artech

      2017-05-02 11:00

    • 【Vue 入门】使用 Vue2 开发一个展示项目列表的应用 - zhangjk

      【Vue 入门】使用 Vue2 开发一个展示项目列表的应用 - zhangjk

      2017-04-30 16:00

    • 【CSS】如何用css做一个爱心 - 只会修电脑的程序猿

      【CSS】如何用css做一个爱心 - 只会修电脑的程序猿

      2017-04-18 11:00

    • VS 2017开发ASP.NET Core Web应用过程中发现的一个重大Bug - 雲霏霏

      VS 2017开发ASP.NET Core Web应用过程中发现的一个重大Bug - 雲霏霏

      2017-04-07 16:01

    网友点评
    a