代码人生的小狗窝

一行行枯燥的代码,却描绘出人生的点点滴滴

推荐文章

遇到Hadoop 50070端口打不开,该怎么处理

    遇到Hadoop 50070端口打不开,该怎么办? 遇到Hadoop 50070端口打不开,该怎么办? Hadoop 50070是hdfs的web管理页面,在搭建Hadoop集群环境时,有些大数据开发技术人员会遇到Hadoop 50070端口打不开的情况,引起该问题的原因很多,想要解决这个问题需要从以下方面进行排查! 1. 排查Namenode是否部署成功 排查Namenode是否部署成功可以采用命令/etc/init.d/hadoop-0.20-namenode status或jps两种方式之一查看,如Namenode未部署成功,需重新部署Namenode;若已部署成功,请进行第二步排查! 2. 排查datanode是否部署成功 排查datanode是否部署成功可以采用jps命令进行查看,如果部署未成功,找到问题节点进行解决;若部署成功请进行第三步。 3.排查防火墙是否开启 排

    阅读全文>>

作者:coody分类:【_数据库浏览(1547

2019-09-25

数据库访问优化规律

    数据库访问优化法则 一、百万级数据库优化方案1.对查询进行优化,要尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null最好不要给数据库留NULL,尽可能的使用 NOT NULL填充数据库.备注、描述、评论之类的可以设置为 NULL,其他的,最好不要使用NULL。不要以为 NULL 不需要空间,比如:char(100) 型,在字段建立时,空间就固定了, 不管是否插入值(NULL也包含在内),都是占用 100个字符的空间的,如果是varchar这样的变长字段, null 不占用空间。可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:select id

    阅读全文>>

作者:coody分类:【_数据库浏览(672

2019-09-25

Hadoop 50070端口打不开,该怎么排查

    Hadoop 50070端口打不开,该如何排查? Hadoop 50070端口打不开,该如何排查? Hadoop 50070是hdfs的web管理页面,在搭建Hadoop集群环境时,有些大数据开发技术人员会遇到Hadoop 50070端口打不开的情况,引起该问题的原因很多,想要解决这个问题需要从以下方面进行排查! 1. 排查Namenode是否部署成功 排查Namenode是否部署成功可以采用命令/etc/init.d/hadoop-0.20-namenode status或jps两种方式之一查看,如Namenode未部署成功,需重新部署Namenode;若已部署成功,请进行第二步排查! 2. 排查datanode是否部署成功 排查datanode是否部署成功可以采用jps命令进行查看,如果部署未成功,找到问题节点进行解决;若部署成功请进行第三步。 3.排查防火墙是否开启 排查防

    阅读全文>>

作者:coody分类:【_数据库浏览(1516

2019-09-27

再谈大局网HBase八大应用场景

    再谈全局网HBase八大应用场景 摘要: HBase可以说是一个数据库,也可以说是一个存储。拥有双重属性的HBase天生就具备广阔的应用场景。在2.0中,引入了OffHeap降低了延迟,可以满足在线的需求。引入MOB,可以存储10M左右的对象,完全适应了对象存储。另外由于自身的并发能力、存储能力,可以说是具有最为竞争力的引擎   HBase概述   HBase是一个分布式存储、数据库引擎,可以支持千万的QPS、PB级别的存储,这些都已经在生产环境验证,并且在广大的公司已经验证。特别是阿里、小米、京东、滴滴内部都有数千、上万台的HBase集群。选择一个技术的首要条件是对齐大公司,大公司会投入大量的人力去维护、改进、贡献社区。   关于NewSQL与NoSQL的关系   技术总是不断向前发展的,如今都在提NewSQL,其实NewSQL在笔者看来是NoSQL之上的一个封装,一个子场

    阅读全文>>

作者:coody分类:【_数据库浏览(2129

2019-09-25

遇到Hadoop 50070端口打不开,怎么处理

    遇到Hadoop 50070端口打不开,怎么办? 遇到Hadoop 50070端口打不开,怎么办? Hadoop 50070是hdfs的web管理页面,在搭建Hadoop集群环境时,有些大数据开发技术人员会遇到Hadoop 50070端口打不开的情况,引起该问题的原因很多,想要解决这个问题需要从以下方面进行排查! 1. 排查Namenode是否部署成功 排查Namenode是否部署成功可以采用命令/etc/init.d/hadoop-0.20-namenode status或jps两种方式之一查看,如Namenode未部署成功,需重新部署Namenode;若已部署成功,请进行第二步排查! 2. 排查datanode是否部署成功 排查datanode是否部署成功可以采用jps命令进行查看,如果部署未成功,找到问题节点进行解决;若部署成功请进行第三步。 3.排查防火墙是否开启 排查防

    阅读全文>>

作者:coody分类:【_数据库浏览(1637

2019-09-25

jdbc插入数据及插入数据回来他的id

    jdbc插入数据及插入数据返回他的id 1.插入数据(不返回他的id)<1>这个也是插入数据,但是不返回当前行的id <2>插入数据返回当前行的id 下面是代码 public Integer saveApplySubmit(final Prediction prediction) {        KeyHolder keyHolder = new GeneratedKeyHolder();        int id = 0;        try {            final String sql = "insert into t_prediction(school_id,grade_id,student_name,sex,family_name,id_number," +                    "graduate_school

    阅读全文>>

作者:coody分类:【_数据库浏览(868

2019-09-27

Redis 在实际世界的 5 个用法(转)

    Redis 在现实世界的 5 个用法(转) Redis是一个强大的内存数据结构存储,包含数据库,缓存和消息代理等多种用途。大多数人经常认为它不过是一个简单的键值存储,但其实它有更多的能力。下面我将会总结一些Redis可以做的事情的真实例子。  1.全页面缓存 首先是整页缓存。如果你正在使用服务器端呈现的内容,则不需要为每个单独的请求重新渲染每个页面。使用如Redis这样的缓存,你可以缓存经常请求的内容,从而大大减少请求最多的页面的延迟,并且大多数框架针对Redis缓存页面都有hooks。 简单命令  代码  / Set the page that will last 1 minuteSET key "<html>...</html>" EX 60// Get the pageGET key   2.排行榜 Redis令人耀眼的地方之一就是排行

    阅读全文>>

作者:coody分类:【_数据库浏览(748

2019-09-28

大数据开发工程中会用什么工具

    大数据开发工程中会用什么工具? 大数据开发工程中会用什么工具? 大数据研究的出现,为企业、研究机构、政府决策提供了新的行之有效思路和手段,想要做好大数据的管理和分析,一些大数据开发工具的使用是必不可少的,以下是大数据开发过程中常用的工具: 1. Apache Hive Hive是一个建立在Hadoop上的开源数据仓库基础设施,通过Hive可以很容易的进行数据的ETL,对数据进行结构化处理,并对Hadoop上大数据文件进行查询和处理等。 Hive提供了一种简单的类似SQL的查询语言—HiveQL,这为熟悉SQL语言的用户查询数据提供了方便。 2. Apache Spark Apache Spark是Hadoop开源生态系统的新成员。它提供了一个比Hive更快的查询引擎,因为它依赖于自己的数据处理框架而不是依靠Hadoop的HDFS服务。同时,它还用于事件流处理、实时查询和机器学习等

    阅读全文>>

作者:coody分类:【_数据库浏览(1192

2019-09-25

oracle环境变量及异常解决

    oracle环境变量及错误解决 在系统变量中新建: 1)变量名 ORACLE_HOME 变量值 E:\Oracle\product\11.2.0\dbhome_1 说明:这里的变量值是你自己安装的Oracle数据库的安装路径,路径中你会找到project然后依次找到dbhome_1,然后将路径复制到环境变量值中。 变量path添加:%ORACLE_HOME%\bin 2)配置TNS_ADMIN 变量名 TNS_ADMIN 变量值 E:\Oracle\product\11.2.0\dbhome_1\NETWORK\ADMIN 3)变量名 NLS_LANG。 变量值 SIMPLIFIED CHINESE_CHINA.ZHS16GBK 说明:这里,笔者建议大家直接复制上面的变量值。这里的意思就是统一编码格式。具体的大家可以百度的到的,这里就不做详细说明了。 --------------

    阅读全文>>

作者:coody分类:【_数据库浏览(1287

2019-09-27

大数据分析亟需具备什么思维

    大数据分析需要具备什么思维? 大数据分析需要具备什么思维? 数据分析是从数据中提取有价值信息的过程,过程中需要对数据进行各种处理和归类,只有掌握了正确的数据分类方法和数据处理模式,才能起到事半功倍的效果,以下是数据分析员必备的9种数据分析思维模式: 1. 分类 分类是一种基本的数据分析方式,数据根据其特点,可将数据对象划分为不同的部分和类型,再进一步分析,能够进一步挖掘事物的本质。 2. 回归 回归是一种运用广泛的统计分析方法,可以通过规定因变量和自变量来确定变量之间的因果关系,建立回归模型,并根据实测数据来求解模型的各参数,然后评价回归模型是否能够很好的拟合实测数据,如果能够很好的拟合,则可以根据自变量作进一步预测。 3. 聚类 聚类是根据数据的内在性质将数据分成一些聚合类,每一聚合类中的元素尽可能具有相同的特性,不同聚合类之间的特性差别尽可能大的一种分类方式,其与分类分析不同

    阅读全文>>

作者:coody分类:【_数据库浏览(2033

2019-09-25

Oracle几个惯用的伪列(Pseudo-column)使用

    Oracle几个常用的伪列(Pseudo-column)使用 https://blog.csdn.net/u012047933/article/details/39233657   Oracle的Pseudo-column,常被翻译成伪列,也有人翻译成虚拟字段。常常有我们的数据操作中带来一些意想不到的效果.常用到的主要有sysdate, systimestamp,RowNum ,RowID, CURRVAL, NEXTVAL,UID, USER,Level,ORA_ROWSCN1.SYSDATE, SYSTIMESTAMP,SYSDATE 返回当前的系统时间。SYSTIMESTAMP 以TIMESTAMP WITH TIMEZONE 返回当前的日期和时间 sysdate是取机器的时间的, 而systimestamp是显示数据库的时区所在的时间Select  SysDate fro

    阅读全文>>

作者:coody分类:【_数据库浏览(1879

2019-09-27

多构件上传excel文档,解析后存入mysql数据库

    多部件上传excel文档,解析后存入mysql数据库 说明:此处使用的是java的ssm框架            jsp的界面            mysql批量数据插入 多部件上传,配置文件中的定义 <bean id="multipartResolver" class="org.springframework.web.multipart.commons.CommonsMultipartResolver"> <property name="defaultEncoding"> <value>UTF-8</value> </property> <!-- 定义最大上传文件的大小,自定义,可不用限定--> <property name="maxUploadSize"> <value>314

    阅读全文>>

作者:coody分类:【_数据库浏览(1875

2019-09-25

Hadoop 50070端口打不开怎么处理?hadoop课程

    Hadoop 50070端口打不开怎么办?hadoop课程 Hadoop 50070是hdfs的web管理页面,在搭建Hadoop集群环境时,有些大数据开发技术人员会遇到Hadoop 50070端口打不开的情况,引起该问题的原因很多,想要解决这个问题需要从以下方面进行排查! 1. 排查Namenode是否部署成功 排查Namenode是否部署成功可以采用命令/etc/init.d/hadoop-0.20-namenode status或jps两种方式之一查看,如Namenode未部署成功,需重新部署Namenode;若已部署成功,请进行第二步排查! 2. 排查datanode是否部署成功 排查datanode是否部署成功可以采用jps命令进行查看,如果部署未成功,找到问题节点进行解决;若部署成功请进行第三步。 3.排查防火墙是否开启 排查防火墙是否正常开启,如果防火墙关闭了,可按

    阅读全文>>

作者:coody分类:【_数据库浏览(1542

2019-09-25
上一页 1/1496页 下一页