mysql实现求分组topn

Welcome to aparke’s blog!

分组 TopN 问题

实现每个班级成绩前两名的学生信息

在mysql的最新版本mysql8已经支持了排名函数RANK，DENSE_RANK和ROW_NUMBER。但是在就得版本中还不支持这些函数，只能自己实现。实现方法主要用到了条件判断语句（CASE WHEN或IF）和添加临时变量。
区别RANK，DENSE_RANK和ROW_NUMBER
RANK并列跳跃排名，并列即相同的值，相同的值保留重复名次，遇到下一个不同值时，跳跃到总共的排名。
DENSE_RANK并列连续排序，并列即相同的值，相同的值保留重复名次，遇到下一个不同值时，依然按照连续数字排名。
ROW_NUMBER连续排名，即使相同的值，依旧按照连续数字进行排名。

这些函数再hive中都有实现 hive的窗口分析函数

more >>

展开全文 >>

MapReduce编程案例一

Welcome to aparke’s blog

Mapreduce经典案例之GroupingComparator

题目描述

用户在某个位置从某个时刻开始停留了多长时间

现有如下数据文件需要处理
格式：input.csv
字段：用户ID，位置ID，开始时间，停留时长(分钟）
4行样例：
UserA,LocationA,2018-01-01 08:00:00,60
UserA,LocationA,2018-01-01 09:00:00,60
UserA,LocationB,2018-01-01 10:00:00,60
UserA,LocationA,2018-01-01 11:00:00,60

more >>

展开全文 >>

通过MultipleOutputs写到多个文件

Welcome to aparke’s blog!

通过MultipleOutputs写到多个文件

MultipleOutputs 类可以将数据写到多个文件，这些文件的名称源于输出的键和值或者任意字符串。这允许每个 reducer（或者只有 map 作业的 mapper）创建多个文件。
采用name-m-nnnnn 形式的文件名用于 map 输出，name-r-nnnnn 形式的文件名用于 reduce 输出，其中 name 是由程序设定的任意名字， nnnnn 是一个指明块号的整数（从 0 开始）。
块号保证从不同块（mapper 或 reducer）输出在相同名字情况下不会冲突

more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

aparke<br><br><br>要么孤独<br><br>要么庸俗<br><br><br>谢谢关注<br/>