手撕項目-Flink電商實時分析一

本次主要記錄項目的架構圖、上報服務和kafka服務的搭建

 

1. 項目架構

 

 

 

2.上報服務

使用springboot框架，用戶調用接口收集數據（暫時是一個架子，後續完善）

核心代碼：

@PostMapping("webInfoSJservice")

    public void webInfoSJservice(@RequestBody String jsonStr, HttpServletRequest request , HttpServletResponse response){        System.out.println("hello Jin來了"+jsonStr);        //業務開始        //業務結束        PrintWriter printWriter = getWriter(response);        response.setStatus(HttpStatus.OK.value());        printWriter.write("success");        closeprintwriter(printWriter);    }
    private PrintWriter getWriter(HttpServletResponse response){        response.setCharacterEncoding("utf-8");        response.setContentType("application/json");        OutputStream out = null;        PrintWriter printWriter = null;        try {            out = response.getOutputStream();            printWriter = new PrintWriter(out);        } catch (IOException e) {            e.printStackTrace();        }        return printWriter;    }    private void closeprintwriter(PrintWriter printWriter){        printWriter.flush();        printWriter.close();    }

 

 

3.搭建kafka

 

網上搭建的教程很多，這就不贅述了，單純的說下可能出現的問題：

    1.kafka和zookeeper版本的問題，可以自行翻閱版本匹配

    2.原來從目前的最新版本3.5.5開始，帶有bin名稱的包纔是我們想要的下載可以直接使用的裏面有編譯後的二進制的包，而之前的普通的tar.gz的包裏面是隻是源碼的包無法直接使用。

          3.kafka的版本與jdk版本的匹配問題（jdk版本太低（8_11），使用（8_151））

        測試java調用搭建的kafka（topic模式）

 

 

flink streaming和kafka整合

 

  具體代碼可參照我的git項目地址,現有代碼均已通過測試可以使用，後續會持續更新，直到項目結束，不懂的細節，可以關注公衆號，後臺留言，會細緻解答。

  git地址:https://github.com/jyqjyq/filnkDS.git