關(guān)于用戶行為記錄分析的方案選擇.

solo123 2025-03-22

問題描述

公司要求繪畫用戶肖像,運(yùn)營分析用戶喜歡哪個(gè)話題,喜歡進(jìn)入哪些頁面..我想到了做請(qǐng)求上報(bào)處理.
目前有一臺(tái)A服務(wù)器做API應(yīng)用,計(jì)劃增加一臺(tái)B服務(wù)器,記錄用戶請(qǐng)求.

為此你搜索到了哪些方案及不適用的原因

我目前想到了兩個(gè)方案來記錄用戶請(qǐng)求

方案1 選擇nginx轉(zhuǎn)發(fā),nginx轉(zhuǎn)發(fā)到A服務(wù)器后,同時(shí)也轉(zhuǎn)發(fā)給B服務(wù)器.大致配置

location / {
    # 主要請(qǐng)求被發(fā)往服務(wù)器A
    proxy_pass http://serverA;
    # 請(qǐng)求副本被發(fā)送到服務(wù)器B
    mirror /mirror;
}
location /mirror {
    internal;
    proxy_pass http://serverB$request_uri;
}
upstream serverA {
   server A_IP_ADDRESS:PORT;
}
upstream serverB {
    server B_IP_ADDRESS:PORT;
}

方案2.nginx先將請(qǐng)求轉(zhuǎn)發(fā)給A服務(wù)器webman,A服務(wù)器在中間件里調(diào)用隊(duì)列,在隊(duì)列中轉(zhuǎn)發(fā)請(qǐng)求給B服務(wù)器.

目前不知道這兩種方案,哪一種比較好.或者還有其他什么方案嗎?
我希望增加了消息上報(bào)請(qǐng)求盡量不要加重nginx或者A服務(wù)器wenman的負(fù)擔(dān).
A服務(wù)器目前配置,8G16核,最高QPS 500左右.

求大佬解惑

 416  4 1

4個(gè)回答

nitron 2025-03-23

方案2,8C16G對(duì)500QPS綽綽有余,如果純分析訪問的uri,隊(duì)列都不用,nginx開access log,分析log就行

solo123 2025-03-23

nginx log不好用,因?yàn)橐?jì)劃在B服務(wù)器上用php對(duì)請(qǐng)求做定時(shí)統(tǒng)計(jì),計(jì)算.用戶行為等.
謝謝大佬的回答
solo123 2025-03-23

如果方案2,A服務(wù)器除了要接收來自nginx的500qps,還要轉(zhuǎn)發(fā)500請(qǐng)求出去,會(huì)不會(huì)對(duì)項(xiàng)目造成大的性能影響呢

ersic 2025-03-24

直接 https://clarity.microsoft.com/

solo123 2025-03-24

牛逼啊,大佬,什么貨都有

小Z先生 2025-03-24

直接nginx使用lua腳本鏈接redis 把用戶行為扔redis list 然后開個(gè)進(jìn)程去拉list的數(shù)據(jù)直接寫入數(shù)據(jù)庫就行了

solo123 2025-03-24

這個(gè)看上去,就跟方案2差不多了,在隊(duì)列里跑

chaz6chez 2025-03-24

用戶畫像這種需求建議使用一些比較成熟的bi產(chǎn)品去做；
因?yàn)槌擞脩舢嬒?，未來可能還需要對(duì)產(chǎn)品的其他數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析；
你的這個(gè)需求除了全域采集，還涉及到增長分析等。

這種業(yè)務(wù)的難點(diǎn)不在接收事件上報(bào)的服務(wù)器，主要在采集的端側(cè)和分析側(cè)；
采集端側(cè)需要約定采集規(guī)范、協(xié)議，需要適配各種端；
分析測(cè)主要選用一款查詢性能較好的數(shù)據(jù)庫或者數(shù)倉服務(wù)，比如pgsql或者clickhouse等（不建議MySQL，百萬的數(shù)據(jù)量的復(fù)雜查詢就很慢了），一般是一些支持列式儲(chǔ)存的數(shù)據(jù)庫，后期數(shù)據(jù)量較大了需要考慮數(shù)據(jù)壓縮等服務(wù)。

整體規(guī)劃需要根據(jù)自身業(yè)務(wù)的量級(jí)和人員配置來規(guī)劃，在沒有相關(guān)經(jīng)驗(yàn)的情況下，建議了解并購買成熟云產(chǎn)品。

整個(gè)技術(shù)周期是需要考慮以下幾個(gè)技術(shù)點(diǎn)：