解決的問題：

10年積累的網(wǎng)站設(shè)計(jì)、成都做網(wǎng)站經(jīng)驗(yàn)，可以快速應(yīng)對(duì)客戶對(duì)網(wǎng)站的新想法和需求。提供各種問題對(duì)應(yīng)的解決方案。讓選擇我們的客戶得到更好、更有力的網(wǎng)絡(luò)服務(wù)。我雖然不認(rèn)識(shí)你，你也不認(rèn)識(shí)我。但先建設(shè)網(wǎng)站后付款的網(wǎng)站建設(shè)流程，更有九江免費(fèi)網(wǎng)站建設(shè)讓你可以放心的選擇與我們合作。

1、實(shí)現(xiàn)了二分類的卡方分箱；

2、實(shí)現(xiàn)了大分組限定停止條件，和最小閾值限定停止條件；

問題，還不太清楚，后續(xù)補(bǔ)充。

1、自由度k,如何來確定，卡方閾值的自由度為 分箱數(shù)-1，顯著性水平可以取10%，5%或1%

算法擴(kuò)展：

1、卡方分箱除了用閾值來做約束條件，還可以進(jìn)一步的加入分箱數(shù)約束，以及最小箱占比，壞人率約束等。

2、需要實(shí)現(xiàn)更多分類的卡方分箱算法；

具體代碼如下：

# -*- coding: utf-8 -*-
"""
Created on Wed Nov 28 16:54:58 2018
@author: wolfly_fu
解決的問題：
1、實(shí)現(xiàn)了二分類的卡方分箱
2、實(shí)現(xiàn)了大分組限定停止條件，和最小閾值限定停止條件；
問題，
1、自由度k,如何來確定？
算法擴(kuò)展：
1、卡方分箱除了用閾值來做約束條件，還可以進(jìn)一步的加入分箱數(shù)約束，以及最小箱占比，壞人率約束等。
2、需要實(shí)現(xiàn)更多分類的卡方分箱算法
"""
 
import pandas as pd
import numpy as np
from scipy.stats import chi2
 
#導(dǎo)入數(shù)據(jù)
df = pd.read_csv(u'test.csv')
 
#計(jì)算卡方統(tǒng)計(jì)量
def cal_chi2(input_df, var_name, Y_name): ##二分類，，計(jì)算每個(gè)變量值的卡方統(tǒng)計(jì)量
  '''
  df = input_df[[var_name, Y_name]]
  var_values = sorted(list(set(df[var_name])))
  Y_values = sorted(list(set(df[Y_name])))
  #用循環(huán)的方式填充
  chi2_result = pd.DataFrame(index=var_values, columns=Y_values)  
  for var_value in var_values:
    for Y_value in Y_values:
      chi2_result.loc[var_value][Y_value] = \
      df[(df[var_name]==var_value)&(df[Y_name]==Y_value)][var_name].count()
  '''
  input_df = input_df[[var_name, Y_name]]  #取數(shù)據(jù)
  all_cnt = input_df[Y_name].count() #樣本總數(shù)
  all_0_cnt = input_df[input_df[Y_name] == 0].shape[0] # 二分類的樣本數(shù)量
  all_1_cnt = input_df[input_df[Y_name] == 1].shape[0]
  expect_0_ratio = all_0_cnt * 1.0 / all_cnt #樣本分類比例
  expect_1_ratio = all_1_cnt * 1.0 / all_cnt 
  
  #對(duì)變量的每個(gè)值計(jì)算實(shí)際個(gè)數(shù)，期望個(gè)數(shù)，卡方統(tǒng)計(jì)量 
  var_values = sorted(list(set(input_df[var_name])))
  actual_0_cnt = []    # actual_0 該值，類別為0的數(shù)量
  actual_1_cnt = []    # actual_1 該值，類別為1的數(shù)量
  actual_all_cnt = []
  expect_0_cnt = []    # expect_0 類別0 的卡方值
  expect_1_cnt = []    # expect_1 類別1 的卡方值 
  chi2_value = []     # chi2_value 該組的卡方值
  
  for value in var_values:
    actual_0 = input_df[(input_df[var_name]==value)&(input_df[Y_name]==0)].shape[0] #該值，類別為0的數(shù)量
    actual_1 = input_df[(input_df[var_name]==value)&(input_df[Y_name]==1)].shape[0]
    actual_all = actual_0 + actual_1 #總數(shù)
    expect_0 = actual_all * expect_0_ratio #類別0 的 期望頻率
    expect_1 = actual_all * expect_1_ratio
    
    chi2_0 = (expect_0 - actual_0)**2 / expect_0 #類別0 的卡方值
    chi2_1 = (expect_1 - actual_1)**2 / expect_1
    
    actual_0_cnt.append(actual_0) #樣本為0的，該值的數(shù)量
    actual_1_cnt.append(actual_1)
    
    actual_all_cnt.append(actual_all) #改組的總樣本數(shù)
    expect_0_cnt.append(expect_0) #類別0 的 期望頻率
    expect_1_cnt.append(expect_1)
    
    chi2_value.append(chi2_0 + chi2_1) #改變量值的卡方值
    
  chi2_result = pd.DataFrame({'actual_0':actual_0_cnt, 'actual_1':actual_1_cnt, 'expect_0':expect_0_cnt, \
                'expect_1':expect_1_cnt, 'chi2_value':chi2_value, var_name+'_start':var_values, \
                var_name+'_end':var_values}, \
                columns=[var_name+'_start', var_name+'_end', 'actual_0', 'actual_1', 'expect_0', 'expect_1', 'chi2_value'])
  
  return chi2_result, var_name 
 
#定義合并區(qū)間的方法
def merge_area(chi2_result, var_name, idx, merge_idx):
  #按照idx和merge_idx執(zhí)行合并
  chi2_result.ix[idx, 'actual_0'] = chi2_result.ix[idx, 'actual_0'] + chi2_result.ix[merge_idx, 'actual_0']
  chi2_result.ix[idx, 'actual_1'] = chi2_result.ix[idx, 'actual_1'] + chi2_result.ix[merge_idx, 'actual_1']
  chi2_result.ix[idx, 'expect_0'] = chi2_result.ix[idx, 'expect_0'] + chi2_result.ix[merge_idx, 'expect_0']  
  chi2_result.ix[idx, 'expect_1'] = chi2_result.ix[idx, 'expect_1'] + chi2_result.ix[merge_idx, 'expect_1']  
  chi2_0 = (chi2_result.ix[idx, 'expect_0'] - chi2_result.ix[idx, 'actual_0'])**2 / chi2_result.ix[idx, 'expect_0']
  chi2_1 = (chi2_result.ix[idx, 'expect_1'] - chi2_result.ix[idx, 'actual_1'])**2 / chi2_result.ix[idx, 'expect_1']
 
  chi2_result.ix[idx, 'chi2_value'] = chi2_0 + chi2_1   #計(jì)算卡方值
  
  #調(diào)整每個(gè)區(qū)間的起始值
  if idx < merge_idx:
    chi2_result.ix[idx, var_name+'_end'] = chi2_result.ix[merge_idx, var_name+'_end'] #向后擴(kuò)大范圍
  else:
    chi2_result.ix[idx, var_name+'_start'] = chi2_result.ix[merge_idx, var_name+'_start'] ##，向前擴(kuò)大范圍
    
  chi2_result = chi2_result.drop([merge_idx]) #刪掉行
  chi2_result = chi2_result.reset_index(drop=True)
  
  return chi2_result
 
#自動(dòng)進(jìn)行分箱，使用大區(qū)間限制
def chiMerge_maxInterval(chi2_result, var_name, max_interval=5): #大分箱數(shù) 為 5 
  groups = chi2_result.shape[0] #各組的卡方值，數(shù)量
  while groups > max_interval:
    min_idx = chi2_result[chi2_result['chi2_value']==chi2_result['chi2_value'].min()].index.tolist()[0] #尋找最小的卡方值
    if min_idx == 0:
      chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx+1) #合并1和2組
    elif min_idx == groups-1:  
      chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx-1)
      
    else: #尋找左右兩邊更小的卡方組
      if chi2_result.loc[min_idx-1, 'chi2_value'] > chi2_result.loc[min_idx+1, 'chi2_value']:
        chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx+1)
      else:
        chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx-1)
    groups = chi2_result.shape[0]
 
  return chi2_result
 
 
def chiMerge_minChiSquare(chi2_result, var_name): #(chi_result, maxInterval=5):
  '''
  卡方分箱合并--卡方閾值法，，同時(shí)限制，大組為6組，，可以去掉
  '''
  threshold = get_chiSquare_distribution(4, 0.1)
  min_chiSquare = chi2_result['chi2_value'].min()
  #min_chiSquare = chi_result['chi_square'].min()
  group_cnt = len(chi2_result)
  # 如果變量區(qū)間的最小卡方值小于閾值，則繼續(xù)合并直到最小值大于等于閾值
  while(min_chiSquare < threshold and group_cnt > 6):
    min_idx = chi2_result[chi2_result['chi2_value']==chi2_result['chi2_value'].min()].index.tolist()[0] #尋找最小的卡方值
    #min_index = chi_result[chi_result['chi_square']==chi_result['chi_square'].min()].index.tolist()[0]
    # 如果分箱區(qū)間在最前,則向下合并
    if min_idx == 0:
      chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx+1) #合并1和2組
    elif min_idx == group_cnt -1:  
      chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx-1)
      
    else: #尋找左右兩邊更小的卡方組
      if chi2_result.loc[min_idx-1, 'chi2_value'] > chi2_result.loc[min_idx+1, 'chi2_value']:
        chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx+1)
      else:
        chi2_result = merge_area(chi2_result, var_name, min_idx, min_idx-1)
        
    min_chiSquare = chi2_result['chi2_value'].min()
    group_cnt = len(chi2_result)
 
  return chi2_result
 
#分箱主體部分包括兩種分箱方法的主體函數(shù)，其中merge_chiSquare()是對(duì)區(qū)間進(jìn)行合并，
#get_chiSquare_distribution()是根據(jù)自由度和置信度得到卡方閾值。我在這里設(shè)置的是自由度為4
#，置信度為10%。兩個(gè)自定義函數(shù)如下
 
def get_chiSquare_distribution(dfree=4, cf=0.1):
  '''
  根據(jù)自由度和置信度得到卡方分布和閾值
  dfree:自由度k= (行數(shù)-1)*(列數(shù)-1)，默認(rèn)為4   #問題，自由度k,如何來確定？
  cf:顯著性水平，默認(rèn)10%
  '''
  percents = [ 0.95, 0.90, 0.5,0.1, 0.05, 0.025, 0.01, 0.005]
  df = pd.DataFrame(np.array([chi2.isf(percents, df=i) for i in range(1, 30)]))
  df.columns = percents
  df.index = df.index+1
  # 顯示小數(shù)點(diǎn)后面數(shù)字
  pd.set_option('precision', 3)
  return df.loc[dfree, cf]

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

名稱欄目：python實(shí)現(xiàn)二分類的卡方分箱示例-創(chuàng)新互聯(lián)
文章轉(zhuǎn)載：http://www.chinadenli.net/article42/dgsihc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供營銷型網(wǎng)站建設(shè)、品牌網(wǎng)站設(shè)計(jì)、App開發(fā)、網(wǎng)站設(shè)計(jì)公司、Google、小程序開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)