python의 bining 데이터에 skipy/numpy가 포함된
미리 지정된 빈에서 배열의 평균을 취할 수 있는 더 효율적인 방법이 있습니까?예를 들어, 나는 숫자 배열과 그 배열에 빈 시작 위치와 종료 위치에 해당하는 배열을 가지고 있는데, 나는 단지 그 빈들의 평균을 취하고 싶습니다.아래에 하는 코드가 있는데 어떻게 줄이고 개선할 수 있는지 궁금합니다.감사해요.
from scipy import *
from numpy import *
def get_bin_mean(a, b_start, b_end):
ind_upper = nonzero(a >= b_start)[0]
a_upper = a[ind_upper]
a_range = a_upper[nonzero(a_upper < b_end)[0]]
mean_val = mean(a_range)
return mean_val
data = rand(100)
bins = linspace(0, 1, 10)
binned_data = []
n = 0
for n in range(0, len(bins)-1):
b_start = bins[n]
b_end = bins[n+1]
binned_data.append(get_bin_mean(data, b_start, b_end))
print binned_data
더 빠르고 쉽게 사용할 수 있습니다.
import numpy
data = numpy.random.random(100)
bins = numpy.linspace(0, 1, 10)
digitized = numpy.digitize(data, bins)
bin_means = [data[digitized == i].mean() for i in range(1, len(bins))]
이에 대한 대안은 다음을 사용하는 것입니다.
bin_means = (numpy.histogram(data, bins, weights=data)[0] /
numpy.histogram(data, bins)[0])
어느 쪽이 더 빠른지 직접 해보세요. :)
Scipy(>=0.11) 함수 skipy.skipy.binned_graphics는 위의 질문을 구체적으로 해결합니다.
이전의 답변과 동일한 예로, Skipy 솔루션은
import numpy as np
from scipy.stats import binned_statistic
data = np.random.rand(100)
bin_means = binned_statistic(data, data, bins=10, range=(0, 1))[0]
이 스레드가 왜 네크로딩되었는지는 확실하지 않지만 여기 2014년 승인된 답변이 있습니다. 훨씬 더 빨라야 합니다.
import numpy as np
data = np.random.rand(100)
bins = 10
slices = np.linspace(0, 100, bins+1, True).astype(np.int)
counts = np.diff(slices)
mean = np.add.reduceat(data, slices[:-1]) / counts
print mean
numpy_indexed 패키지(거부:I am the opper)에는 다음과 같은 유형의 작업을 효율적으로 수행할 수 있는 기능이 포함되어 있습니다.
import numpy_indexed as npi
print(npi.group_by(np.digitize(data, bins)).mean(data))
이것은 제가 이전에 게시했던 것과 근본적으로 동일한 솔루션입니다. 하지만 이제는 테스트와 함께 좋은 인터페이스로 포장되었습니다. :)
나는 또한 질문에 답하기 위해 histogram2d python을 사용하여 평균 빈 값을 구합니다. 이 함수는 또한 하나 이상의 데이터 집합에 대한 이차원 빈 통계를 계산하도록 특별히 설계된 함수를 가지고 있습니다.
import numpy as np
from scipy.stats import binned_statistic_2d
x = np.random.rand(100)
y = np.random.rand(100)
values = np.random.rand(100)
bin_means = binned_statistic_2d(x, y, values, bins=10).statistic
함수 skipy.skipy.binned_dd는 고차원 데이터셋에 대한 이 함수의 일반화입니다.
또 다른 대안은 ufunc.at 을 사용하는 것입니다.이 방법은 지정된 인덱스에서 원하는 작업을 제자리에 적용합니다.우리는 검색 정렬 방법을 사용하여 각 데이터 포인트의 빈 위치를 얻을 수 있습니다.그러면 bin_index에서 인덱스를 만날 때마다 a를 사용하여 bin_index로 주어진 인덱스에서 히스토그램의 위치를 1씩 증가시킬 수 있습니다.
np.random.seed(1)
data = np.random.random(100) * 100
bins = np.linspace(0, 100, 10)
histogram = np.zeros_like(bins)
bin_indexes = np.searchsorted(bins, data)
np.add.at(histogram, bin_indexes, 1)
언급URL : https://stackoverflow.com/questions/6163334/binning-data-in-python-with-scipy-numpy
'programing' 카테고리의 다른 글
타임스탬프를 MySQL 테이블에 삽입하는 방법? (0) | 2023.09.06 |
---|---|
AWS lambda API 게이트웨이 오류 "형식이 잘못된 Lambda 프록시 응답" (0) | 2023.09.06 |
mysql_real_escape_string VS 슬래시 추가 (0) | 2023.09.06 |
jQuery $(.class").click(); - 다중 요소, 이벤트 한 번 클릭 (0) | 2023.09.01 |
단일 따옴표 내부의 변수 확장 (0) | 2023.09.01 |