看板 Gossiping 關於我們 聯絡資訊
在分析一些數據 一個範圍數據可能高達9千萬筆..到16千萬筆. 因為一個excel工作表只能塞約100萬列... 我勢必為了這問題分割工作表 為了方便運算我還得把 所有資訊放在一個檔案內 導致一個excel大小500mb-800mb 為了分析特定數據篩選 太多列我還要想辦法先篩選特定資訊 然後在彙整到...同一個工作表... 這樣不斷縮小數據...很麻煩 靠著這樣最後要做運算 大量數據跑xlookup countifs.. 光這樣要產生數據就要花3-5分鐘 一次運算 我常常發呆看著excel下方顯示 4個執行序跑20%... 很痛苦 有人推薦什麼方式 可以一個工作表塞9千萬資料 並且超過1000萬行的軟體嗎... 有沒有比excel更強的八卦阿? -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 27.242.190.218 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1587270345.A.8D4.html
johnhmj: 買一台超級電腦 04/19 12:26
alcpeon911: 換電腦 04/19 12:26
Barrel: 不要工作就不用看了阿幹 04/19 12:26
great5566: 請用access 04/19 12:26
hbj1941: 辭職啦 04/19 12:26
ym205: Access啊 04/19 12:26
jeter17: 開車載它 04/19 12:26
a29976137: 高級篩選啊 04/19 12:26
olozil: 請改用資料庫.... 04/19 12:26
wangyc: 幫他加油 04/19 12:27
luckyBF: 換個超級電腦或自己寫程式好嗎 04/19 12:27
galilei503: 為什麼大量資料要用Excel來看 04/19 12:27
ilohoo: 裝筆電裡在高鐵裡開 至少物理上速度增加了 04/19 12:28
lacseven: 寫個VBA在內部算快很多 04/19 12:28
hschow: https://i.imgur.com/pzyFDkY.jpg 04/19 12:28
omoideomoi: 就你電腦不夠力 不會跟NASA買同一款嗎 04/19 12:29
onepunchgg: 買3950x 04/19 12:29
mimijohn: 用資料庫啦 04/19 12:30
Ayanami5566: 功課自己做 04/19 12:30
potionx: 應該問說為什麼你要用EXCEL做 04/19 12:31
kivan00: 這種資料量你要轉到MYSQL 04/19 12:31
arnold3: 換1060 04/19 12:31
xzcb2008: 我就只會excel加上簡單的vba..access我有空學學看好了 04/19 12:32
xzcb2008: ,不然每個縣市都這個數量...而且每個月都會增加... 04/19 12:32
h40217aiyd: 用python的pandas套件 幾分鐘就跑完了 04/19 12:32
kilof: 買條鞭子好了 04/19 12:34
Yude0109: excel吃cpu運算能力吧,換好點的 04/19 12:34
Simonfenix: 轉用Python 04/19 12:34
bradyhau106: 用pandas啦 還想貪技術啊 底迪 04/19 12:34
DOOHDLIHC: 整理A片嗎?EXCEL根本不是資料庫系統,只是功能剛好湊 04/19 12:34
DOOHDLIHC: 和著用 04/19 12:34
QQCandy: 同樓上,用Python 04/19 12:34
qazxws: hadoop spark 04/19 12:34
BDrip: Excel只吃單核吧.. 04/19 12:36
anper: 你電腦太慢,之前我在日本的最高研究機構 04/19 12:36
kenfu0402: 換3990x 04/19 12:36
GGylin: 用xlsb存 順序先排好 04/19 12:36
anper: AIST產業綜合技術研究所 04/19 12:36
anper: 實習,電腦跑幾秒就出來了,超市的大數據 04/19 12:36
arickal: 去學python租aws寫spark 04/19 12:37
anper: R language也可以吧 04/19 12:37
mrecct: 換別的軟體 04/19 12:40
xzcb2008: 找時間 來修行 工作上都只能邊學邊走了 04/19 12:40
xzcb2008: 感謝各位八卦意見 04/19 12:40
TakiDog: 寫python 04/19 12:40
JMashburn: 人家就只會excel叫他學python跟R也太強人所難 乖乖找個 04/19 12:40
JMashburn: 會的人幫你弄吧 04/19 12:41
menshuei: 換py快不到哪裡去,轉成DB效能比較好也方便管理。 04/19 12:41
amethystboy: 資料庫正解 04/19 12:41
t95912: 你可以換更好的電腦 04/19 12:41
ariadne: 為什麼你讓Excel做這種工作?Access蹲在旁邊牆角快哭暈了 04/19 12:42
NTJL: 換電腦 04/19 12:42
ruse: 學習Power BI的Power Query,對Excel使用者比較快理解。 04/19 12:42
et134226: 在高鐵上跑還蠻好笑的 04/19 12:42
yeh0416: Data warehouse 建起來 04/19 12:42
holycity: excel用csv輸出python讀算 沒底子上網學兩三天應該ok 04/19 12:45
sodes: 小精靈的錢別省啦 04/19 12:46
axvbn: 你有聽過資料庫嗎? 04/19 12:47
james0146: 改用database好嗎 04/19 12:48
jakert123: 你有excel一定會有access 找找看吧 04/19 12:48
Simonfenix: 要立竿見影用Access 幾乎無痛吧 04/19 12:50
fgh81113: 塞到DB 04/19 12:51
jameshcm: Access真的是邊緣人,連曾經出現過的FrontPage都比它紅 04/19 12:52
violegrace: 換電腦啊 04/19 12:54
P5566: 花錢叫別人跑 選我正解 04/19 12:56
VIATOR: R和excel整合的還不錯,其實學起來也沒多難 04/19 12:56
Siika: hadoop 04/19 12:57
sammoon: excel吃硬體 資料量大用程式跑比較好 04/19 12:58
VIATOR: Access可以處理大資料,而且用起來跟excel比較像 04/19 12:58
ariadne: 原po會VBA用excel倒資料給access運算再輸出excel根本無痛 04/19 13:00
jimjim951357: 資料庫 04/19 13:03
yoyogods: access:? 04/19 13:03
RaiGend0519: Access無痛轉移 04/19 13:03
playthesong: 幫他加油阿 04/19 13:05
markhbad54: 微軟的access很簡單,上個兩小時的課就可簡單使用 04/19 13:08
GGing: 只會用 excel 怪誰?學資料庫呀! 04/19 13:09
theedge: 印象中access千萬等級的數據可能不夠力喔? 04/19 13:09
AncientLich: Matlab 04/19 13:09
jamestracy: 買tableau或是下載試用 9千萬筆應該蠻快的 04/19 13:10
fly616327: Access 04/19 13:12
wowpoqwow: 哪家公司阿 廢到想笑 04/19 13:12
p2p8ppp: 不要用excel 04/19 13:14
cool9203: 改用資料庫+python 04/19 13:21
marunouchi: FQR套件,搭配ECS跑就很快啦 04/19 13:21
jiaching: 用資料庫啦 04/19 13:22
marunouchi: 資料庫用PSE整理 04/19 13:22
noreasonkon: python + db or csv 處理應該是相對簡單又有效率他 04/19 13:27
noreasonkon: 方式 04/19 13:27
waiter337: access或 sql 或power bi excel本來就不是給你這樣 04/19 13:28
BaRanKa: 你問了好問題 我公司筆電EXCEL也是開超慢 04/19 13:31
jinggo: Excel負荷不了這麼多資料量啦,用Access或資料庫才是正解 04/19 13:33
solitary7146: alt+F4 04/19 13:49
jhangyu: 用dataframe啦,傻瓜 04/19 13:49
jhangyu: python+pandas dataframe,向量指令 04/19 13:50
jhangyu: 大概幾秒內完成 04/19 13:50
murray5566: hadooooooooop 04/19 13:54
gaowei16: 自己寫程式 04/19 14:07
gaowei16: Spark 04/19 14:08
stand1234: 你有這麼多資料為什麼不用Access 04/19 14:14
cacud: 量子電腦 04/19 14:16
tmwolf: 誰叫你用excel... 04/19 14:17
td821211: rdd 04/19 14:21
gR7P4zXH: 誰再提hadoop 04/19 14:36
theedge: 推access的真的有用過access搞千萬筆的數據? 04/19 14:42
henry8168: 你需要的是資料庫 而不是把試算表當資料庫用 04/19 14:43
azzc1031: SQL在你背後盯著你 他很火 04/19 14:48
linnom: 安安 建議用c或組語喔 04/19 14:51
roger51306: excel??????? 04/19 14:56
house09gbk: 加油 04/19 14:57
k82817: 用組語 04/19 15:08
anyu0805: 這個資料數量應該放棄excel吧 04/19 15:17
mynewid: stata 04/19 15:19
Tsubasa1008: 塞進資料庫做 04/19 15:19
RachelMcAdam: Matlab? 04/19 15:28
kiwi0530: 別鬧了,光100mb我開檔接近一分鐘我就不耐煩了 04/19 15:33
kiwi0530: 寫python pandas分析吧 04/19 15:33
kiwi0530: 不過我也是幾億筆,後來開始pandas+numba vectorize 04/19 15:35
LBJ23K: python numpy+pandas 無痛處理 04/19 15:37
kiwi0530: 覺得資料庫不行,postgrsql 11連開啟jit光五千萬筆做 04/19 15:42
kiwi0530: sum都要2秒,更複雜的要怎麼辦 04/19 15:42
seto1224: vlookup代表要結合資料,會資料庫就用資料庫,不會的話 04/19 16:10
seto1224: ,Tableau Desktop(有試用版)可以試試看,函數功能跟e 04/19 16:10
seto1224: xcel大同小異。 04/19 16:10
barlin: 用資料庫好嗎 然後EXCEL是多核心的 不然你可以換用 04/19 17:21
barlin: 3990X的電腦XD 04/19 17:21
barlin: 128執行續XD 04/19 17:22
barlin: 緒* 04/19 17:23
ronny1020: 資料庫都不會,可憐哪 04/19 17:57
yayaya0411: 建一個DB,結案 04/19 18:21
LEOPARDO: 這麼多筆真的需要資料庫了 04/19 18:29
convergent: python 04/19 18:39
a3556959: 你為什麼不用database 04/19 19:08
PigMule: SQL 04/19 19:22
playgame555: 學一下資料庫吧,跟excel差不多 04/19 19:49
Addidas: 無腦的話用巨集或外掛 不然只能換資料庫或分析程式 04/19 21:57
kria5304: 大數據用什麼excel有事嗎 04/19 23:57
icome: 叫唐鳳幫你找 不用一秒 04/20 13:01
xzcb2008: 我這種小孩子的數據量...不用麻煩唐鳳啦 04/20 16:52