爬虫(2) · 数据存储怎么选 | 小朵科技工作室 博客

爬下来的数据，存哪里？新人常纠结。

数据量小（< 10 万条）：直接 CSV / Excel，简单粗暴，谁都能打开看。

数据量中等（10 万 - 500 万条）：SQLite，单文件，不用装服务，Python 自带：

import sqlite3
conn = sqlite3.connect("data.db")
df.to_sql("comments", conn, if_exists="append", index=False)

数据量大（> 500 万条）：MySQL / PostgreSQL，得装服务，但支持并发、查询快。

做电商评论级别的数据，99% 的项目用 SQLite 就够了。

一个反直觉的点：CSV 不适合增量爬取。 爬一批存一批，后面再爬，去重 / 合并很麻烦。SQLite 一行 .to_sql() 搞定。

存数据的习惯一开始就要养好，不然爬到一半崩了，全白干。

---

本文由 BBZ · 小朵科技工作室 出品。配套工具：评论采集软件 P07。