python不用數據庫，達到快速存儲數據的方法

Yy3318q 2023-03-24 發布于廣西

展開全文

在Python中，數據庫并不是存儲大量結構化數據的最簡單解決方案。dataset提供了一個簡單的抽象層，可以刪除大多數直接的 SQL 語句，而無需完整的 ORM 模型，數據庫可以像 JSON 文件或 NoSQL 存儲一樣使用。

dataset是用于快速存儲數據的最簡單方法。

特點

自動架構：如果寫入數據庫中不存在的表或列，它將自動創建。
Upserts：創建或更新記錄，具體取決于是否可以找到現有版本。
用于簡單查詢的查詢助手，例如all表中的行或distinct一組列中的所有值。
兼容性：建立在SQLAlchemy之上，dataset適用于所有主要數據庫，例如 SQLite、PostgreSQL 和 MySQL。

連接數據庫

要連接到數據庫，您需要通過其URL來識別它，以下是不同數據庫后端的幾個示例：

# connecting to a SQLite databasedb = dataset.connect('sqlite:///mydatabase.db')

# connecting to a MySQL database with user and passworddb = dataset.connect('mysql://user:password@localhost/mydatabase')

# connecting to a PostgreSQL databasedb = dataset.connect('postgresql://scott:tiger@localhost:5432/mydatabase')

存儲數據

要存儲一些數據，您需要獲得對表的引用

# get a reference to the table 'user'table = db['user']

將數據存儲在只需傳遞一個dict即可插入。不需要創建列名稱和年齡——數據集會自動執行此操作：

# Insert a new record.table.insert(dict(name='John Doe', age=46, country='China'))

# dataset will create 'missing' columns any time you insert a dict with an unknown keytable.insert(dict(name='Jane Doe', age=37, country='France', gender='female'))

更新現有條目也很容易：

table.update(dict(name='John Doe', age=47), ['name'])

使用第一列中的值作為第二個參數過濾器給出的過濾器列列表。如果您不想更新特定值，只需使用自動生成的id列。

使用

您可以將一組數據庫更新分組到一個事務中。在這種情況下，所有更新都會立即提交，或者在異常情況下，所有更新都會被還原。通過上下文管理器支持事務，因此可以通過with 語句使用它們：

with dataset.connect() as tx: tx['user'].insert(dict(name='John Doe', age=46, country='China'))

通過調用方法獲得相同的功能begin()， commit()并rollback() 明確：

db = dataset.connect()db.begin()try:    db['user'].insert(dict(name='John Doe', age=46, country='China'))    db.commit()except:    db.rollback()

也支持嵌套事務：

db = dataset.connect()with db as tx1:    tx1['user'].insert(dict(name='John Doe', age=46, country='China'))    with db as tx2:        tx2['user'].insert(dict(name='Jane Doe', age=37, country='France', gender='female'))

檢查數據庫和表

在處理未知數據庫時，我們先檢查它們的結構。找出數據庫中存儲了哪些表：

>>> print(db.tables)[u'user']

列出表中所有可用的列user：

>>> print(db['user'].columns)[u'id', u'country', u'age', u'name', u'gender']

使用len()獲得表中的總行數：

>>> print(len(db['user']))2

從表中讀取數據

現在讓我們從表中獲取一些真實數據：

users = db['user'].all()

如果我們只是想遍歷表中的所有行，我們可以省略all()：

for user in db['user']:   print(user['age'])

我們可以使用find()搜索特定條目find_one()：

# All users from Chinachinese_users = table.find(country='China')

# Get a specific userjohn = table.find_one(name='John Doe')

# Find multiple at oncewinners = table.find(id=[1, 3, 7])

# Find by comparison operatorelderly_users = table.find(age={'>=': 70})possible_customers = table.find(age={'between': [21, 80]})

# Use the underlying SQLAlchemy directlyelderly_users = table.find(table.table.columns.age >= 70)

使用 distinct()我們可以在一個或多個列中獲取一組具有唯一值的行：

# Get one user per countrydb['user'].distinct('country')

最后，您可以使用row_type參數來選擇返回結果的數據類型：

import datasetfrom stuf import stuf

db = dataset.connect('sqlite:///mydatabase.db', row_type=stuf)

現在內容將在對象中返回stuf（基本上，dict 其元素可以作為屬性 ( item.name) 以及索引 ( item['name']) 訪問的對象。

運行自定義 SQL 查詢

當然，您使用數據庫的主要原因是您希望使用 SQL 查詢的全部功能。下面是你如何運行它們dataset：

result = db.query('SELECT country, COUNT(*) c FROM user GROUP BY country')for row in result:   print(row['country'], row['c'])

該query()方法還可用于訪問底層的SQLAlchemy 核心 API，它允許以編程方式構建更復雜的查詢：

table = db['user'].tablestatement = table.select(table.c.name.like('%John%'))result = db.query(statement)

本站是提供個人知識管理的網絡存儲空間，所有內容均由用戶發布，不代表本站觀點。請注意甄別內容中的聯系方式、誘導購買等信息，謹防詐騙。如發現有害或侵權內容，請點擊一鍵舉報。

轉藏分享

QQ空間 QQ好友新浪微博微信

獻花（0） +1

來自： Yy3318q > 《python》

舉報/認領

0條評論

發表

請遵守用戶評論公約

類似文章 更多

Yy3318q

關注對話

TA的最新館藏

C 信奧教學PPT：CSP_J_算法之遞歸算法
為什么寫 Python 腳本時，一定要加上if __name__ == '__main__'？
教你用python畫圖—Turtle詳細教程
推薦7個好用的Python效率工具，拿走不謝！
超全！Python圖形界面框架PyQt5使用指南！
50個Python學習資源，從初學者到高級玩家都有了！

喜歡該文的人也喜歡更多

熱門閱讀換一換

python不用數據庫，達到快速存儲數據的方法

特點