解决一个pandas执行模糊查询sql的坑
- 更新时间:2023-01-09 09:17:08
- 编辑:贺妙可
查询引擎使用了presto,在sql中使用了模糊查询。
engine = create_engine(presto_url,encoding='utf-8') sql_exe ="""select id,title,tags from source.base.table where tags like '%呵呵%' """ df = pd.read_sql_query(sql_exe,engine)
一直报错:
unsupported format character
解决方案
第一:
sql_exe ="""select id,title,tags from source.base.table where tags like '%%呵呵%%' """
第二:
sql_exe ="""select id,title,tags from source.base.table where tags like %s """ df = pd.read_sql_query(sql_exe,engine,params=("%呵呵%",))
补充:pd.read_sql()知道这些就够用了
如下:
pandas.read_sql(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, columns=None, chunksize=None)
各参数意义
sql:SQL命令字符串
con:连接sql数据库的engine,一般可以用SQLalchemy或者pymysql之类的包建立
index_col: 选择某一列作为index
coerce_float:非常有用,将数字形式的字符串直接以float型读入
parse_dates:将某一列日期型字符串转换为datetime型数据,与pd.to_datetime函数功能类似。可以直接提供需要转换的列名以默认的日期形式转换,也可以用字典的格式提供列名和转换的日期格式,比如{column_name: format string}(format string:"%Y:%m:%H:%M:%S")。
columns:要选取的列。一般没啥用,因为在sql命令里面一般就指定要选择的列了
chunksize:如果提供了一个整数值,那么就会返回一个generator,每次输出的行数就是提供的值的大小。
设置参数can–>创建数据库链接的两种方式
用sqlalchemy构建数据库链接
import pandas as pd import sqlalchemy from sqlalchemy import create_engine # 用sqlalchemy构建数据库链接engine connect_info = 'mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8' engine = create_engine(connect_info) # sql 命令 sql_cmd = "SELECT * FROM table" df = pd.read_sql(sql=sql_cmd, con=engine)
用DBAPI构建数据库链接
import pandas as pd import pymysql # sql 命令 sql_cmd = "SELECT * FROM table" # 用DBAPI构建数据库链接engine con = pymysql.connect(host=localhost, user=username, password=password, database=dbname, charset='utf8', use_unicode=True) df = pd.read_sql(sql_cmd, con)
read_sql与read_sql_table、read_sql_query
read_sql本质上是read_sql_table、read_sql_query的统一方式。
三者都return返回DataFrame。
1、read_sql_table
Read SQL database table into a DataFrame.
2、read_sql_query
Read SQL query into a DataFrame.
以上为个人经验,希望能给大家一个参考,也希望大家多多支持码农之家。如有错误或未考虑完全的地方,望不吝赐教。
相关教程
-
python创造虚拟环境方法总结
给网友朋友们带来一篇关于python的教程,在本篇内容里我们给大家整理了关于python创造虚拟环境的详细方法和步骤,需要的朋友们学习下。
发布时间:2022-07-04
-
python字典根据值返回键的代码分析
迭代的过程中如果没有发生对字典的修改,那么.keys() and .values 这两个函数返回的 dict-view对象总是保持对应关系。字典中的value不保证唯一性,不过字典中key的值是唯一的,因此可以根据值返回
发布时间:2020-05-21
-
浅析python中SQLAlchemy排序的一个坑
这篇文章主要介绍了关于python中SQLAlchemy排序的一个坑,文中给出了详细的示例代码,需要的朋友可以参考借鉴,感兴趣的朋友们下面来一起学习学习吧。
发布时间:2022-04-21
-
Python Socket多线程并发原理及实现
给大家整理了关于Python的教程,这篇文章主要介绍了Python Socket多线程并发原理及实现,帮助大家更好的理解和使用python,感兴趣的朋友可以了解下
发布时间:2022-10-20
-
介绍Python如何使用asyncio包处理并发
这篇文章主要为大家详细介绍了Python使用asyncio包处理并发的相关资料,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
发布时间:2020-01-21
-
Python线性回归实战分析
给网友朋友们带来一篇关于Python 线性的教程,这篇文章主要介绍了Python线性回归实战分析以及代码讲解,对此有兴趣的朋友学习下吧。
发布时间:2022-09-23
-
Python实现的序列化和反序列化二叉树算法示例
给网友朋友们带来一篇关于Python的教程,这篇文章主要介绍了Python实现的序列化和反序列化二叉树算法,结合实例形式分析了Python二叉树的构造、遍历、序列化、反序列化等相关操作技巧,需要的朋友可以参考下
发布时间:2022-10-20
-
python字典添加元素的实例方法
python字典是另一种可变容器模型,且可存储任意类型对象。向python字典添加新内容的方法是增加新的键/值对。
发布时间:2019-09-17