技术文章
当前位置:首页 > Python技术文章 > python json数据写入文件的方法代码

python json数据怎么写入文件

  • 发布时间:
  • 作者:码农之家原创
  • 点击:248

这篇文章主要知识点是关于python、json数据、写入文件、Python将json文件写入ES数据库的方法 Python遍历文件夹 处理json文件的方法 的内容,如果大家想对相关知识点有系统深入的学习,可以参阅以下电子书

零起点Python机器学习快速入门
  • 类型:机器学习大小:85.1 MB格式:PDF出版:电子工业出版社作者:何海群
立即下载

更多Python相关的学习资源可以参阅 Python电子书程序设计电子书 等栏目。

python json数据写入文件的方法代码

介绍

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于ECMAScript的一个子集。 JSON采用完全独立于语言的文本格式,但是也使用了类似于C语言家族的习惯(包括C、C++、Java、JavaScript、Perl、Python等)。这些特性使JSON成为理想的数据交换语言。易于人阅读和编写,同时也易于机器解析和生成(一般用于提升网络传输速率)。

JSON在python中分别由list和dict组成。

这是用于序列化的两个模块

json:用于字符串和python数据类型间进行转换
pickle:用于python特有的类型和python的数据类型间进行转换

Json模块提供了四个功能:dumps、dump、loads、load

  • pickle模块提供了四个功能:dumps、dump、loads、load
  • dumps : 把数据类型转换成字符串
  • dump : 把数据类型转换成字符串并存储在文件中
  • loads : 把字符串转换成数据类型
  • load : 把文件打开从字符串转换成数据类型

区别:

json是可以在不同语言之间交换数据的,而pickle只在python之间使用。
json只能序列化最基本的数据类型,josn只能把常用的数据类型序列化(列表、字典、列表、字符串、数字、),但不能是日期格式、类对象等。而pickle可以序列化所有的数据类型,包括类,函数都可以序列化。

Python将json文件写入ES数据库的方法

1、安装Elasticsearch数据库

PS:在此之前需首先安装Java SE环境

下载elasticsearch-6.5.2版本,进入/elasticsearch-6.5.2/bin目录,双击执行elasticsearch.bat 打开浏览器输入http://localhost:9200 显示以下内容则说明安装成功

Python将json文件写入ES数据库的方法

安装head插件,便于查看管理(还可以用kibana)

首先安装Nodejs(下载地址https://nodejs.org/en/)

再下载elasticsearch-head-master包解压到/elasticsearch-6.5.2/下(链接: https://pan.baidu.com/s/1q3kokFhpuJ2Q3otPgu7ldg

提取码: 1rpp

修改配置文件elasticsearch-6.5.2\config\elasticsearch.yml如下:

Python将json文件写入ES数据库的方法

进入elasticsearch-head-master目录下执行npm install -g grunt-cli,再执行npm install安装依赖

elasticsearch-head-master目录下找到Gruntfile.js文件修改服务器监听地址如下:

Python将json文件写入ES数据库的方法

执行grunt server命令启动head服务

Python将json文件写入ES数据库的方法

访问地址 http://localhost:9100/ 即可访问head管理页面

Python将json文件写入ES数据库的方法

2、将json文件写入ES数据库(py脚本如下)

# -*- coding: UTF-8 -*-
from itertools import islice
import json , sys
from elasticsearch import Elasticsearch , helpers
import threading
_index = 'indextest' #修改为索引名
_type = 'string'  #修改为类型名
es_url = 'http://192.168.116.1:9200/' #修改为elasticsearch服务器
reload(sys)
sys.setdefaultencoding('utf-8')
es = Elasticsearch(es_url)
es.indices.create(index=_index, ignore=400)
chunk_len = 10
num = 0
def bulk_es(chunk_data):
 bulks=[]
 try:
  for i in xrange(chunk_len):
   bulks.append({
     "_index": _index,
     "_type": _type,
     "_source": chunk_data[i]
    })
  helpers.bulk(es, bulks)
 except:
  pass
with open(sys.argv[1]) as f:
 while True:
  lines = list(islice(f, chunk_len))
  num =num +chunk_len
  sys.stdout.write('\r' + 'num:'+'%d' % num)
  sys.stdout.flush()
  bulk_es(lines)
  if not lines:
   print "\n"
   print "task has finished"
   break

总结

以上所述是小编给大家介绍的Python将json文件写入ES数据库的方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对码农之家网站的支持!

如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!

Python遍历文件夹 处理json文件的方法

有两种做法:os.walk()、pathlib库,个人感觉pathlib库的path.glob用来匹配文件比较简单。

下面是第二种做法的实例(第一种做法百度有很多文章):

from pathlib import Path
import json

analysis_root_dir = "D:\\analysis_data\json_file"
store_result="D:\\analysis_data\\analysis_result\\dependency.csv"

def parse_dir(root_dir):
  path = Path(root_dir)

  all_json_file = list(path.glob('**/*.json'))

  parse_result = []

  for json_file in all_json_file:

    # 获取所在目录的名称
    service_name = json_file.parent.stem
    with json_file.open() as f:
      json_result = json.load(f)
    json_result["service_name"] = service_name
    parse_result.append(json_result)

  return parse_result

def write_result_in_file(write_path , write_content):

  with open(write_path,'w') as f:
    f.writelines("service_name,action,method,url\n")
    for dict_content in write_content:
       url = dict_content['url']
       method = dict_content['method']
       action = dict_content['action']
       service_name = dict_content['service_name']
       f.writelines(service_name + ","+ action+","+method + ","+ url+"\n")

def main():
  print("main begin...")
  parse_result = parse_dir(analysis_root_dir)
  print(parse_result)
  write_result_in_file(store_result,parse_result)
  print("main finished...")

if __name__ == '__main__':
  main()

运行结果

main begin...
[{'url': '/rest/webservice/v1/dosomthing', 'method': 'post', 'action': 'create', 'service_name': 'WebSubService'}, {'url': '/rest/webservice/v1/dosomthing', 'method': 'post', 'action': 'create', 'service_name': 'WebSubService01'}, {'url': '/rest/webservice/v1/dosomthing', 'method': 'post', 'action': 'create', 'service_name': 'WebSubService02'}, {'url': '/rest/webservice/v1/dosomthing', 'method': 'post', 'action': 'create', 'service_name': 'WebSubService03'}, {'url': '/rest/webservice/v1/dosomthing', 'method': 'post', 'action': 'create', 'service_name': 'WebSubService04'}, {'url': '/rest/webservice/v1/dosomthing', 'method': 'post', 'action': 'create', 'service_name': 'WebSubService05'}]
main finished...

目录结构

json file内容

{
 "url":"/rest/webservice/v1/dosomthing",
 "method":"post",
 "action":"create"
}

以上这篇Python遍历文件夹 处理json文件的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持码农之家。

以上就是本次给大家分享的关于Python的全部知识点内容总结,大家还可以在下方相关文章里找到python里dict变成list的实例方、 Python3结合Dlib实现人脸识别、 python字符串与url编码转换、 等python文章进一步学习,感谢大家的阅读和支持。

上一篇:python legend设置不要边框的方法技巧

下一篇:linux开机自启动python程序代码方法

展开 +

收起 -

相关电子书
学习笔记
网友NO.491562

python 将json数据提取转化为txt的方法

如下所示: #-*- coding: UTF-8 -*-import jsonimport pymysqlimport osimport sys# 数据类型# {# "name": "score.networkQuality",# "index": true,# "view": "app/views/score/networkQuality.tmpl.html",# "files": ["app/modules/controllers/score/networkQualityCtrl.js"]# },name = []index = []views = []files = []# "name": "monitored.monitored",with open('C:\\Users\\sxf\\Desktop\\app-modules.json') as f: for line in f: try: line.index("name") # line = line.strip('\n') pos = line.index(':') name.append(line[pos+3:len(line)-3]) except ValueError: pass try: line.index("true") # line = line.strip('\n') pos = line.index(':') index.append((line[pos+2:len(line)-2])) except ValueError: pass try: line.index("view") try: line.index("name") except ValueError: pos = line.index(':') views.append(line[pos + 3:len(line) - 3]) except ValueError: pass # ['app/modules/controllers/monitored/monitoredCtrl.js","app/modules/services/resources/resourcesService.j'] try: line.index("files") # line = line.strip('\n'……

网友NO.187392

详解Python的json文件读取及中文乱码显示问题解决方法

本文实例讲述了Python实现的json文件读取及中文乱码显示问题解决方法。分享给大家供大家参考,具体如下: city.json 文件的内容如下: { cities: [ { city: 北京, cityid: 101010100 }, { city: 上海, cityid: 101020100 } ]} 可见,其中包含了中文。 Python使用 json.loads 之后打印中文会出现乱码的问题,解决方法如下: with open(city.json, r) as json_file: 读取该json文件时,先按照gbk的方式对其解码再编码为utf-8的格式 data = json_file.read().decode(encoding=gbk).encode(encoding=utf-8) print type(data) # type(data) = str result = json.loads(data) new_result = json.dumps(result,ensure_ascii=False) # 参考网上的方法,***ensure_ascii***设为False print new_result# 输出结果:# cities: [{cityid: 101010100, city: 北京}, {cityid: 101020100, city: 上海}] PS:这里再为大家推荐几款比较实用的json在线工具供大家参考使用: 在线 JSON 代码检验、检验、美化、格……

网友NO.375903

Python判断是否json是否包含一个key的方法

如下所示: jsonObject 是个jsonif (key in jsonObject) : print '有'else: print '没有' 以上这篇Python判断是否json是否包含一个key的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持码农之家。 ……

网友NO.994568

python json模块如何使用

JSON(JavaScript Object Notation, JS 对象标记) 是一种轻量级的数据交换格式。JSON的数据格式其实就是python里面的字典格式,里面可以包含方括号括起来的数组,也就是python里面的列表。 在python中,有专门处理json格式的模块—— json 和 picle模块 Json 模块提供了四个方法: dumps、dump、loads、load pickle 模块也提供了四个功能:dumps、dump、loads、load 一. dumps 和 dump: dumps和dump 序列化方法 dumps只完成了序列化为str, dump必须传文件描述符,将序列化的str保存到文件中 查看源码: def dumps(obj, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, cls=None, indent=None, separators=None, default=None, sort_keys=False, **kw): # Serialize ``obj`` to a JSON formatted ``str``. # 序列号 “obj” 数据类型 转换为 JSON格式的字符串 def dump(obj, fp, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, cls=None, inde……

<
1
>

Copyright 2018-2020 xz577.com 码农之家

电子书资源由网友、会员提供上传,本站记录提供者的基本信息及资源来路

鸣谢: “ 码小辫 ” 公众号提供回调API服务、“ 脚本CDN ”提供网站加速(本站寻求更多赞助支持)

版权投诉 / 书籍推广 / 赞助:520161757@qq.com

上传资源(网友、会员均可提供)

查看最新会员资料及资源信息