Ural penguins - Сообщения с тегом PostgreSQL

Перенос БД с sqlite на postgres

2014-03-15T17:53:00Z

ORM позволяет быстро переключатся между БД не учитывая их диалект (практически). Но данные хранятся физически в разных местах и естественно их надо переносить, например при переключении с sqlite на PostgreSQL. В Django есть встроенный функционал в виде:

# Выгрузка в JSON
$ python manage.py dumpdata myapp.A > a.json

# Загрузка из JSON
$ python manage.py loaddata a.json

Т.е. мы выгружаем данные из sqlite в JSON формат, затем меняем строку подключения на postgres и выполняем загрузку из JSON. Очень удобно, но почему то этот метод не работает, либо работает только при переносе из sqlite -> sqlite, что в принципе не очень интересно, точнее бессмысленно. Есть какие то решений с бубном как это вот:

http://macrotoma.blogspot.ru/2012/10/solved-move-django-from-sqlite-to-mysql.html,

http://blog.abourget.net/2009/7/7/exporting-sql-schemas-from-sqlalchemy-table-definitions/.

Эти методы не универсальны, потому что имеют привязку к моделям (ORM), требуют для переноса проект на Django и ручные действия вроде создания схемы и выполнения миграций (далеко не всегда миграции созданы правильно).

Я написал небольшой пример как можно перевести данные не имея фреймворков, не привязываясь к моделям, указав только две строки подключения откуда переносить и куда (вроде было что то похожее на руби). За основы взят пример из этой статьи http://www.tylerlesmann.com/2009/apr/27/copying-databases-across-platforms-sqlalchemy/. Где предлагается указать дополнительно названия таблиц.

В sqlalchemy с весии 9.1 появилась встроенная возможность автоматического определения схемы БД http://docs.sqlalchemy.org/en/rel_0_9/orm/extensions/automap.html. Правда намного раньше появились сторонние решения:

Первое что мы сделаем, это получим схему БД:

from sqlalchemy.ext.automap import automap_base

def get_metadata(self, engine):
   # produce our own MetaData object
   metadata = MetaData()

   # we can reflect it ourselves from a database, using options
   # such as 'only' to limit what tables we look at...
   # only = ['news_news', 'pages_page']
   if self.only:
       metadata.reflect(engine, only=self.only)
   else:
       metadata.reflect(engine)

   # we can then produce a set of mappings from this MetaData.
   Base = automap_base(metadata=metadata)

   # calling prepare() just sets up mapped classes and relationships.
   Base.prepare()
   return metadata, Base

Дальше получаем все таблицы:

tables = Base.classes

Создаем такую же структуру БД в postgres:

metadata.create_all(self.engine_dst)

По очереди проходим каждую таблицу и переносим из нее данные в новую БД:

for table in tables:
    columns = table.__table__.c.keys()
    print 'Transferring records to %s' % table.__table__.name
    for record in self.session.query(table).all():
        data = dict(
            [(str(column), getattr(record, column)) for column in columns]
        )
        NewRecord = quick_mapper(table.__table__)
        self.session_dst.merge(NewRecord(**data))
        self.session_dst.commit()

Если возникли конфликты можно их решить переопределением типов полей. Например при переносе из sqlite в postgres тип полей DATETIME нужно заменить на DateTime:

dialect = self.engine.dialect.name
dialect_dst = self.engine_dst.dialect.name
if dialect == dialect_dst:
    return
for table in self.tables:
    columns = table.__table__.c
    for column in columns:
        if dialect_dst == 'postgresql':
            # DATETIME->DateTime
            if isinstance(column.type, DATETIME):
                column.type = DateTime()

Пример запуска:

$ python convertdbdata.py -f "sqlite:///fromMydb.sqlite" -t "postgresql://postgres:postgres@localhost/toMydb" -i "auth_user,news_news"

-i параметр указывает какие таблицы нужно запускать первыми, например в такой ситуации:

DETAIL:  Ключ (user_id)=(1) отсутствует в таблице "auth_user".
 'INSERT INTO django_admin_log (id, action_time, user_id, content_type_id, object_id, object_repr, action_flag,
 change_message) VALUES (%(id)s, %(action_time)s, %(user_id)s, %(content_type_id)s, %(object_id)s, %(object_repr)s,
 %(action_flag)s, %(change_message)s)' {'action_flag': 1, 'action_time': datetime.datetime(2014, 2, 5, 13, 15, 27, 948000),
 'user_id': 1, 'content_type_id': 39, 'object_repr': u'dfgsdfg', 'object_id': u'1', 'change_message': u'', 'id': 1}

Код полностью https://github.com/ITCase/convertdbdata

Сейчас скрипт не рассчитан на большие объемы данных и учитывает только разницу в DateTime поле, но думаю это легко исправить по мере поступления задач.

Обновление sacrud и pyramid_ext

2013-08-26T16:24:00Z

Новая версия sacrud 0.0.3. В ней поправлены некоторые баги, добавлены нескучные обои элементы дизайна в расширении для Pyramid и создан отдельный репозитарий с примерами работы разных типов полей (pyramid_sacrud_example). Pyramid_sacrud_example работает только с Postgres потому что включает в себя примеры полей специфичных именно для этой БД (таких как hstore).

Опиум hstore в plpython

2013-07-22T18:17:00Z

Приведу просто пример триггера на plpython который использует данные из поля hstore:

if TD["event"] in ("INSERT", "UPDATE"):
    obj_id = TD["new"]["id"]
    data = TD["new"]["data"]
    prepare_data = plpy.prepare("SELECT hstore($1)->$2 as val;", ["character varying", "character varying"])
    param1 = plpy.execute(prepare_data, [data, "param1"])[0]['val']
    param2 = plpy.execute(prepare_data, [data, "param2"])[0]['val']
    param3 = plpy.execute(prepare_data, [data, "param3"])[0]['val']
    param4 = plpy.execute(prepare_data, [data, "param4"])[0]['val']

Вот так я получаю параметры из hstore, вместо TD["new"]["data"]["param1"]. Может я что то делаю не так?

Работа с PostgreSQL настройка и масштабирование

2012-11-16T14:08:00Z

Шыкарная книга по Postgres. Много умных и полезных мыслей в одном месте. Хорошо написано про репликацию и настройку производительности. Книга на гитхабе в свободном доступе! Автору лучи добра и счастья, пиши исчо!

Установка psycopg2 в virtualenv для Postgres 9.1

2011-12-16T18:45:00Z

При установке psycopg в virtualenv может возникнуть ошибка:

(mypythonenv)uralbash@server:~$ pip install psycopg
Downloading/unpacking psycopg
  Downloading psycopg2-2.4.3.tar.gz (687Kb): 687Kb downloaded
  Running setup.py egg_info for package psycopg
    Error: You need to install postgresql-server-dev-X.Y for building a server-side extension or libpq-dev for building a client-side application.

    Complete output from command python setup.py egg_info:
    running egg_info

creating pip-egg-info/psycopg2.egg-info

writing pip-egg-info/psycopg2.egg-info/PKG-INFO

writing top-level names to pip-egg-info/psycopg2.egg-info/top_level.txt

writing dependency_links to pip-egg-info/psycopg2.egg-info/dependency_links.txt

writing manifest file 'pip-egg-info/psycopg2.egg-info/SOURCES.txt'

warning: manifest_maker: standard file '-c' not found

Error: You need to install postgresql-server-dev-X.Y for building a server-side extension or libpq-dev for building a client-side application.



----------------------------------------
Command python setup.py egg_info failed with error code 1
Storing complete log in /home/uralbash/.pip/pip.log

Это возникает из-за утилиты pg_config которая требуется для установки psycopg. В случае если у Вас Postgres 8.4 нужно добавить pg_config в PATH (как то так PATH=$PATH:/usr/bin/). Путь до pg_config можно узнать:

$ whereis pg_config
pg_config: /usr/bin/pg_config

И установить пакеты:

$ sudo apt-get install libpq-dev python-dev

Но если стоит 9.1 версия то может возникнуть ошибка:

Reading package lists... Done
Building dependency tree
Reading state information... Done
Some packages could not be installed. This may mean that you have
requested an impossible situation or if you are using the unstable
distribution that some required packages have not yet been created
or been moved out of Incoming.
The following information may help to resolve the situation:

The following packages have unmet dependencies:
 libpq-dev : Depends: libpq5 (= 8.4.9-0squeeze1) but 9.1.1-1~bpo60+1 is to be installed
E: Broken packages

В этом случае устанавливаем psycopg не в окружении через:

$ sudo pip install psycopg2

Смотрим куда это встало:

$ sudo python -c "import psycopg2;print psycopg2.__file__"
/usr/lib/python2.6/dist-packages/psycopg2/__init__.pyc

И копируем к себе в lib’ы в virtualenv:

$ sudo cp -r /usr/lib/python2.6/dist-packages/psycopg2  mypythonenv/lib/python2.6/site-packages/

Копипастим яйцо:

$ sudo cp /usr/lib/python2.6/dist-packages/psycopg2-2.4.4.egg-info  mypythonenv/lib/python2.6/site-packages/

Еще надо будет скопировать mx:

$ sudo cp -r /usr/lib/python2.6/dist-packages/mx  mypythonenv/lib/python2.6/site-packages/

Жеский дьютихак но главное что работает малой кровью.

SQLAlchemy почему PostgreSQL?

2011-11-16T00:42:00Z

Потому что я могу делать так:

c.nets = s.query(Net)
ip_type = request.GET.get('ip_type', '')
if ip_type=='4':
    c.nets = s.query(Net).filter("family(cidr)=4")
elif ip_type=='6':
    c.nets = s.query(Net).filter("family(cidr)=6")

c.nets = c.nets.order_by(Net.cidr).all()

Здесь если GET переменная ip_type=4 то выбираются все строки где cidr IPv4, если 6 то все стоки где cidr IPv6, иначе просто отдается все. Для фильтрации используется стандартная функция Postgres family. Пример был так расписан для наглядности, теперь сократим:

c.nets = s.query(Net)
ip_type = request.GET.get('ip_type', '')
if ip_type:
    c.nets = s.query(Net).filter("family(cidr)=%s" % ip_type)

c.nets = c.nets.order_by(Net.cidr).all()

По моему это просто шЫкарно.