Ural penguins - Сообщения с тегом Go

Обновление до Go1.5

2015-08-20T10:59:00Z

Для управления версиями я пользуюсь moovweb/gvm.

Установка gvm

$ bash < <(curl -s -S -L https://raw.githubusercontent.com/moovweb/gvm/master/binscripts/gvm-installer)

Установка Go 1.4

$ gvm install go1.4
$ gvm use go1.4

Установка Go 1.5

Теперь компилим Go при помощи Go:

$ GOROOT_BOOTSTRAP=~/.gvm/gos/go1.4 gvm install go1.5
Installing go1.5...
 + Compiling...

Выберем новую версию:

$ gvm use go1.5
Now using version go1.5
$ go version
go version go1.5 linux/amd64

Убедимся в ее наличии:

$ gvm list --all

gvm gos (installed)

   go1.4
=> go1.5
   system

Локальный Continuous Integration сервер

2014-04-13T04:40:00Z

Идея непрерывной интеграции заключается в том, что при любом изменении проекта он пересобирается в условиях приближенных к реальной эксплуатации и каждый раз запускает тесты. Это позволяет моментально отловить баги и исправить их не отходя от кассы, пока ещё помнишь что понаписал.

Принцип работы у всех примерно один:

скачать код
создать окружение
установить (собрать) код
запустить и протестировать
отправить уведомление

Это можно сделать самостоятельно, например при помощи fabric, cron, chroot или docker или при помощи готовых CI серверов:

Облачные CI сервера:

Облачный CI отлично подойдет для OpenSource проектов, а остальное можно тестировать на локальном сервере.

Посмотрим как это работает на примере python + pyramid приложения.

Начнём с Travis-ci

Следит за вашими репозитариями на github, выкачивает при каждом коммите, собирает окружение в индивидуальном контейнере каждый раз, имеет простой конфиг. Работает только с github, закрытые репы за деньги.

Авторизация через гитхаб аккаунт, дальше указываем что будем тестировать

Теперь положим в корень репы на гитхабе файл с настройками .travis.yml

В этом файле находятся инструкции, какое окружение нужно для вашего проекта, как его собирать, запускать тесты и куда слать уведомления.

.travis.yml

language: python

notifications:
  email: "sacrud@uralbash.ru"
  email: "arkadiy@bk.ru"

python:
  1. "2.7"
  2. "2.6"

install:
  1. pip install nose coverage coveralls
  2. pip install pyramid pyramid_jinja2 pyramid_beaker
  3. pip install -r requirements.txt

script:
  1. nosetests --with-coverage --cover-package sacrud --cover-erase --with-doctest

after_success:
  coveralls

Здесь я думаю и так все понятно. coveralls нужен для сервиса https://coveralls.io/ (про него ниже).

После каждого коммита создается задание в трависе которое заканчивается примерно таким выводом https://travis-ci.org/ITCase/sacrud/jobs/22811094

Иногда СЕОшники всё портят как здесь https://travis-ci.org/ITCase/sacrud/jobs/22688250 т.к. не умеют запускать тесты, но благодаря CI эти проблемы сразу обнаруживаются. Более сложный конфиг с установкой postgres https://github.com/ITCase/pyramid_sacrud_example/blob/master/.travis.yml

drone.io

Drone похож на travis-ci но он дешевле, умеет bitbucket и исходный код https://github.com/drone/drone. Очень удобно OpenSource в облаке, приватные репы на локальном сервере и все это имеет одинаковый конфиг. Конфиг .drone.yml, формат очень похож на travis.

.drone.yml

image: python2.7
script:
  1. pip install nose coverage pyramid pyramid_jinja2 pyramid_beaker
  2. pip install -r requirements.txt
  3. nosetests --cover-package=sacrud --cover-erase --with-coverage --with-doctest
notify:
  email:
    recipients:
      1. sacrud@uralbash.ru

С облаком всё понятно, установим drone локально. В качестве платформы используется VM с Ubuntu server 12.04 с одним ядром и 2Гб ОЗУ, что вполне достаточно для небольшой команды программистов.

Т.к. drone собирает проекты в легковесных контенерах при помощи Docker вначале установим его http://docs.docker.io/en/latest/installation/ubuntulinux/#ubuntu-precise

Сам drone устанавливается очень просто через deb пакет http://drone.readthedocs.org/en/latest/install.html, теперь он у вас висит на 80 порту или на том который вы указали. Запускается и конфигурируется через upstart (sudo start drone, sudo stop drone). Можно проверить локально, если перейти в репозитарий проекта с файлом .drone.yml и запустить drone build.

Для того что бы github или bitbucket слал уведомление вашему drone серверу нужен статический IP. Пробросим порты к виртуалке на роутере :) и укажем IP в настройках:

добавим репу:

После добавления в гитхаб появится новый аппликайшин:

Client ID и Client Secret нужно указать в настройках drone. Теперь комитим и чиним.

Для приватных реп drone автоматически прописывает RSA ключ. Его можно посмотреть в настройках репы и скопировать вручную например или поменять.

Вывод похож на travis:

Пару слов почему не другие системы. Во первых drone это и облако и локалхост, дальше bitbucket+github, контейнеры docker из коробки, иконка-статус сборки в Markdown, написан на Go как и Docker. Из недостатков пока мало свистелок и перделок, первое что бросается в глаза отсутствие кнопки REBUILD (пересобрать вручную). Но т.к. проект молодой то всё обещают запилить в следующей версии, судя по issue на github’е.

Jenkins страшный, сложный, всё пилить руками, докера нет, написан на Java.

Buildbot написан на python, хорошая архитектура master-slave, можно запилить slave в контейнеры, но написан на старой версии twisted и sqlalchemy аж 0.7 версии, код ужасен, инструкции из документации устаревшие, нужно додумывать, конфиг сложный, будущего у системы нет.

StriderCD написан на nodejs, много чего есть из коробки, принцип плагинов через npm, docker пилить самому, глючный :( хотя выглядит неплохо.

Есть ещё альтернативы типа gitlab-ci и наверняка ещё что-то, но я их не смотрел.

Coveralls

https://coveralls.io/r/ITCase/sacrud

Coveralls отличное дополнение, в котором можно визуально отследить что ещё не покрыто тестами. Из минусов, нет bitbucket, мне показался он дороговатым для приватных реп и ещё лежит отдавая 503 на момент написания этой статьи, но локальных альтернатив я не нашёл, к сожалению.

AnyKey

http://jmcvetta.github.io/blog/2013/08/30/continuous-integration-for-go-code/

http://lucapette.com/go/go-docker-and-a-ci-server/

И напоследок...

В этом обзоре показан простой пример как можно настроить непрерывную интеграцию проекта на python и pyramid. Но по аналогии можно поднять любой другой проект. Думаю вам эта статья поможет, хотя бы начать писать тесты :)

Пишем на Go (Golang)

2014-04-06T00:58:00Z

Go замечательный язык программирования, который можно компилировать, компилировать под разные платформы (ARM, x86), распараллеливать. Он проще C/C++ и уже сформировавшийся язык в отличии от Rust который ломает программы с каждым обновлением. Область применения самая разная начиная от консольных утилит, всяких парсеров, системного, сетевого ПО, связи с физическими устройствами и заканчивая веб приложениями, разве что пока нету реализаций под смартфоны (android).

На Go уже написаны:

Docker - система легковесных контейнеров (переписан с python)
http://drone.io - система непрерывного тестирования, поддерживающая Docker (о ней я напишу отдельно скорее всего) и огромное количество других проектов, что удивительно ведь go очень молодой проект, а ещё гугл

Здесь я опишу процесс одной из возможных реализаций установки Go под Linux.

УСТАНОВКА

См.также

Более простой способ moovweb/gvm

описано подробно в оф. документации http://golang.org/doc/install

Скачать архив и распаковать в ~/golang например:

$ tar -C ~/golang -xzf go1.2.1.linux-amd64.tar.gz

Добавляем в ~/.bashrc:

~/.bashrc

# Go lang
export GOROOT=$HOME/golang
export PATH=$PATH:$GOROOT/bin

создаем файл hello.go:

hello.go

package main

import "fmt"

func main() {
    fmt.Printf("hello, world\n")
}

и выполняем так:

$ go run hello.go
hello, world

или компилируем:

$ go build hello.go
$ ./hello
hello, world

теперь у нас установлен go в системе. Если вам нужно свои пакеты хранить в другой директории (не $HOME/golang), но при этом что бы они находились в общем окружении, то можно задать переменную окружения GOPATH. У меня всё вместе выглядит так:

# Go lang
export GOPATH=$HOME/Projects/go
export GOROOT=$HOME/golang
export PATH=$PATH:$GOROOT/bin:$GOPATH/bin

VIM

есть много дополнений для go но самая крутое из них это https://github.com/fatih/vim-go пример .vimrc:

au BufNewFile,BufRead *.go set ft=go nu
au FileType go map <leader>r :!go run %<CR>
Bundle "fatih/vim-go"

vim-go умеет:

подсветка синтаксиса
автодополнение кода gocode
автоформатирование кода через gofmt
автоимпорт недостающих библиотек goimports
проверять код на наличие ошибок с помощью golint
поддерживает снипеты ultisnips or neosnippet
и многое другое

КНИГИ

книг много, но на великом только одна от издательства ДМК пресс, к счастью есть эл.вариант книги хоть и в pdf.

Ресурсы

http://4gophers.com/ (ru)
#go-nuts in the irc.freenode.org network.
http://blog.golang.org/
google group
reddit

AnyKey

Использование Си в Гоу
http://zacg.github.io/blog/2013/06/06/calling-c-plus-plus-code-from-go-with-swig/

ORM
https://github.com/eaigner/hood
https://github.com/jinzhu/gorm

Web
Revel
Gorilla
net/http

Список пакетов
https://code.google.com/p/go-wiki/wiki/Projects

Go для программистов C++
http://netsago.org/ru/docs/1/16/
http://eao197.narod.ru/desc/short_effective_go.html


Calling Go from Python via JSON-RPC
www.artima.com/weblogs/viewpost.jsp?thread=333589

Go для Python программистов
http://www.slideshare.net/kcherkasoff/go-for-pythonistas#

Тесты
http://smartystreets.github.io/goconvey/

Примеры
https://gobyexample.com/

CI
https://github.com/drone/drone

Хайлод++
http://www.youtube.com/watch?v=bqtN6XViejE

Туториал
http://tour.golang.org/