• Услуги
  • Новости
  • Тренинги
  • Расписание
  • Материалы
  • Проекты
  • О нас

2013 May

Проблема миграции данных в Big Data

Решил написать маленькую пятничную статью, целью которой является предупредить всех, кто дует щеки и через слово вставляет Big Data. Сколько бы я не читал статей или не общался с товарищами, которые претендуют на использование действительно больших объемов данных у себя в приложении, никто из них не упоминает миграцию данных. Говорят о скорости чтения и записи, масштабировании, шардинге и прочих важных вещах. А о миграции ни слова.

Почему же эта самая миграция так важна? Когда ваш проект только стартовал или начал набирать обороты, вам действительно важнее всего обеспечить сохранность данных и быстрый доступ к ним. Но потом время идет, все развивается и вот в вашем хранилище данных уже не гигабайты, а десятки и сотни терабайт. И тут встает задача разделения или миграции данных. Причиной может быть шардинг данных по новому критерию, сегментация рынка с выделением отдельной инсталляции для некоторых клиентов, ускорение доступа данных для некоторых особо важных клиентов и т.д.

Когда такая задача возникает, может оказаться, что вы уже у разбитого корыта и сделать по этому поводу ничего нельзя. К примеру, вы генерируете идентификаторы записей, которые могут быть использованы только с соседними записями. Или ваши данные распределены по хранилищу таким образом, что для их миграции нужно блокировать все хранилище целиком. Или ваша структура данных не позволяет собрать цельный кусок большого объема без перелопачивания всех данных, что может занять недели. Тогда вы смело берете в руки костыли и начинаете строить из них аккуратную пирамидку, которая вот-вот рухнет и вы всеми силами поддерживаете ее.

Чтобы избежать подобных проблем, стоит в самом начале задать себе вопрос: “а что будет, если понадобится перенести данные для одного пользователя/клиента/проекта/заказчика/… в другое место?”. Еще более полезным вопросом при проектировании вашего хранения данных и выборе хранилища будет: “а какие данные у нас являются независимыми и как мы обеспечим эту независимость при хранении?”. Это гораздо более продуманный путь чем взять бездумно MongoDB или Cassandra только потому, что это модные технологии. Помните, успех проекта принесет новые, часто неожиданные задачи и проблемы…

Не хочешь пропускать ничего интересного? Подпишись на ленту RSS или следи за нами в Twitter!

event31/05/2013
personНиколай Алименков
mode_comment0
Далее
Agile тестирование едет во Львов

Большую часть наших мероприятий мы проводим в Киеве. Но иногда выбираемся и в другие города. 7-8 июня во Львов едет Андрей Дзыня с тренингом Agile Testing.

Что крутого в этом тренинге и почему я настоятельно рекомендую его посетить всем тестировщикам? Я уже давно повожу тренинг QA в Agile, в котором освещаю процесс постановки процесса тестирования со стороны менеджера, лидера команды, разработчика. Уже наверное ни для кого не секрет, что мы научились разрабатывать без тестировщиков, распределяя эту роль между остальными членами команды. Андрей же в своем тренинге рассматривает процесс тестирования изнутри, со стороны тестировщика. При этом в программе есть как процессные вещи (планирование, работа с требованиями, коммуникация в команде, демо, командные практики) так и сугубо практики тестирования (автоматизация, приемочное тестирование, скриптовое и исследовательское тестирование, инструменты и подходы к тестированию в Agile). Таким образом этот тренинг очень сбалансирован и дает участникам общее представление о роли, целях и подходах к работе тестировщика в Agile проекте.

Если сказать кратко, то этот тренинг учит тем вещам, которые позволяют тестировщику оставаться желанным и полезным специалистом даже для команд, которые справляются на первый взгляд без тестировщиков. Еще одна отличительная особенность тренинга – наличие множества практических сессий. Андрей ухитрился сбалансировать программу и давать возможность попробовать большую часть знаний на практике. Благодаря этому описанные подходы усваиваются гораздо лучше. Вы можете ознакомиться с детальной программой тренинга и убедиться в этом самостоятельно.

Стоимость участия в двухдневном тренинге составляет 2000 гривен (обед включен). Группа уже практически сформирована, осталось 4 вакантных места. Торопитесь зарегистрироваться!

Не хочешь пропускать ничего интересного? Подпишись на ленту RSS или следи за нами в Twitter!

event29/05/2013
personНиколай Алименков
mode_comment0
Далее
JEEConf 2013 глазами организаторов

В прошедшие выходные Киев принимал в очередной раз конференцию Java практиков JEEConf 2013. Я не буду делать утомительный отчет со всеми деталями и быстро пробегусь по основным вещам, которые осели у меня в памяти.

Отдельное спасибо хочу сразу сказать Анне Алименковой и Алексею Солнцеву – без этих людей конференция бы просто не состоялась!

Мы в этом году решили совершить опасный, но в то же время очень правильный шаг – расширить конференцию еще на один день. Однодневные мероприятия пролетают очень быстро и времени на общение, усваивание информации, да и просто ощущение конференции теряется. Утром пришел, кофе, регистрация, доклад, доклад, обед, доклад, еще кофе, уже пора на поезд или самолет. Начиная с этого года, конференция будет проходить в новом двухдневном формате, что дает участникам возможность посетить больше выступлений, посмотреть Киев, провести больше времени с коллегами и другими участниками.

Был большой риск, что изменение формата отразится на количестве участников. Этого не произошло, но и мы не добились своей амбициозной цели собрать 800-1000 человек. После того как первая сотня билетов разлетелась за сутки, а за несколько недель было продано уже 300 билетов, мы были настроены очень оптимистично. Но майские праздники сделали свое дело и количество регистраций падало. В итоге, на конференцию собралось чуть больше 700 участников. Но это все равно рост по сравнению с прошлым годом.

В этом году мы впервые попробовали вести онлайн трансляцию с места проведения. С одной стороны, это позволило расширить аудиторию конференции – нас смотрело 30-40 участников с индивидуальными подключениями, а также конференция транслировалась в нескольких региональных офисах крупных компаний. С другой стороны, трансляция не окупает себя и добавляет работы и без того перегруженным организаторам. В следующем году мы еще раз подумаем и возможно пересмотрим стратегию.

Еще одно важное изменения в этом году – наличие ланча для участников прямо на месте проведения. Это очень правильно и круто! Сытые разработчики – довольные разработчики. И полтора часа времени, отведенные на обед, можно провести с гораздо большей пользой в общении и отдыхе между докладами. В этом году нововведение стало возможным благодаря активной спонсорской поддержке – у конференции набралось аж 10 спонсоров. Это здорово, потому что их помощь сделала конференцию еще более уютной и приятной для участников.

Спонсоры помогли не только материально, но и подготовили отличные развлечения для участников. Это настольный футбол, guitar hero, разнообразные конкурсы с многочисленными подарками, лимонады, фреши и многое другое. Закончилось все феерической раздачей призов на закрытии конференции, которых было ну очень много (мы насчитали в общей сложности больше 80). В следующий раз надо контролировать количество, а то закрытие может затянуться и на час. 🙂 Спасибо вам огромное, спонсоры!

Отличным решением стала лаунж зона, которая для многих служила пристанищем не только в перерывах между докладами. Благодаря ей мы разгрузили основной холл и не было ощущения, что яблоку негде упасть.

Отдельно хочу отметить работу кейтеринга МВЦ – все было очень вкусно, особенно свежая выпечка и пирог с фруктами. Я себе всегда откладывал кусочек еще перед перерывом, пользуясь своим “служебным положением”. 🙂 Мне кажется, в этот раз еды хватило всем. В твиттере даже проскочила шутка, что на этой конференции все то и дело едят. 🙂

Из организационных проблем я бы отметил очереди на регистрации, которых у нас уже давненько не было (после нашей первой конференции Selenium Camp в 2011 году). Эту проблему я смело беру на себя. Обычно мы делаем длинную стойку регистрации и раздаем бейджи участникам в 8-10 потоков, что очень быстро устраняет все попытки организовать очередь. В этот раз, не смотря на наш запрос “как обычно”, нам построили настоящую “стойку регистрации” с кучей полочек и собственной кладовой комнатой. И я принял решение оставить как есть, а не перестраивать с нуля в последний день перед конференцией. Это решение было ошибочным. Максимум 4 человека параллельно могли работать за стойкой, а узкая часть не давала участникам возможности видеть разделение по буквам фамилии. В итоге очереди стояли до самого открытия.

В продолжение предыдущей темы, сразу хотелось бы сказать огромное спасибо волонтерам, которые отработали на 5+. В результате, практически не пришлось руководить – нужно было только указать на проблему или задачу и она легко решалась. Спасибо огромное, ребята! Без вас эта конференция была бы гораздо хуже!

На открытии я тоже в этот раз решил применить новую технику – я открывал конференцию с презентацией. На слайдах организационная информация воспринималась гораздо лучше и ничего не было забыто. Да и я выступил на главной сцене, что всегда приятно. 🙂

Ну и несколько слов хотелось бы сказать о программе. Во-первых, это слова благодарности докладчикам, которые не только приехали и поделились своим опытом, но и выдержали с честью все этапы нашего строгого и придирчивого процесса ревью. Надеемся, докладчики тоже остались довольны проделанной работой и визитом на конференцию. Что удивило меня, так это то, что на каждую сцену находились свои участники. Казалось бы, на главной сцене выступают заслуженные гуру, но при этом на “народной” в уютной обстановке докладчик делится своим опытом и там тоже есть люди. Это здорово когда есть выбор и мы рады, что получилось подобрать такую интересную и многогранную программу.

Мне хотелось бы лично отметить ребят из Оракла, которые приехали в большом составе в этом году и привезли с собой много классных и очень интересных выступлений, наших иностранных докладчиков, которые прилетели в Украину издалека и порадовали профессиональными докладами. Все докладчики были на высоком уровне, поэтому далеко не во всех анкетах участников можно найти заполненной графу “кто вам не понравился из докладчиков”.

На этой конференции я нашел для себя новый идеал докладчика, к которому стоит стремиться – Dr. Venkat Subramaniam. Не из-за тем его докладов, а за умение доносить знания до участников и увлекать их своим выступлением. Мы провели уже очень много мероприятий и я впервые увидел человека, который вышел из серьезной проблемы на докладе так легко и элегантно. У Венката прямо перед выступлением сгорел его Mac, а выступление планировалось практическое с примерами кода в разных языках на базе JVM. Я думал, что на этом доклад закончится и это будет провал. Такое я видел не раз на своем веку. Венкат же, даже без особых переживаний, нашел в зале человека с нужным софтом на борту и продолжил доклад в паре с ним. При этом большую часть примеров он писал сам на чужой машине в незнакомом ему окружении. И это перед несколькими сотнями участников в чужой стране и камерами онлайн трансляции. Я уже не говорю о живой манере выступления, многочисленных шутках и интересных отступлениях. Мне повезло пообщаться с Венкатом по дороге в отель. Это уникальный человек, который путешествует по всему миру. Ему доставляет удовольствие общаться с другими разработчиками, делиться своим опытом и знаниями. При этом, он очень открытый, веселый и добрый человек. Я реально очень рад, что нам удалось его привезти.

Странным для меня в этом году стал факт, что на after-party пришло так мало людей (около 40-50), хотя мы позаботились об этом вопросе заранее и забронировали место на 80 человек. Посидели мы в оба дня очень душевно, а в субботу даже посмотрели финал Личи Чемпионов (хотя на несколько столиков болельщиком был только я). В следующий раз не будем так сильно волноваться по поводу вечернего досуга участников – похоже они сами могут отлично о себе позаботиться. 🙂

У нас еще много работы – надо собрать отзывы, фотографии и опубликовать все материалы. Если вы написали один из отзывов, присылайте его нам и мы обязательно разместим ссылку на него на сайте конференции.

В конце отчета очень хочется еще раз поблагодарить участников, докладчиков, спонсоров, волонтеров и всех причастных. В этом году мы, судя по отзывам участников, очень высоко подняли планку. Но я вижу очень много вещей, которые можно сделать еще лучше. Поэтому JEEConf 2014 должен стать очередным витком развития. Приглашаем вас в следующем году присоединиться к участникам и сделать эту конференцию еще масштабнее!

P.S. Если я забыл о чем-то рассказать, то напомните мне об этом в комментариях.

event27/05/2013
personНиколай Алименков
mode_comment0
Далее
Управление конфигурацией с Chef в “Клубе анонимных разработчиков”

Уже больше месяца прошло с прошлой встречи “Клуба анонимных разработчиков”. Все наше время было уделено подготовке конференции JEEConf 2013. Но ведь ровно 2 года назад зародился сам клуб, поэтому мы решили обязательно провести встречу в конце мая. Она пройдет в следующий четверг 30 мая.

Темой встречи выбрано управление конфигурациями с Opscode Chef. Тема очень горячая, потому что все больше разработчиков участвует в облачной разработке, а конфигурация становится узким звеном. На встрече участники узнают как автоматизировать инфраструктуру с Opscode Chef:

  • почему и зачем нужен Chef;
  • когда Chef не нужен;
  • пример использования Сhef для построения масштабируемых структур на Аmazon.

Докладчиком выступит Андрей Самиляк – технический директор компании Smile. Профессионал в разработке проектных архитектур с использованием Amazon Web Services для клиентов компании. Популяризатор AWS, страстный поклонник open-source и в особенности Linux.

Встреча пройдет в четверг 30 мая. Местом проведения выбран офис компании ЕПАМ, который располагается по адресу ул. Кудряшова 14-Б. Наши встречи собирают все больше и больше участников, поэтому мы выбрали более просторный зал.

Внимание!!! Всем участникам нужно иметь при себе документ, удостоверяющий личность для прохождения поста охраны.

Официальное начало встречи по-прежнему в 19:00, завершение в 23:00. Стоимость участия 80 гривен при оплате заранее, 120 гривен при оплате на месте. Пива, пиццы и кофе с печеньками хватит на всех. Регистрация обязательна. Все детали по оплате будут высланы вам после успешного прохождения регистрации. Количество мест ограничено 60 участниками.

Не хочешь пропускать ничего интересного? Подпишись на ленту RSS или следи за нами в Twitter!

event22/05/2013
personНиколай Алименков
mode_comment1
Далее
Мы проведем онлайн конференцию “.NET brunch” 18 мая

У нас есть проект, который мы с Тимофеем Евграшиным делаем в свободное время как говорится «для души». Это платформа бесплатных онлайн конференций IT Brunch, которую мы запустили полтора года назад. Ближайшая пройдет 18 мая и будет посвящена .NET платформе.

Проект живет на голом энтузиазме. Мы полтора года назад в очередной раз завели тему географии участников на известных конференциях постсоветского пространства. Всегда «местные» участники преобладают над гостями из других стран. А это нехорошо – нет альтернативных взглядов, перенимания позитивного и негативного опыта, да и просто интересного межнационального общения. Еще мне всегда было обидно за людей, которые живут вдали от конференций и прочих образовательных мероприятий (особенно касается России). И не все из них до такой степени энтузиасты, чтобы потратить кучу времени и денег и добраться таки до Москвы, Питера или Новосибирска.

Так родилась идея создания проекта, который помог бы собирать на интересные образовательные мероприятия участников отовсюду. По задумке, географическое положение не должно влиять на возможность участия. Так появился IT Brunch. IT Brunch – это практические онлайн конференции, каждая из которых посвящена определенной теме из сферы IT.

Brunch является производным от BR(eakfast) и (l)UNCH, то есть это приём пищи, объединяющий завтрак и ланч, можно назвать поздний завтрак в выходной день. Это время отлично подходит, чтобы провести его с пользой и узнать что-то новое. Именно поэтому мы выбрали такое название для наших конференций.

IT Brunch – это платформа для получения практической информации, обмена опытом и идеями. У каждого участника есть возможность задать вопрос. Здесь ни один вопрос от участников не останется без внимания и не будет пропущен. Чтобы принять участие в любой конференции IT Brunch вам не потребуется ничего, кроме компьютера, интернета и наушников. Ну и конечно же желания. Вы можете участвовать в конференциях из дома, из офиса, в отпуске, на природе, вам не надо никуда ехать – мы всегда «рядом»!

Конференции проходят по субботам, один раз в 2-3 месяца, каждая онлайн встреча длится максимум 4-5 часов. Мы тщательно отбираем докладчиков, чтобы все время конференции вы проводили с максимальной пользой! За полтора года уже прошло 5 конференций IT Brunch, каждая из которых собирала несколько сотен участников. Мы стараемся все материалы конференций выкладывать в открытый доступ. Благодаря этому, еще больше участников имеет возможность с ними ознакомиться.

Формат конференции очень простой. Каждый докладчик имеет 20 минут на свой доклад и еще 10 минут, чтобы ответить на вопросы участников. Такой формат заставляет сфокусироваться на полезной информации и не тратить время попусту. Участники могут задавать вопросы по ходу всего доклада в Twitter (хештег #itbrunch) или в онлайн системе, которая была выбрана для проведения конференции. Организаторы озвучивают все вопросы в конце доклада.

Ближайшая конференция IT Brunch называется “.NET brunch” и пройдет 18 мая. Программа практически сформирована и мы на днях опубликуем детальное расписание докладов. Будем рады видеть вас среди участников, а также идеологов и докладчиков следующих конференций. Ждем ваших отзывов и предложений!

event13/05/2013
personНиколай Алименков
mode_comment0
Далее
Важное
XP Days Ukraine 2018: вспоминаем как это было
folder
label
event
star
forum
Категории
  • Club (50)
  • Material (179)
  • Project (6)
  • Review (3)
  • Schedule event (452)
  • Trainer (7)
  • Общие (267)
  • Полезное чтиво (57)
  • Статьи (242)
  • Тренинги (62)
Tags
.NET agile Agile Base Camp AgileDays Agileee 2010 build automation code review continuous delivery continuous integration DevOps exploratory testing Hibernate IT Brunch IT talk Java JavaScript JEE JEEConf kanban QA refactoring scrum selenium Selenium Camp spring tdd test automation testing unit testing webdriver XP XP Days Ukraine автоматизация тестирования архитектура видео инженерные практики клуб анонимных разработчиков команда конференция полезное чтиво презентация проектирование тестирование тренинги управление рисками
Archives
  • February 2021
  • October 2020
  • March 2020
  • February 2020
  • January 2020
  • December 2019
  • November 2019
  • October 2019
  • September 2019
  • June 2019
  • April 2019
  • March 2019
  • January 2019
  • December 2018
  • September 2018
  • July 2018
  • June 2018
  • May 2018
  • April 2018
  • March 2018
  • February 2018
  • January 2018
  • December 2017
  • November 2017
  • October 2017
  • September 2017
  • August 2017
  • July 2017
  • June 2017
  • May 2017
  • April 2017
  • March 2017
  • February 2017
  • January 2017
  • December 2016
  • November 2016
  • October 2016
  • September 2016
  • August 2016
  • July 2016
  • June 2016
  • May 2016
  • April 2016
  • March 2016
  • February 2016
  • December 2015
  • November 2015
  • October 2015
  • September 2015
  • August 2015
  • July 2015
  • June 2015
  • May 2015
  • April 2015
  • March 2015
  • February 2015
  • January 2015
  • December 2014
  • November 2014
  • October 2014
  • September 2014
  • August 2014
  • July 2014
  • June 2014
  • May 2014
  • April 2014
  • March 2014
  • February 2014
  • January 2014
  • December 2013
  • November 2013
  • October 2013
  • September 2013
  • August 2013
  • July 2013
  • June 2013
  • May 2013
  • April 2013
  • March 2013
  • February 2013
  • January 2013
  • December 2012
  • November 2012
  • October 2012
  • September 2012
  • August 2012
  • July 2012
  • June 2012
  • May 2012
  • April 2012
  • March 2012
  • February 2012
  • January 2012
  • December 2011
  • November 2011
  • October 2011
  • September 2011
  • August 2011
  • July 2011
  • June 2011
  • May 2011
  • April 2011
  • March 2011
  • February 2011
  • January 2011
  • December 2010
  • November 2010
  • October 2010
  • September 2010
  • August 2010
  • July 2010
  • June 2010
  • May 2010
  • April 2010
  • March 2010
  • February 2010
  • January 2010
  • December 2009
  • September 2009
Recent Posts
  • Байки про Архитектуру, микросервисы и монолиты.
  • Rise and Fall of story points. Capacity-based planning from the trenches.
  • Static analysis tools as the best friend of QA
  • Modern CI/CD in the microservices world with Kubernetes
  • Тренинг “Kubernetes for Java developers”
  • Тренинг “Test automation strategy for microservices-based systems”
  • Тренинг “Test automation strategy for microservices-based systems”
  • Тренинг “Efficient Selenium Infrastructure with Selenoid”
  • Конференция JEEConf 2020
  • Конференция Simplicity Day: Agile Magic
Recent Comments
  • Микола on Справедливо ли зарабатывают представители IT Украины?
  • Николай Алименков on Страсти по Crossover
  • Pavel on Страсти по Crossover
  • Василий on Опубликована программа JEEConf 2018
  • Николай Алименков on Опубликована программа JEEConf 2018
НАШ twitter
Tweets by @xpinjection
© XP Injection, 2019
  • Услуги
  • Новости
  • Тренинги
  • Материалы
  • Расписание
  • Проекты
  • О нас
© XP Injection, 2019