Решил написать маленькую пятничную статью, целью которой является предупредить всех, кто дует щеки и через слово вставляет Big Data. Сколько бы я не читал статей или не общался с товарищами, которые претендуют на использование действительно больших объемов данных у себя в приложении, никто из них не упоминает миграцию данных. Говорят о скорости чтения и записи, масштабировании, шардинге и прочих важных вещах. А о миграции ни слова.
Почему же эта самая миграция так важна? Когда ваш проект только стартовал или начал набирать обороты, вам действительно важнее всего обеспечить сохранность данных и быстрый доступ к ним. Но потом время идет, все развивается и вот в вашем хранилище данных уже не гигабайты, а десятки и сотни терабайт. И тут встает задача разделения или миграции данных. Причиной может быть шардинг данных по новому критерию, сегментация рынка с выделением отдельной инсталляции для некоторых клиентов, ускорение доступа данных для некоторых особо важных клиентов и т.д.
Когда такая задача возникает, может оказаться, что вы уже у разбитого корыта и сделать по этому поводу ничего нельзя. К примеру, вы генерируете идентификаторы записей, которые могут быть использованы только с соседними записями. Или ваши данные распределены по хранилищу таким образом, что для их миграции нужно блокировать все хранилище целиком. Или ваша структура данных не позволяет собрать цельный кусок большого объема без перелопачивания всех данных, что может занять недели. Тогда вы смело берете в руки костыли и начинаете строить из них аккуратную пирамидку, которая вот-вот рухнет и вы всеми силами поддерживаете ее.
Чтобы избежать подобных проблем, стоит в самом начале задать себе вопрос: “а что будет, если понадобится перенести данные для одного пользователя/клиента/проекта/заказчика/… в другое место?”. Еще более полезным вопросом при проектировании вашего хранения данных и выборе хранилища будет: “а какие данные у нас являются независимыми и как мы обеспечим эту независимость при хранении?”. Это гораздо более продуманный путь чем взять бездумно MongoDB или Cassandra только потому, что это модные технологии. Помните, успех проекта принесет новые, часто неожиданные задачи и проблемы…
Не хочешь пропускать ничего интересного? Подпишись на ленту RSS или следи за нами в Twitter!
Большую часть наших мероприятий мы проводим в Киеве. Но иногда выбираемся и в другие города. 7-8 июня во Львов едет Андрей Дзыня с тренингом Agile Testing.
Что крутого в этом тренинге и почему я настоятельно рекомендую его посетить всем тестировщикам? Я уже давно повожу тренинг QA в Agile, в котором освещаю процесс постановки процесса тестирования со стороны менеджера, лидера команды, разработчика. Уже наверное ни для кого не секрет, что мы научились разрабатывать без тестировщиков, распределяя эту роль между остальными членами команды. Андрей же в своем тренинге рассматривает процесс тестирования изнутри, со стороны тестировщика. При этом в программе есть как процессные вещи (планирование, работа с требованиями, коммуникация в команде, демо, командные практики) так и сугубо практики тестирования (автоматизация, приемочное тестирование, скриптовое и исследовательское тестирование, инструменты и подходы к тестированию в Agile). Таким образом этот тренинг очень сбалансирован и дает участникам общее представление о роли, целях и подходах к работе тестировщика в Agile проекте.
Если сказать кратко, то этот тренинг учит тем вещам, которые позволяют тестировщику оставаться желанным и полезным специалистом даже для команд, которые справляются на первый взгляд без тестировщиков. Еще одна отличительная особенность тренинга – наличие множества практических сессий. Андрей ухитрился сбалансировать программу и давать возможность попробовать большую часть знаний на практике. Благодаря этому описанные подходы усваиваются гораздо лучше. Вы можете ознакомиться с детальной программой тренинга и убедиться в этом самостоятельно.
Стоимость участия в двухдневном тренинге составляет 2000 гривен (обед включен). Группа уже практически сформирована, осталось 4 вакантных места. Торопитесь зарегистрироваться!
Не хочешь пропускать ничего интересного? Подпишись на ленту RSS или следи за нами в Twitter!
В прошедшие выходные Киев принимал в очередной раз конференцию Java практиков JEEConf 2013. Я не буду делать утомительный отчет со всеми деталями и быстро пробегусь по основным вещам, которые осели у меня в памяти.
Отдельное спасибо хочу сразу сказать Анне Алименковой и Алексею Солнцеву – без этих людей конференция бы просто не состоялась!
Мы в этом году решили совершить опасный, но в то же время очень правильный шаг – расширить конференцию еще на один день. Однодневные мероприятия пролетают очень быстро и времени на общение, усваивание информации, да и просто ощущение конференции теряется. Утром пришел, кофе, регистрация, доклад, доклад, обед, доклад, еще кофе, уже пора на поезд или самолет. Начиная с этого года, конференция будет проходить в новом двухдневном формате, что дает участникам возможность посетить больше выступлений, посмотреть Киев, провести больше времени с коллегами и другими участниками.
Был большой риск, что изменение формата отразится на количестве участников. Этого не произошло, но и мы не добились своей амбициозной цели собрать 800-1000 человек. После того как первая сотня билетов разлетелась за сутки, а за несколько недель было продано уже 300 билетов, мы были настроены очень оптимистично. Но майские праздники сделали свое дело и количество регистраций падало. В итоге, на конференцию собралось чуть больше 700 участников. Но это все равно рост по сравнению с прошлым годом.
В этом году мы впервые попробовали вести онлайн трансляцию с места проведения. С одной стороны, это позволило расширить аудиторию конференции – нас смотрело 30-40 участников с индивидуальными подключениями, а также конференция транслировалась в нескольких региональных офисах крупных компаний. С другой стороны, трансляция не окупает себя и добавляет работы и без того перегруженным организаторам. В следующем году мы еще раз подумаем и возможно пересмотрим стратегию.
Еще одно важное изменения в этом году – наличие ланча для участников прямо на месте проведения. Это очень правильно и круто! Сытые разработчики – довольные разработчики. И полтора часа времени, отведенные на обед, можно провести с гораздо большей пользой в общении и отдыхе между докладами. В этом году нововведение стало возможным благодаря активной спонсорской поддержке – у конференции набралось аж 10 спонсоров. Это здорово, потому что их помощь сделала конференцию еще более уютной и приятной для участников.
Спонсоры помогли не только материально, но и подготовили отличные развлечения для участников. Это настольный футбол, guitar hero, разнообразные конкурсы с многочисленными подарками, лимонады, фреши и многое другое. Закончилось все феерической раздачей призов на закрытии конференции, которых было ну очень много (мы насчитали в общей сложности больше 80). В следующий раз надо контролировать количество, а то закрытие может затянуться и на час. 🙂 Спасибо вам огромное, спонсоры!
Отличным решением стала лаунж зона, которая для многих служила пристанищем не только в перерывах между докладами. Благодаря ей мы разгрузили основной холл и не было ощущения, что яблоку негде упасть.
Отдельно хочу отметить работу кейтеринга МВЦ – все было очень вкусно, особенно свежая выпечка и пирог с фруктами. Я себе всегда откладывал кусочек еще перед перерывом, пользуясь своим “служебным положением”. 🙂 Мне кажется, в этот раз еды хватило всем. В твиттере даже проскочила шутка, что на этой конференции все то и дело едят. 🙂
Из организационных проблем я бы отметил очереди на регистрации, которых у нас уже давненько не было (после нашей первой конференции Selenium Camp в 2011 году). Эту проблему я смело беру на себя. Обычно мы делаем длинную стойку регистрации и раздаем бейджи участникам в 8-10 потоков, что очень быстро устраняет все попытки организовать очередь. В этот раз, не смотря на наш запрос “как обычно”, нам построили настоящую “стойку регистрации” с кучей полочек и собственной кладовой комнатой. И я принял решение оставить как есть, а не перестраивать с нуля в последний день перед конференцией. Это решение было ошибочным. Максимум 4 человека параллельно могли работать за стойкой, а узкая часть не давала участникам возможности видеть разделение по буквам фамилии. В итоге очереди стояли до самого открытия.
В продолжение предыдущей темы, сразу хотелось бы сказать огромное спасибо волонтерам, которые отработали на 5+. В результате, практически не пришлось руководить – нужно было только указать на проблему или задачу и она легко решалась. Спасибо огромное, ребята! Без вас эта конференция была бы гораздо хуже!
На открытии я тоже в этот раз решил применить новую технику – я открывал конференцию с презентацией. На слайдах организационная информация воспринималась гораздо лучше и ничего не было забыто. Да и я выступил на главной сцене, что всегда приятно. 🙂
Ну и несколько слов хотелось бы сказать о программе. Во-первых, это слова благодарности докладчикам, которые не только приехали и поделились своим опытом, но и выдержали с честью все этапы нашего строгого и придирчивого процесса ревью. Надеемся, докладчики тоже остались довольны проделанной работой и визитом на конференцию. Что удивило меня, так это то, что на каждую сцену находились свои участники. Казалось бы, на главной сцене выступают заслуженные гуру, но при этом на “народной” в уютной обстановке докладчик делится своим опытом и там тоже есть люди. Это здорово когда есть выбор и мы рады, что получилось подобрать такую интересную и многогранную программу.
Мне хотелось бы лично отметить ребят из Оракла, которые приехали в большом составе в этом году и привезли с собой много классных и очень интересных выступлений, наших иностранных докладчиков, которые прилетели в Украину издалека и порадовали профессиональными докладами. Все докладчики были на высоком уровне, поэтому далеко не во всех анкетах участников можно найти заполненной графу “кто вам не понравился из докладчиков”.
На этой конференции я нашел для себя новый идеал докладчика, к которому стоит стремиться – Dr. Venkat Subramaniam. Не из-за тем его докладов, а за умение доносить знания до участников и увлекать их своим выступлением. Мы провели уже очень много мероприятий и я впервые увидел человека, который вышел из серьезной проблемы на докладе так легко и элегантно. У Венката прямо перед выступлением сгорел его Mac, а выступление планировалось практическое с примерами кода в разных языках на базе JVM. Я думал, что на этом доклад закончится и это будет провал. Такое я видел не раз на своем веку. Венкат же, даже без особых переживаний, нашел в зале человека с нужным софтом на борту и продолжил доклад в паре с ним. При этом большую часть примеров он писал сам на чужой машине в незнакомом ему окружении. И это перед несколькими сотнями участников в чужой стране и камерами онлайн трансляции. Я уже не говорю о живой манере выступления, многочисленных шутках и интересных отступлениях. Мне повезло пообщаться с Венкатом по дороге в отель. Это уникальный человек, который путешествует по всему миру. Ему доставляет удовольствие общаться с другими разработчиками, делиться своим опытом и знаниями. При этом, он очень открытый, веселый и добрый человек. Я реально очень рад, что нам удалось его привезти.
Странным для меня в этом году стал факт, что на after-party пришло так мало людей (около 40-50), хотя мы позаботились об этом вопросе заранее и забронировали место на 80 человек. Посидели мы в оба дня очень душевно, а в субботу даже посмотрели финал Личи Чемпионов (хотя на несколько столиков болельщиком был только я). В следующий раз не будем так сильно волноваться по поводу вечернего досуга участников – похоже они сами могут отлично о себе позаботиться. 🙂
У нас еще много работы – надо собрать отзывы, фотографии и опубликовать все материалы. Если вы написали один из отзывов, присылайте его нам и мы обязательно разместим ссылку на него на сайте конференции.
В конце отчета очень хочется еще раз поблагодарить участников, докладчиков, спонсоров, волонтеров и всех причастных. В этом году мы, судя по отзывам участников, очень высоко подняли планку. Но я вижу очень много вещей, которые можно сделать еще лучше. Поэтому JEEConf 2014 должен стать очередным витком развития. Приглашаем вас в следующем году присоединиться к участникам и сделать эту конференцию еще масштабнее!
P.S. Если я забыл о чем-то рассказать, то напомните мне об этом в комментариях.
Уже больше месяца прошло с прошлой встречи “Клуба анонимных разработчиков”. Все наше время было уделено подготовке конференции JEEConf 2013. Но ведь ровно 2 года назад зародился сам клуб, поэтому мы решили обязательно провести встречу в конце мая. Она пройдет в следующий четверг 30 мая.
Темой встречи выбрано управление конфигурациями с Opscode Chef. Тема очень горячая, потому что все больше разработчиков участвует в облачной разработке, а конфигурация становится узким звеном. На встрече участники узнают как автоматизировать инфраструктуру с Opscode Chef:
Докладчиком выступит Андрей Самиляк – технический директор компании Smile. Профессионал в разработке проектных архитектур с использованием Amazon Web Services для клиентов компании. Популяризатор AWS, страстный поклонник open-source и в особенности Linux.
Встреча пройдет в четверг 30 мая. Местом проведения выбран офис компании ЕПАМ, который располагается по адресу ул. Кудряшова 14-Б. Наши встречи собирают все больше и больше участников, поэтому мы выбрали более просторный зал.
Внимание!!! Всем участникам нужно иметь при себе документ, удостоверяющий личность для прохождения поста охраны.
Официальное начало встречи по-прежнему в 19:00, завершение в 23:00. Стоимость участия 80 гривен при оплате заранее, 120 гривен при оплате на месте. Пива, пиццы и кофе с печеньками хватит на всех. Регистрация обязательна. Все детали по оплате будут высланы вам после успешного прохождения регистрации. Количество мест ограничено 60 участниками.
Не хочешь пропускать ничего интересного? Подпишись на ленту RSS или следи за нами в Twitter!
У нас есть проект, который мы с Тимофеем Евграшиным делаем в свободное время как говорится «для души». Это платформа бесплатных онлайн конференций IT Brunch, которую мы запустили полтора года назад. Ближайшая пройдет 18 мая и будет посвящена .NET платформе.
Проект живет на голом энтузиазме. Мы полтора года назад в очередной раз завели тему географии участников на известных конференциях постсоветского пространства. Всегда «местные» участники преобладают над гостями из других стран. А это нехорошо – нет альтернативных взглядов, перенимания позитивного и негативного опыта, да и просто интересного межнационального общения. Еще мне всегда было обидно за людей, которые живут вдали от конференций и прочих образовательных мероприятий (особенно касается России). И не все из них до такой степени энтузиасты, чтобы потратить кучу времени и денег и добраться таки до Москвы, Питера или Новосибирска.
Так родилась идея создания проекта, который помог бы собирать на интересные образовательные мероприятия участников отовсюду. По задумке, географическое положение не должно влиять на возможность участия. Так появился IT Brunch. IT Brunch – это практические онлайн конференции, каждая из которых посвящена определенной теме из сферы IT.
Brunch является производным от BR(eakfast) и (l)UNCH, то есть это приём пищи, объединяющий завтрак и ланч, можно назвать поздний завтрак в выходной день. Это время отлично подходит, чтобы провести его с пользой и узнать что-то новое. Именно поэтому мы выбрали такое название для наших конференций.
IT Brunch – это платформа для получения практической информации, обмена опытом и идеями. У каждого участника есть возможность задать вопрос. Здесь ни один вопрос от участников не останется без внимания и не будет пропущен. Чтобы принять участие в любой конференции IT Brunch вам не потребуется ничего, кроме компьютера, интернета и наушников. Ну и конечно же желания. Вы можете участвовать в конференциях из дома, из офиса, в отпуске, на природе, вам не надо никуда ехать – мы всегда «рядом»!
Конференции проходят по субботам, один раз в 2-3 месяца, каждая онлайн встреча длится максимум 4-5 часов. Мы тщательно отбираем докладчиков, чтобы все время конференции вы проводили с максимальной пользой! За полтора года уже прошло 5 конференций IT Brunch, каждая из которых собирала несколько сотен участников. Мы стараемся все материалы конференций выкладывать в открытый доступ. Благодаря этому, еще больше участников имеет возможность с ними ознакомиться.
Формат конференции очень простой. Каждый докладчик имеет 20 минут на свой доклад и еще 10 минут, чтобы ответить на вопросы участников. Такой формат заставляет сфокусироваться на полезной информации и не тратить время попусту. Участники могут задавать вопросы по ходу всего доклада в Twitter (хештег #itbrunch) или в онлайн системе, которая была выбрана для проведения конференции. Организаторы озвучивают все вопросы в конце доклада.
Ближайшая конференция IT Brunch называется “.NET brunch” и пройдет 18 мая. Программа практически сформирована и мы на днях опубликуем детальное расписание докладов. Будем рады видеть вас среди участников, а также идеологов и докладчиков следующих конференций. Ждем ваших отзывов и предложений!
