I am not sure. If the outage had started at 5am Pacific time, that would have been a smoking gun, since that is when the update from job runs... But strangely the last time I got cron mail for that job was 2 days ago.<br><br>On Saturday, January 28, 2017, Ralph Versteegen <<a href="mailto:teeemcee@gmail.com">teeemcee@gmail.com</a>> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Great. But was the outage originally caused by the update script failing and leaving something in a bad state, or did you only try to run it to fix an unexplained problem?<br></div><div class="gmail_extra"><br><div class="gmail_quote">On 29 January 2017 at 18:01, James Paige <span dir="ltr"><<a href="javascript:_e(%7B%7D,'cvml','Bob@hamsterrepublic.com');" target="_blank">Bob@hamsterrepublic.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div><div><div>Good news!<br><br></div>I was able to fix it.<br><br></div>I suspect that dreamhost's annoying memory-usage-watchdogs happened to kill the wiki update script at a very bad moment when it was half-way through updating the schema of the user_groups table.<br><br></div>I was able to tweak the update script to fix the problem, and everything seems to be working fine now.<br><div><br><br></div></div><div><div><div class="gmail_extra"><br><div class="gmail_quote">On Sat, Jan 28, 2017 at 5:52 PM, James Paige <span dir="ltr"><<a href="javascript:_e(%7B%7D,'cvml','Bob@hamsterrepublic.com');" target="_blank">Bob@hamsterrepublic.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr">Yep, I just saw it. I tried re-running the update script,  and ended up with the following backtrace, but I don't think I will be able to sort out the actual problem today :(<br><br>james_paige@irwin:~/<a href="http://rpg.hamsterrepublic.com/ohrrpgce$" target="_blank">rpg.hamste<wbr>rrepublic.com/ohrrpgce$</a> /usr/bin/php maintenance/update.php<br>MediaWiki 1.29.0-alpha Updater<br><br>Your composer.lock file is up to date with current dependencies!<br>Going to run database updates for ohrrpgce_wiki<br>Depending on the size of your database this may take a while!<br>Abort with control-c in the next five seconds (skip this countdown with --quick) ... 0<br>Turning off Content Handler DB fields for this part of upgrade.<br>...have ipb_id field in ipblocks table.<br>...have ipb_expiry field in ipblocks table.<br>...already have interwiki table<br>...indexes seem up to 20031107 standards.<br>...have rc_type field in recentchanges table.<br>...index new_name_timestamp already set on recentchanges table.<br>...have user_real_name field in user table.<br>...querycache table already exists.<br>...objectcache table already exists.<br>...categorylinks table already exists.<br>...have pagelinks; skipping old links table updates<br>...il_from OK<br>...have rc_ip field in recentchanges table.<br>...index PRIMARY already set on image table.<br>...have rc_id field in recentchanges table.<br>...have rc_patrolled field in recentchanges table.<br>...logging table already exists.<br>...have user_token field in user table.<br>...have wl_notificationtimestamp field in watchlist table.<br>...watchlist talk page rows already present.<br>...user table does not contain user_emailauthenticationtimest<wbr>amp field.<br>...page table already exists.<br>...have log_params field in logging table.<br>...logging table has correct log_title encoding.<br>...have ar_rev_id field in archive table.<br>...have page_len field in page table.<br>...revision table does not contain inverse_timestamp field.<br>...have rev_text_id field in revision table.<br>...have rev_deleted field in revision table.<br>...have img_width field in image table.<br>...have img_metadata field in image table.<br>...have user_email_token field in user table.<br>...have ar_text_id field in archive table.<br>...page_namespace is already a full int (int(11)).<br>...ar_namespace is already a full int (int(11)).<br>...rc_namespace is already a full int (int(11)).<br>...wl_namespace is already a full int (int(11)).<br>...qc_namespace is already a full int (int(11)).<br>...log_namespace is already a full int (int(11)).<br>...have img_media_type field in image table.<br>...already have pagelinks table.<br>...image table does not contain img_type field.<br>...already have unique user_name index.<br>...user_groups table exists and is in current format.<br>...have ss_total_pages field in site_stats table.<br>...user_newtalk table already exists.<br>...transcache table already exists.<br>...have iw_trans field in interwiki table.<br>...wl_notificationtimestamp is already nullable.<br>...index times already set on logging table.<br>...have ipb_range_start field in ipblocks table.<br>...no page_random rows needed to be set<br>...have user_registration field in user table.<br>...templatelinks table already exists<br>...externallinks table already exists.<br>...job table already exists.<br>...have ss_images field in site_stats table.<br>...langlinks table already exists.<br>...querycache_info table already exists.<br>...filearchive table already exists.<br>...have ipb_anon_only field in ipblocks table.<br>...index rc_ns_usertext already set on recentchanges table.<br>...index rc_user_text already set on recentchanges table.<br>...have user_newpass_time field in user table.<br>...redirect table already exists.<br>...querycachetwo table already exists.<br>...have ipb_enable_autoblock field in ipblocks table.<br>...index pl_namespace on table pagelinks includes field pl_from.<br>...index tl_namespace on table templatelinks includes field tl_from.<br>...index il_to on table imagelinks includes field il_from.<br>...have rc_old_len field in recentchanges table.<br>...have user_editcount field in user table.<br>...page_restrictions table already exists.<br>...have log_id field in logging table.<br>...have rev_parent_id field in revision table.<br>...have pr_id field in page_restrictions table.<br>...have rev_len field in revision table.<br>...have rc_deleted field in recentchanges table.<br>...have log_deleted field in logging table.<br>...have ar_deleted field in archive table.<br>...have ipb_deleted field in ipblocks table.<br>...have fa_deleted field in filearchive table.<br>...have ar_len field in archive table.<br>...have ipb_block_email field in ipblocks table.<br>...index cl_sortkey on table categorylinks includes field cl_from.<br>...have oi_metadata field in oldimage table.<br>...index usertext_timestamp already set on archive table.<br>...index img_usertext_timestamp already set on image table.<br>...index oi_usertext_timestamp already set on oldimage table.<br>...have ar_page_id field in archive table.<br>...have img_sha1 field in image table.<br>...protected_titles table already exists.<br>...have ipb_by_text field in ipblocks table.<br>...page_props table already exists.<br>...updatelog table already exists.<br>...category table already exists.<br>...category table already populated.<br>...have ar_parent_id field in archive table.<br>...have user_last_timestamp field in user_newtalk table.<br>...protected_titles table has correct pt_title encoding.<br>...have ss_active_users field in site_stats table.<br>...ss_active_users user count set...<br>...have ipb_allow_usertalk field in ipblocks table.<br>...change_tag table already exists.<br>...tag_summary table already exists.<br>...valid_tag table already exists.<br>...user_properties table already exists.<br>...log_search table already exists.<br>...have log_user_text field in logging table.<br>...l10n_cache table already exists.<br>...index ls_field_val already set on log_search table.<br>...index change_tag_rc_tag already set on change_tag table.<br>...have rd_interwiki field in redirect table.<br>...transcache tc_time already converted.<br>...*_mime_minor fields are already long enough.<br>...iwlinks table already exists.<br>...index iwl_prefix_title_from already set on iwlinks table.<br>...have ul_value field in updatelog table.<br>...have iw_api field in interwiki table.<br>...iwl_prefix key doesn't exist.<br>...have cl_collation field in categorylinks table.<br>...categorylinks up-to-date.<br>...module_deps table already exists.<br>...ar_page_revid key doesn't exist.<br>...index ar_revid already set on archive table.<br>...ll_lang is up-to-date.<br>...user_last_timestamp is already nullable.<br>...index user_email already set on user table.<br>...up_property in table user_properties already modified by patch patch-up_property.sql.<br>...uploadstash table already exists.<br>...user_former_groups table already exists.<br>...index type_action already set on logging table.<br>...have rev_sha1 field in revision table.<br>...batch conversion of user_options: nothing to migrate. done.<br>...user table does not contain user_options field.<br>...have ar_sha1 field in archive table.<br>...index page_redirect_namespace_len already set on page table.<br>...have us_chunk_inx field in uploadstash table.<br>...have job_timestamp field in job table.<br>...index page_user_timestamp already set on revision table.<br>...have ipb_parent_block_id field in ipblocks table.<br>...index ipb_parent_block_id already set on ipblocks table.<br>...category table does not contain cat_hidden field.<br>...have rev_content_format field in revision table.<br>...have rev_content_model field in revision table.<br>...have ar_content_format field in archive table.<br>...have ar_content_model field in archive table.<br>...have page_content_model field in page table.<br>Content Handler DB fields should be usable now.<br>...site_stats table does not contain ss_admins field.<br>...recentchanges table does not contain rc_moved_to_title field.<br>...sites table already exists.<br>...have fa_sha1 field in filearchive table.<br>...have job_token field in job table.<br>...have job_attempts field in job table.<br>...have us_props field in uploadstash table.<br>...ug_group in table user_groups already modified by patch patch-ug_group-length-increase<wbr>-255.sql.<br>...ufg_group in table user_former_groups already modified by patch patch-ufg_group-length-increas<wbr>e-255.sql.<br>...index pp_propname_page already set on page_props table.<br>...index img_media_mime already set on image table.<br>...iwl_prefix_title_from index is already non-UNIQUE.<br>...index iwl_prefix_from_title already set on iwlinks table.<br>...have ar_id field in archive table.<br>...have el_id field in externallinks table.<br>...have rc_source field in recentchanges table.<br>...index log_user_text_type_time already set on logging table.<br>...index log_user_text_time already set on logging table.<br>...have page_links_updated field in page table.<br>...have user_password_expires field in user table.<br>...have pp_sortkey field in page_props table.<br>...recentchanges table does not contain rc_cur_time field.<br>...index wl_user_notificationtimestamp already set on watchlist table.<br>...have page_lang field in page table.<br>...have pl_from_namespace field in pagelinks table.<br>...have tl_from_namespace field in templatelinks table.<br>...have il_from_namespace field in imagelinks table.<br>...img_major_mime in table image already modified by patch patch-img_major_mime-chemical.<wbr>sql.<br>...oi_major_mime in table oldimage already modified by patch patch-oi_major_mime-chemical.s<wbr>ql.<br>...fa_major_mime in table filearchive already modified by patch patch-fa_major_mime-chemical.s<wbr>ql.<br>...user_id is already unsigned int.<br>...rc_comment in table recentchanges already modified by patch patch-editsummary-length.sql.<br>...hitcounter doesn't exist.<br>...site_stats table does not contain ss_total_views field.<br>...page table does not contain page_counter field.<br>...msg_resource_links doesn't exist.<br>...msg_resource doesn't exist.<br>...bot_passwords table already exists.<br>...have wl_id field in watchlist table.<br>...cl_collation key doesn't exist.<br>...index cl_collation_ext already set on categorylinks table.<br>Updating category collations...Fixing collation for 51 rows.<br>Selecting next 100 rows... processing...0 done.<br>0 rows processed<br>...done.<br>...index rc_name_type_patrolled_timesta<wbr>mp already set on recentchanges table.<br>...rev_page_id index not found on revision.<br>...pl_namespace, tl_namespace, il_to indices are already non-UNIQUE.<br>...have ct_id field in change_tag table.<br>...have ts_id field in tag_summary table.<br>...rc_ip in table recentchanges already modified by patch patch-rc_ip_modify.sql.<br>...have el_index_60 field in externallinks table.<br>Adding ug_expiry field to table user_groups ...[7e6dcc70478a580cb2309cb0] [no req]   DBQueryError from line 1054 of /home/james_paige/<a href="http://rpg.hamsterrepublic.com/ohrrpgce/includes/libs/rdbms/database/Database.php" target="_blank">rpg.hamsterr<wbr>epublic.com/ohrrpgce/includes/<wbr>libs/rdbms/database/Database.p<wbr>hp</a>: A database query error has occurred. Did you forget to run your application's database schema updater after upgrading? <br>Query: ALTER TABLE `user_groups`<br> DROP INDEX ug_user_group,<br> ADD PRIMARY KEY (ug_user, ug_group),<br> ADD COLUMN ug_expiry varbinary(14) NULL default NULL,<br> ADD INDEX ug_expiry (ug_expiry)<br><br>Function: Database::sourceFile( /home/james_paige/<a href="http://rpg.hamsterrepublic.com/ohrrpgce/maintenance/archives/patch-user_groups-ug_expiry.sql" target="_blank">rpg.hamsterr<wbr>epublic.com/ohrrpgce/maintenan<wbr>ce/archives/patch-user_groups-<wbr>ug_expiry.sql</a> )<br>Error: 1091 Can't DROP 'ug_user_group'; check that column/key exists (<a href="http://mysql.motherhamster.org" target="_blank">mysql.motherhamster.org</a>)<br><br>Backtrace:<br>#0 /home/james_paige/<a href="http://rpg.hamsterrepublic.com/ohrrpgce/includes/libs/rdbms/database/Database.php(912)" target="_blank">rpg.hamsterr<wbr>epublic.com/ohrrpgce/includes/<wbr>libs/rdbms/database/Database.p<wbr>hp(912)</a>: Database->reportQueryError(str<wbr>ing, integer, string, string, boolean)<br>#1 /home/james_paige/<a href="http://rpg.hamsterrepublic.com/ohrrpgce/includes/libs/rdbms/database/Database.php(3120)" target="_blank">rpg.hamsterr<wbr>epublic.com/ohrrpgce/includes/<wbr>libs/rdbms/database/Database.p<wbr>hp(3120)</a>: Database->query(string, string)<br>#2 /home/james_paige/<a href="http://rpg.hamsterrepublic.com/ohrrpgce/includes/libs/rdbms/database/Database.php(3069)" target="_blank">rpg.hamsterr<wbr>epublic.com/ohrrpgce/includes/<wbr>libs/rdbms/database/Database.p<wbr>hp(3069)</a>: Database->sourceStream(unknown type, NULL, NULL, string, NULL)<br>#3 /home/james_paige/<a href="http://rpg.hamsterrepublic.com/ohrrpgce/includes/installer/DatabaseUpdater.php(666)" target="_blank">rpg.hamsterr<wbr>epublic.com/ohrrpgce/includes/<wbr>installer/DatabaseUpdater.php(<wbr>666)</a>: Database->sourceFile(string)<br>#4 /home/james_paige/<a href="http://rpg.hamsterrepublic.com/ohrrpgce/includes/installer/DatabaseUpdater.php(734)" target="_blank">rpg.hamsterr<wbr>epublic.com/ohrrpgce/includes/<wbr>installer/DatabaseUpdater.php(<wbr>734)</a>: DatabaseUpdater->applyPatch(st<wbr>ring, boolean, string)<br>#5 [internal function]: DatabaseUpdater->addField(stri<wbr>ng, string, string)<br>#6 /home/james_paige/<a href="http://rpg.hamsterrepublic.com/ohrrpgce/includes/installer/DatabaseUpdater.php(465)" target="_blank">rpg.hamsterr<wbr>epublic.com/ohrrpgce/includes/<wbr>installer/DatabaseUpdater.php(<wbr>465)</a>: call_user_func_array(array, array)<br>#7 /home/james_paige/<a href="http://rpg.hamsterrepublic.com/ohrrpgce/includes/installer/DatabaseUpdater.php(429)" target="_blank">rpg.hamsterr<wbr>epublic.com/ohrrpgce/includes/<wbr>installer/DatabaseUpdater.php(<wbr>429)</a>: DatabaseUpdater->runUpdates(ar<wbr>ray, boolean)<br>#8 /home/james_paige/<a href="http://rpg.hamsterrepublic.com/ohrrpgce/maintenance/update.php(172)" target="_blank">rpg.hamsterr<wbr>epublic.com/ohrrpgce/maintenan<wbr>ce/update.php(172)</a>: DatabaseUpdater->doUpdates(arr<wbr>ay)<br>#9 /home/james_paige/<a href="http://rpg.hamsterrepublic.com/ohrrpgce/maintenance/doMaintenance.php(111)" target="_blank">rpg.hamsterr<wbr>epublic.com/ohrrpgce/maintenan<wbr>ce/doMaintenance.php(111)</a>: UpdateMediaWiki->execute()<br>#10 /home/james_paige/<a href="http://rpg.hamsterrepublic.com/ohrrpgce/maintenance/update.php(217)" target="_blank">rpg.hamsterr<wbr>epublic.com/ohrrpgce/maintenan<wbr>ce/update.php(217)</a>: require_once(string)<br>#11 {main}<br><br></div><div class="gmail_extra"><br><div class="gmail_quote"><span>On Sat, Jan 28, 2017 at 5:49 PM, Ralph Versteegen <span dir="ltr"><<a href="javascript:_e(%7B%7D,'cvml','teeemcee@gmail.com');" target="_blank">teeemcee@gmail.com</a>></span> wrote:<br></span><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span><div dir="ltr">The OHR wiki is down (for at least an hour now), printing out odd error messages that I've never seen before. HR.com is fine.<br><div><br>[WI06MNBxxg8AAA6GCoUAAAAN] 2017-01-29 00:41:21: Fatal exception of type "DBQueryError"</div></div>
<br></span>______________________________<wbr>_________________<br>
Ohrrpgce mailing list<br>
<a href="javascript:_e(%7B%7D,'cvml','ohrrpgce@lists.motherhamster.org');" target="_blank">ohrrpgce@lists.motherhamster.o<wbr>rg</a><br>
<a href="http://lists.motherhamster.org/listinfo.cgi/ohrrpgce-motherhamster.org" rel="noreferrer" target="_blank">http://lists.motherhamster.org<wbr>/listinfo.cgi/ohrrpgce-motherh<wbr>amster.org</a><br>
<br></blockquote></div><br></div>
</blockquote></div><br></div>
</div></div><br>______________________________<wbr>_________________<br>
Ohrrpgce mailing list<br>
<a href="javascript:_e(%7B%7D,'cvml','ohrrpgce@lists.motherhamster.org');" target="_blank">ohrrpgce@lists.motherhamster.o<wbr>rg</a><br>
<a href="http://lists.motherhamster.org/listinfo.cgi/ohrrpgce-motherhamster.org" rel="noreferrer" target="_blank">http://lists.motherhamster.org<wbr>/listinfo.cgi/ohrrpgce-motherh<wbr>amster.org</a><br>
<br></blockquote></div><br></div>
</blockquote>