19.10.2009

klo. 12.00 Valvontajärjestelmämme ilmoittaa kaikkien Only4Funin/Foolabs Oy:n Innopolin laitetilassa sijaitsevien palvelimien kadonneen Internetistä.

klo. 12.45 Saavuimme laitetilaan jossa pystyttiin välittömästi rajaamaan ongelma meidän laitteiston ulkopuolelle. Ilmoitimme ongelmasta palveluntarjoajallemme, joka paikallisti vian kuitukytkimeen. Kytkimen toinen kuitumoduuli oli hajonnut siten, että data liikkui vain Internetistä laitetilan suuntaan, muttei ulospäin.

klo 14.57 Rikkoutunut osa korvattiin uudella ja Internet-yhteys palautui normaaliksi.

Palveluntarjoajamme verkko on kahdennettu reitittimien / kytkimien ja niissä käytettävien  hotplug-moduulien osalta siten, että tälläisessä tilanteessa yhteyksien olisi kuulunut reitittyä toista kautta ilman katkosta. Meillä ei ole toistaiseksi tietoa miksi näin ei tapahtunut.

Käytännössä katkos aiheutti kokonaisen palvelinsalin katoamisen Internetistä ja näkyi selkeästi Ficixin statistiikassa (linkki).   

Pahoittelemme tapahtunutta vaikkakin se johtui meistä riippumattomista seikoista. Samalla haluamme pahoitella myös muita syksyn aikana ilmenneitä katkoksia. Osa on ollut normaaleja tietoturvaan liittyviä ongelmia, jotka ovat vaatineet palvelimen uudelleenkäynnistämisen. Nämä ovat aiheuttaneet ylimääräistä vaivaa shell-palvelun käyttäjille.

Kuukauden takainen www-palveluun liittyvä katkos oli kuitenkin pituudeltaan lähes anteeksi antamaton. Puolustukseksi toteamme kuitenkin, että olemme kahdentaneet kaiken mikä kohtuuden rajoissa on mahdollista. Kaikki tuottamamme palvelut ajetaan virtuaalipalvelimissa, jotka fyysisen palvelimen vikaantuessa osaavat siirtää itsensä automaattisesti toimivalle alustalle. Luonnollisesti myös fyysisten palvelimien kriittiset komponentit ovat kahdennettu. Kaikki data sijaisee levypalvelimella jota peilataan reaaliajassa varalaitteelle. Plus kymmeniä muita korkean käytettävyyden klusteriteknologiaan pohjautuvia ratkaisuja. Teknologian ansiosta olemme pystyneet käytännön testeissä sammuttamaan yli 60% palvelimista ilman, että palvelut ovat hidastuneet tai lakanneet toimimasta.

Ilman suurempaa selittelyä haluamme muistuttaa, että myös huono tuuri ja sattumien summa ovat yhdessä näytelleet oscarin arvoisen suorituksen tämän syksyn katkoksissa.

26.9.2009

Webhotelli-palveluiden tuottamiseen käytetty klusteri on toistaiseksi tuntemattomasta syystä sammunut viime yönä node kerrallaan. Viimeisenkin noden kaaduttua ovat www-sivustot lakanneet toimimasta. Syy pitkään katkokseen (n. 12h) oli se, että saimme tiedon tapahtuneesta vasta lauantai aamuna, asiakkaan ilmoitettua siitä meille. Välittömästi tiedon saatuamme aloitimme vian korjaamisen, joka saatiinkin korjattua viidessä minuutissa. Syytä tapahtuneeseen tutkitaan edelleen. Katkos ei ole koskenut shell, virtuaalipalvelin / palvelinhotelli / dns / sähköpostiasiakkaita vaan vika on kohdistunut vain ja ainoastaan www-sivuja pyörittävään klusteriin.

Erittäin syvät pahoittelut asian tiimoilta! Vastaavaa ei tule tapahtumaan tulevaisuudessa!

EDIT: Syyksi paljastui tarkemmissa tutkimuksissa palvelunestohyökkäys, jonka toteuttamisesta vastanneella taholla on ollut erittäin syvä tuntemus Linuxin ytimestä ja www-klusterissa käytetyistä ohjelmistoista. Tarkempia yksityiskohtia tapahtuneen suhteen emme toistaiseksi voi paljastaa ennen kuin päätämme mahdollisista jatko toimenpiteistä. Luonnollisesti tarvittavat muutokset on suoritettu jotta tapahtunut ei toistu.

16.8.2009

klo. 17.30 shell-palvelin päivitettiin ja käynnistettiin uudelleen.

Kaikki palvelimet ja palvelut toimivat taas normaalisti. 

15.8.2009

klo. 03:19 Kaikki muut paitsi shell-palvelin päivitetty ja palautettu normaaliin tilaan.

klo. 08.00 shell-palvelimelle tehty tilapäinen paikkaus ongelmaa koskien ja ssh palautettu toimintaan.

14.8.2009 klo. 20.57

shell,- ja www-palvelimilta on toistaiseksi suljettu SSH ja FTP liikenne. Yritämme palauttaa tilanteen mahdollisimman nopeasti normaaliksi. Syynä tähän on Linuxin ytimestä löytynyt erittäin vakava tietoturvaongelma.

8.3.2009

Eilen n. klo 17.00 on mysqldb1 hajonnut jolloin balancer on kääntänyt MySQL-yhteydet mysqldb2 palvelimelle. Syystä tai toisesta on tämäkin palvelin lakannut toimimasta n. klo 23.30. MySQL on ollut tavoittamattomissa tämän päivän aamuun klo 10.30 saakka. Tällöin ylläpito ajoi mysqldb1:n ylös ja synkronoi mysqldb2:lle samat datat. Syyksi on varmistumassa palvelunestohyökkäys joka on toteutettu asiakkaan päivittämättömän sovelluksen kautta. Ylläpito selvittää asiaa, metsästää tekijät jotka ammutaan aamun koitteessa ja tekee tarvittavat muutokset, että vastaavaa ei pääse tapahtumaan tulevaisuudessa.

Pahoittelemme tapahtunutta!

3.12.2008

Tilausjärjestelmässä on ollut toimintahäiriö. Tästä johtuen osa 1.12 - 3.12 välisenä aikana tehdyistä tilauksista ei ole tullut perille. Jos olet tehnyt tilauksen tuona aikana, etkä ole saanut tunnuksia palvelun käyttöön niin ole ystävällinen ja täytä tilaus uudelleen.

Olemme todella pahoillamme tapahtuneesta!

6.11.2008

Webhotellit siirretään vikasietoisen ja kuormaatasaavan klusterin päälle.
Muutos on käytännössä asiakkaalle näkymätön.
Toimenpiteellä varmistetaan entistäkin nopeampi ja katkoton palvelu. 

Jos sivustosi kuitenkin antaa MySQL:ään liittyviä virheitä niin varmistathan, että käyttämäsi osoite on db1.only4fun.org. Mikäli käytössäsi on localhost ei yhteydet tule perille, koska socket on poistettu käytöstä ja vain TCP-yhteyksiä tuetaan. Myös osoite 127.0.0.1 käy, koska se ohjataan uudelle tietokanta palvelimelle.

21.7.2008

Virtuaalipalvelimet ovat olleet 30.1.2008 alkaen 10Mbit/s yhteyden sijasta 100Mbit/s yhteyden perässä. Kokeilua jatketaan ainakin toistaiseksi.

1.6.2008

Only4Fun vaihtaa nimensä Foolabs Oy :ksi. Kaikki toiminta säilyy ennallaan. Järjestelyllä helpotetaan vain yrityksen hallinnollisia asioita.

13.5.2008
Kaikkien palvelimien ssh-keyt on päivitetty Debian OpenSSL:sta löytyneen bugin vuoksi. Tämän seurauksena käyttämäsi SSH-client herjaa, että avaimet ovat muuttuneet ja kyseessä voi olla mahdollinen salasanojen kalastusyritys. Tässä ei kuitenkaan ole siitä kyse, koska me olemme itse nuo avaimet päivittäneet.

http://www.cert.fi/haavoittuvuudet/2008/haavoittuvuus-2008-58.html

8.4.2008
IRCnet ei ole toiminut kunnolla palvelimien siirron jälkeen.
Syynä tähän IP-avaruuden muutos. Nyt ongelma on korjattu.

irc.cc.tut.fi päästää sisään 2 yhteyttä / asiakas.
Loput käytettävissä olevat serverit, sekä ohjeet löydät shellistä
kirjoittamalla 'servut'

Vhostit alkavat toimia heti kun ISP delegoi IP-avaruuden meidän nimipalvelimille.

31.3.2008
Kaikissa palveluissamme on ollut katkos välillä "31.3.2008 klo 1.00 - 13.00"
Jos palveluissa esiintyy vielä jotain häiriötä niin otattehan yhteyttä meihin.

Raportin aiheesta löydät täältä

30.1.2008
Palvelimet siirrettiin uuteen konesaliin 17.10 - 18.10 välisenä aikana.
Osissa www-sivuja katkos on kuitenkin nimipalveluiden päivittymisen johdosta saattanut olla pitempi. Jos sivustossasi esiintyy ongelmia niin otathan välittömästi yhteyttä ylläpitoon.

Pahoittelemme tapahtunutta.

16.11.2007
DNS-palvelu tukee nyt myös dynaamista IP:tä.
Eli voit pitää esim. kotona palvelinta ja käyttää meidän nimipalveluita.

9.10.2007
xen2.only4fun.org palvelimen levykortti hajosi osittain. Tämä olisi aiheuttanut datan korruptoitumista www1.only4fun.org palvelimella, jolloin palvelin muutti kovalevyt read-only tilaan.

Ylläpidon saatua tieto tästä ajettiin www1 toiselle fyysiselle palvelimelle korjaustöiden ajaksi.
Tänä aikana on asikkaiden sivuilla saattanut näkyä vanhaa materiaalia.
Korjaustyöt veivät noin 30min jonka jälkeen www1.only4fun.org ajettiin takaisin omalle isäntäkoneelle.

Järjestelmiin tehdään tällä hetkellä radikaaleja muutoksia, jotta tulevaisuudessa palvelin osaa itse ajaa itsensä toiselle fyysiselle palvelimelle jos näin käy. (Xen Cluster, Linux High Availability)

13.9.2007
shell.only4fun.org jouduttiin buuttamaan yöllä. Syynä tähän kernel panic.

10.9.2007
WebMail sovellus päivitettiin. Päivitys toi mukanaan uusia ominaisuuksia kuten osoitekirjan, kalenterin, muistion ja tehtävät. Lisäksi WebMailissa on nyt black/whitelistit jonka avulla käyttäjä voi hallita paremmin roskapostejaan. Myös uusi roskapostisuodin on tulossa. Tästä ilmoitetaan myöhemmin.

7.9.2007
www1.only4fun.org on siirretty uudelle alustalle.
Samalla palvelimen levytilaa kasvatettiin ja muistin määrää lisättiin.

1.8.2007
www1.only4fun.org -palvelimella on ollut hitautta havaittavissa.
Teimme muutoksia palvelimeen ja jaoimme kuormaa toisille palvelimille.

Pahoittelemme asiakkaille mahdollisesti aiheutunutta ylimääräistä vaivaa.
Ongelmaa ei kuitenkaan pitäisi enää ilmetä tulevaisuudessa.

www.only4fun.org -palvelimelle päivitettiin MySQL versioon 5.0

20.3.2007
Olemme pitkän kehitystyön päätteeksi saaneet oman sisällönhallintajärjestelmän (CMS) valmiiksi.
Ohjelmisto tulee helpottamaan asiakkaidemme kotisivujen tekoa ja ylläpitoa.

Asiakkaita jotka käyttävät CMS:ää,
http://www.savepoint.fi
http://www.chilliclub.info
http://www.ducaticlubfinland.fi

20.11.2006
Klo 8.04 - 9.01 välisen ajan palvelimet olivat alhaalla päivityksen vuoksi.
Kaikille asiakkaille hyvitetään tästä 7vrk lisää aikaa seuraavan tilauksen yhteydessä.

11.11.2006
Olemme saaneet valmiiksi uuden hallintapaneelin Webhotel asiakkaitamme varten.
Kyseessä on Zpanel niminen open source ratkaisu johon olemme lisänneet muutamia tärkeitä hallintatyökaluja, kuten DNS-, ja sähköpostinhallinnan.

Zpanel tulee kaikille uusille asiakkaille automaattisesti ja vanhoille vuoden vaihteeseen mennessä. Kaikille lähetetään sähköpostitse tarvittavat tiedot vielä tämän kuun aikana. Muutos ei aiheuta palveluun katkoksia ja helpottaa erilaisten ohjelmien kuten foorumien asennusta.

Demo sovellus löytyy alla olevien tietojen avulla,

Osoite: http://demo.only4fun.org/zpanel
Tunnus: demo
Salasana: demo

3.10.2006
Operaattori suoritti verkossa huoltotoimenpiteitä 14.20 - 14.45 välisenä aikana, jolloin yhteydet olivat hetken poikki.

29.9.2006
Muutto meni kaikilta osin suunnitelmien mukaan ja palvelimet olivat alhaalla 18.00 - 19.50 välisen ajan. Samalla lisättiin palvelimiin muistia ja tehtiin muita huoltotoimenpiteitä.

1.9.2006
TIEDOTE

Palvelinsali jossa myös Only4Funin palvelimet sijaitsevat, muuttaa tämän kuun lopussa toiseen paikkaan. Tästä aiheutuu palveluun ensimmäinen pitempi katkos koko firman historian aikana.
Katkos tulee olemaan noin 1-4 tuntia, ilmoitamme täällä tarkemmin kun saamme tarkan ajankohdan ja muut tarvittavat tiedot käsiimme.

Palvelimiin lisätään saman katkon yhteyssä keskusmuistia ja suoritetaan normaaleja huoltotoimenpiteitä.

EDIT: Muutos on tarkoitus suorittaa 27.9 klo 18.00 alkaen ja siten, että palvelimet ovat uudessa konesalissa online-tilassa viimeistään 28.9 klo 00.00

EDIT: Muutto siirtyy vuorokaudella eteenpäin, koska operaattori ei saanut toimitettua kuitua uuteen laitesaliin aiemmin. Muutto tapahtuu 28.9 - 29.9. Katkos maksimissaan kolme (3) tuntia.

29.8.2006
Webbipalvelimelle on asennettu 'Ruby' ja siihen framework 'Ruby On Rails'
PHP päivitettiin versioon 5.1.6

5.8.2006
Uusina palveluina mukaan astuvat sähköpostipalvelu sekä DNS-hallinta.
Lisäksi julkaistiin virtuaalipalvelimien hinnasto.

3.8.2006
Webhotel asiakkaat löytävät tästä päivästä lähtien webstatistiikan osoitteesta http://www.omadomain.com/stats

Kuukausittaisen siirtorajan kulumista voi tarkkailla osoitteessa http://www.omadomain.com/bandwidth

28.7.2006
Palvelimet buutattiin tänään, koska kernelistä löytyi vastaava aukko kuin pari viikkoa taaksepäinkin.

16.7.2006
Kaikki Only4Funin palvelimet buutattiin eilen kernelistä löytyneen tietoturva-aukon takia.
http://www.cve.mitre.org/cgi-bin/cvename.cgi?name=CVE-2006-2451

5.6.2006
Tästä päivästä lähtien on Only4Fun Internet Services tarjoaa myös virtuaalipalvelimia. Hinnasto on tulossa myöhemmin sivuille