삶을 살다가 어떤 의문에 봉착했을 때 찾아갈 곳이 서점이다. 무언가 고적할 때 찾아가서 그 고적을 치유받을 수 있는 공간이 서점이다. 책이 있기에 우리는 외롭지 않다. 책은 언제나 따뜻하고 책의 내용은 언제나 옳다. 독서는 혼자 하는 행위이지만 위대한 선현들과 대화할 수 있고 오늘의 세계인들과 교류할 수 있다. 책들은 다정한 우리 모두의 친구들이다.
- 김언호의《세계 서점 기행》중에서 -
* 찻집에는 차가 있고 책방에는 책들이 있습니다. 언제 찾아도 반겨주는 친구들이 가득합니다. 삶은 늘 질문을 안겨주지만 마땅한 답을 얻지 못할 때가 많습니다. 외로움 때문에 흔들릴 때도 많습니다. 그럴 때마다 현명한 답을 주는 좋은 스승, 외로움을 함께 나누는 좋은 친구가 필요합니다. 우리가 서점을 찾는 이유입니다.
1. 무조건 참고 희생한 것 참고 희생하는 게 미덕이라고 생각했던 때, 다들 있으실 거예요. 집단주의가 강한 한국사회에서는 ‘전체의 의견에 따르고 희생하자’는 마인드가 유독 큰 편이라고 해요. 하지만 무조건 참고 희생하는 게 정답만은 아니라는 걸 나이가 들어 깨닫게 되죠. 언제나 YES맨일 필요도 없고, 전체만큼이나 소수의 의견도 중요한 때가 있다는 걸 잊지 말아야 해요.
2. 타인의 시선을 너무 의식한 것 건강한 자의식이 완전히 확립되기 전이라면 타인의 시선을 의식하는 것은 누구나 한 번쯤 경험하게 되는 일이에요. 하지만 ‘내가 무엇을 원하는지’보다 ‘내 모습이 남에게 어떻게 보일까’를 신경 쓰게 된다면 내 삶의 주체가 내가 아닌 타인이 되고 말아요. 우리의 생각보다 타인은 내게 별 관심이 없다는 사실, 꼭 명심하며 ‘나’를 주체로 살아가자구요!
3. 남의 인생을 걱정한 것 세상에서 제일 쓸데없는 걱정이 남 걱정이라고들 하죠. 각자의 인생은 각자가 책임져야 하고, 내게 누군가 조언을 구한다고 해도 결국 그 사람은 자기가 하고 싶은 대로 하기 마련이에요. 위로와 조언이 필요한 이에게 적절한 마음은 나눠주되, 지나치게 간섭하거나 걱정하지 마세요. 내 코가 석자고, 내 인생이 제일 소중하니까요.
4. 스쳐 지나가는 인연에 연연한 것 인간관계를 막 넓히고 확장하던 시기에는 세상 모든 사람들이 각별하고, 헤어지는 상상 따위는 슬퍼서 하기도 싫어요. 하지만 한때 죽고 못살던 사람들도 별 하찮은 이유로 소원해지기도 하는 게 인간관계죠. 그런 사람들은 그저 ‘시절 인연’이고 ‘지나가는 인연’이었던 거예요. 연연하지 말고 덤덤하게 바라봐주세요. 떠나가는 이가 있는 만큼 다시 다가오는 인연도 있기 마련이에요.
5. 지나간 일을 계속 생각하고 후회한 것 ‘그때 내가 왜 그런 선택을 했을까, 다시 돌아간다면 그렇게 안 할 텐데...,’ 하는 생각 안 해보신 분 없을 거예요. 하지만 과거는 되돌릴 수가 없고, 우리는 현재와 미래를 살아가야만 해요. 그리고 지난날 우리가 한 선택 모두, 그 당시의 미숙한 우리로서는 최선의 선택이었어요. 지나간 일을 후회하기보다는, 그 일을 반추해 어떻게 내일을 더 후회 없이 살아갈지 고민하는 우리였으면 해요.
6. 연애에 너무 미련 갖고 목숨 건 것 인생은 일과 연애, 대인관계, 자기 계발 등등 많은 것들의 도합으로 이루어져 있죠. 하지만 가슴 뜨겁던 청춘, 모든 걸 제쳐두고 연애애만 올인했던 때가 한 번쯤 있기 마련이에요. 그런데 지나고 보니 어떻던가요? 연애만큼이나 내 삶에 소중한 것들은 참 많았어요. 그때 몸소 부딪혀 사랑에 올인해 봤기에 깨달을 수 있는 거죠. 그러니 지난 깨달음에 감사하며 소중한 많은 것들을 앞으로는 놓치지 말아요.
7. 사랑하는 사람들에게 자존심 세운 것 우리는 대체 왜 그럴까요. 낯선 사람들에게는 그렇게 친절해 보이고 싶으면서도, 정작 가족이나 절친한 친구 등 사랑하는 사람들에게는 쓸데없이 자존심을 세우곤 했어요. 미안하다는 말, 고맙다는 말, 사랑한다는 말에도 참 인색했죠. 나이가 든 후에야 사람들은 정작, 내가 가장 자존심을 낮춰야 할 대상이 사랑하는 사람들이란 걸 깨닫는다고 해요. 오늘 알았으니, 앞으로는 그런 후회 조금씩 줄여보자구요?
8. 일어나지도 않은 일을 미리 걱정한 것 불안과 공포로부터 스스로를 보호하기에 위해 인간은 ‘걱정’이라는 걸 해요. 그런데 적당한 걱정은 예기치 못한 위험으로부터 우리를 보호해 주지만, 그 걱정도 지나치면 다른 즐거움을 차단하는 방해물이 되어버리곤 하는데요. 특히 일어나지도 않은 일을 사서 걱정하는 것은 되도록 지양해야 할 일 중 하나예요. 지나친 부정적 시뮬레이션은 멈추고, 현재의 즐거움에 포커스 하는 우리가 되었으면 해요.
9. 유행이나 허세를 위해 돈을 쓴 것 물질적인 것들로 스스로를 과시하고 싶은 건 인간의 본능 중 하나일 거예요. 특히 사회에서 존중받으며 어느 정도 자리를 잡게 되는 시기에는 자동차나 옷, 시계, 가방 등으로 내 지위를 드러내고 싶은 순간이 오기 마련이죠. 하지만 노년으로 갈수록 오히려 물질적 욕망은 줄어들고 내면적 욕망(경험, 가치)을 채우고 싶어 진다고 해요. 물질이 궁극적인 즐거움과 위안을 주지 않는 것을 깨닫게 되어서겠죠.
10. 사랑이나 인간관계가 영원하다고 믿은 것 사랑과 인간관계가 영원했으면 하는 바람을 할 때가 있죠. 하지만 슬프게도 영원히 가는 것은 아무것도 없어요. 서로의 마음이 다할 때까지 되도록 오래 유지해 볼 수는 있겠죠. 그런데 영원하지 않다고 해서 그 관계가 의미 없다거나 허무한 것은 아니에요. 순간순간 최선을 다한 관계들은 소멸 후에도 내 마음 깊이 남아 자산이 된다는 것을 받아들인다면, 인생이 조금 더 편안하고 풍요로워질 거예요.
Ibis defines a Python dataframe API that executes on any query engine – the frontend for any backend data platform, with 20+ backends today. This allows Ibis to have excellent performance – as good as the backend it is connected to – with a consistent user experience.
What is Ibis?
Ibis is the portable Python dataframe library.
We can demonstrate this with a simple example on a few local query engines:
import ibis
ibis.options.interactive = True
DuckDB
Polars
DataFusion
PySpark
1con = ibis.connect("duckdb://")
t = con.read_parquet("penguins.parquet")
t.limit(3)
Ibis is for data engineers, data analysts, and data scientists (or any title that needs to work with data!) to use directly with their data platform(s) of choice. It also has benefits fordata platforms,organizations, andlibrary developers.
Ibis for practitioners
You can use Ibis at any stage of your data workflow, no matter your role.
Data engineerscan use Ibis to:
write and maintain complex ETL/ELT jobs
replace fragile SQL string pipelines with a robust Python API
replace PySpark with a more Pythonic API that supports Spark and many other backends
Data analystscan use Ibis to:
use Ibis interactive mode for rapid exploration
perform rapid exploratory data analysis using interactive mode
work in a general-purpose, yet easy to learn, programming language without the need for formatting SQL strings
Data scientistscan use Ibis to:
extract a sample of data for local iteration with a fast local backend
prototype with the same API that will be used in production
preprocess and feature engineer data before training a machine learning model
Ibis for data platforms
Data platforms can use Ibis to quickly bring a fully-featured Python dataframe library with minimal effort to their platform. In addition to a great Python dataframe experience for their users, they also get integrations into thebroader Python and ML ecosystem.
Often, data platforms evolve to support Python in some sequence like:
Develop a fast query engine with a SQL frontend
Gain popularity and need to support Python for data science and ML use cases
Develop a bespoke pandas or PySpark-like dataframe library and ML integrations
This third step is where Ibis comes in. Instead of spending a lot of time and money developing a bespoke Python dataframe library, you can create an Ibis backend for your data platformin as little as four hours for an experienced Ibis developeror, more typically, on the order ofoneortwomonths for a new contributor.
Why not the pandas or PySpark APIs?
Ibis for organizations
Organizations can use Ibis to standardize the interface for SQL and Python data practitioners. It also allows organizations to:
transfer data between systems
transform, analyze, and prepare data where it lives
benchmark your workload(s) across data systems using the same code
mix SQL and Python code seamlessly, with all the benefits of a general-purpose programming language, type checking, and expression validation
Ibis for library developers
Python developers creating libraries can use Ibis to:
instantly support 20+ data backends
instantly support pandas, PyArrow, and Polars objects
read and write from all common file formats (depending on the backend)
trace column-level lineage through Ibis expressions
Most Python dataframes are tightly coupled to their execution engine. And many databases only support SQL, with no Python API. Ibis solves this problem by providing a common API for data manipulation in Python, and compiling that API into the backend’s native language. This means you can learn a single API and use it across any supported backend (execution engine).
Ibis broadly supports two types of backend:
SQL-generating backends
DataFrame-generating backends
As you can see, most backends generate SQL. Ibis usesSQLGlotto transform Ibis expressions into SQL strings. You can also use the.sql()methods to mix in SQL strings, compiling them to Ibis expressions.
While portability with Ibis isn’t perfect, commonalities across backends and SQL dialects combined with years of engineering effort produce a full-featured and robust framework for data manipulation in Python.
In the long-term, we aim for a standard query plan Intermediate Representation (IR) likeSubstraitto simplify this further.
Python + SQL: better together
For most backends, Ibis works by compiling Python expressions into SQL:
g = t.group_by(["species", "island"]).agg(count=t.count()).order_by("count")
ibis.to_sql(g)
SELECT
*
FROM (
SELECT
`t0`.`species`,
`t0`.`island`,
COUNT(*) AS `count`
FROM `ibis_read_parquet_pp72u4gfkjcdpeqcawnpbt6sqq` AS `t0`
GROUP BY
1,
2
) AS `t1`
ORDER BY
`t1`.`count` ASC NULLS LAST
You can mix and match Python and SQL code:
sql = """
SELECT
species,
island,
COUNT(*) AS count
FROM penguins
GROUP BY species, island
""".strip()
DuckDB
DataFusion
PySpark
con = ibis.connect("duckdb://")
t = con.read_parquet("penguins.parquet")
g = t.alias("penguins").sql(sql)
g
This allows you to combine the flexibility of Python with the scale and performance of modern SQL.
Scaling up and out
Out of the box, Ibis offers a great local experience for working with many file formats. You can scale up with DuckDB (the default backend) or choose from other great options like Polars and DataFusion to work locally with large datasets. Once you hit scaling issues on a local machine, you can continue scaling up with a larger machine in the cloud using the same backend and same code.
If you hit scaling issues on a large single-node machine, you can switch to a distributed backend like PySpark, BigQuery, or Trino by simply changing your connection string.
Stream-batch unification
As ofIbis 8.0, the first stream processing backends have been added. Since these systems tend to support SQL, we can with minimal changes to Ibis support both batch and streaming workloads with a single API. We aim to further unify the batch and streaming paradigms going forward.
Ecosystem
Ibis is part of a larger ecosystem of Python data tools. It is designed to work well with other tools in this ecosystem, and we continue to make it easier to use Ibis with other tools over time.
Ibis already works with other Python dataframes like:
Note that theibis-frameworkpackage isnotthe same as theibispackage in PyPI. These two libraries cannot coexist in the same Python environment, as they are both imported with theibismodule name.
See thebackend support matrixfor details on operations supported.Open a feature requestif you’d like to see support for an operation in a given backend. If the backend supports it, we’ll do our best to add it quickly!
Community
Community discussions primarily take place onGitHubandZulip.
오픈AI는 챗GPT(ChatGPT)의 주간 활성 사용자가 2억 명을 돌파했다고 밝혔다. 이는 지난해보다 두 배 증가한 수준이다.
39일 악시오스에 따르면, 포춘 500대 기업 중 92%가 오픈AI 제품을 사용하고 있다. 또 GPT-4o 미니(mini)가 올 7월에 출시된 이후 자동화 API 사용량이 두 배 증가했다.
샘 올트먼 오픈AI 최고경영책임자(CEO)는 “사람들이 우리의 도구를 이제 일상적으로 사용하고 있으며, 이는 의료 및 교육과 같은 분야에서 실질적인 변화를 가져오고 있다”며 “일상적인 업무 지원부터 어려운 문제 해결, 창의성 발현까지 다양한 영역에서 도움을 주고 있다”고 말했다.
오픈AI는 생성형 AI 챗봇 시장에서 선두 자리를 유지하고 있다. 하지만 테크 기업들이 점유율을 높이고자, 서비스를 업데이트하면서 경쟁 격화에 노출된 상태다.
이날 메타(Meta)는 오픈 소스 라마(Llama) 모델의 도입이 급격히 증가했다고 밝혔다. 라마(Llama) 3.1 출시 이후 올해 5월과 7월 사이 주요 클라우드 서비스 제공업체에서의 사용량이 두 배 증가했다는 것이 회사측 설명이다.
